我有一个大数据集(200GB未压缩,9GB以bz2-9格式压缩),用于股票交易数据。
我想对它们进行一些基本的时间序列分析。
我的机器有16GB内存。
我希望:
- 将所有数据压缩后保留在内存中 - 在流式传输中即时解压数据(不要存到磁盘中) - 在内存中进行所有分析
现在,我认为Clojure的惰性和future对象有很好的交互方式(例如,我可以定义对象,当我试图访问它们时,我会即时解压它们)。
问题:在Clojure中进行高性能时间序列分析时应该注意哪些事项?
我特别关注以下技巧:
- 高效地存储刻度数据 - 高效地进行计算 - 奇怪的卷积来减少数据通行次数
欢迎提供书籍/文章/研究论文建议。(我是CS博士生)
谢谢。
我想对它们进行一些基本的时间序列分析。
我的机器有16GB内存。
我希望:
- 将所有数据压缩后保留在内存中 - 在流式传输中即时解压数据(不要存到磁盘中) - 在内存中进行所有分析
现在,我认为Clojure的惰性和future对象有很好的交互方式(例如,我可以定义对象,当我试图访问它们时,我会即时解压它们)。
问题:在Clojure中进行高性能时间序列分析时应该注意哪些事项?
我特别关注以下技巧:
- 高效地存储刻度数据 - 高效地进行计算 - 奇怪的卷积来减少数据通行次数
欢迎提供书籍/文章/研究论文建议。(我是CS博士生)
谢谢。