我正在处理一个非常广泛的数据集（1005行* 590,718列，1.2G）。将这样一个大型数据集加载到Pandas数据框中会由于内存不足导致代码完全失败。
我知道Spark可能是处理大型数据集的Pandas的一个很好的替代方案，但在加载大数据时，在Pandas中有没有适宜的解决方案来减少内存使用？
1个回答
2
您可以使用以下方法：
pandas.read_csv(filename, chunksize = chunksize)
- grshankar
2
我需要在后面添加块吗？我的数据集太宽了。是否有类似于列的功能，还是应该转置我的df？ - RJF
1你可以使用concat函数来实现如下的编程操作：
chunk_df = pd.read_csv(filename, iterator=True, chunksize=chunksize)，df = pd.concat(chunk_df, ignore_index=True)。 - grshankar网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接
- 相关问题
- 7 从Postgresql将大量数据加载到R的data.table
- 13 将SKLearn癌症数据集加载到Pandas DataFrame中。
- 3 从BigQuery将大量数据加载到Python
- 6 从BigQuery将大量数据加载到Python/Pandas/Dask
- 10 将gz文件直接加载到pandas数据框中
- 15 如何高效地将pos_tag_sents()应用于pandas数据框？
- 4 将 Pandas 数据框加载到 Big Query 失败。
- 18 Python Dash：将pandas数据框加载到数据表中
- 5 将网络数据文件加载到pandas数据帧中。
- 3 如何高效地将数千张高清照片加载到pandas数据框中并转换为HDF格式？