我正在使用R进行一些技术分析,需要处理一些大型数据集(10-20GB,存储在.csv文件中,并使用read.csv函数)。
由于我还需要将大型.csv文件与其他数据帧合并和转换,所以我没有计算能力或内存来导入整个文件。
我想知道是否有人知道一种导入csv随机百分比的方法。
我看到有些示例中,人们已经导入了整个文件,然后使用另一个函数创建了原始数据的样本数据帧,但我希望能够更简单的实现。
由于我还需要将大型.csv文件与其他数据帧合并和转换,所以我没有计算能力或内存来导入整个文件。
我想知道是否有人知道一种导入csv随机百分比的方法。
我看到有些示例中,人们已经导入了整个文件,然后使用另一个函数创建了原始数据的样本数据帧,但我希望能够更简单的实现。
awk
的Unix命令行工具,这里有一个很好的讨论:https://dev59.com/kXRB5IYBdhLWcg3wLk1M。一旦您使用`awk`进行抽样,则可以读入R中。 - Statwonk