我在Pandas中使用read_csv从S3读取数据。我想知道它是否首先将文件下载到本地磁盘，然后再加载到内存中，还是直接将传入的数据流式传输到内存中，而没有中间加载到磁盘。
我对Spark的sqlContext.read.load函数也有同样的问题。
read_csv() 中的 S3 读取器是先下载文件到磁盘上还是使用流式传输？
3
- krackoder
1
也许你应该针对sqlContext.read.load提出另一个问题，因为Spark是一个完全独立的库，与pandas无关... 我猜你这样更有可能得到答案。 - Paul
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接