我目前正在使用Pandas和Spark进行数据分析。我发现Dask提供了并行化的NumPy数组和Pandas DataFrame。
Pandas在Python中进行数据分析易于上手且直观。但是，由于系统内存有限，处理多个较大的数据框在Pandas中会遇到困难。
简单回答：
Apache Spark是一个全面的框架，结合了分布式计算、SQL查询、机器学习等功能，运行在JVM上，并通常与其他大数据框架（如Hadoop）一起部署。…通常情况下，Dask比Spark更小、更轻量级。
我从http://dask.pydata.org/en/latest/spark.html了解到以下细节。
Pandas在Python中进行数据分析易于上手且直观。但是，由于系统内存有限，处理多个较大的数据框在Pandas中会遇到困难。
简单回答：
Apache Spark是一个全面的框架，结合了分布式计算、SQL查询、机器学习等功能，运行在JVM上，并通常与其他大数据框架（如Hadoop）一起部署。…通常情况下，Dask比Spark更小、更轻量级。
我从http://dask.pydata.org/en/latest/spark.html了解到以下细节。
- Dask是轻量级的。
- Dask通常在单台机器上使用，但也可以在分布式集群上良好运行。
- Dask提供并行数组、数据框架、机器学习和自定义算法。
- 对于Python用户，Dask具有优势，因为它本身是一个Python库，所以当出现问题时，序列化和调试更加顺畅。
- Dask放弃了高层次的理解，允许用户表达更复杂的并行算法。
- Dask更轻量级，更容易集成到现有代码和硬件中。
- 如果您想要一个能做所有事情的单一项目，并且已经在Big Data硬件上，则Spark是一个安全的选择。
- Spark通常在小型到中型集群上使用，但也可以在单台机器上良好运行。
我从下面的链接中更多地了解了Dask https://www.continuum.io/blog/developer-blog/high-performance-hadoop-anaconda-and-dask-your-cluster
如果你在使用Python的Pandas、NumPy或其他计算时，遇到了内存问题、存储限制或单台机器的CPU边界，Dask可以帮助你在单台机器上扩展所有核心，或在整个集群的所有核心和内存上进行扩展。Dask在单台机器上很好地运行，可以利用笔记本电脑上的所有核心并处理大于内存的数据。它可以在数百个节点的集群上弹性地扩展。Dask可以从Python本地工作，处理不同格式和存储系统中的数据，包括Hadoop分布式文件系统（HDFS）和Amazon S3。Anaconda和Dask可以与您现有的企业级Hadoop发行版一起使用，包括Cloudera CDH和Hortonworks HDP。http://dask.pydata.org/en/latest/dataframe-overview.html
限制
Dask.DataFrame没有实现完整的Pandas接口。期望此功能的用户会感到失望。特别是，dask.dataframe具有以下限制：
- 从未排序的列设置新索引很昂贵
- 许多操作（例如groupby-apply和在未排序的列上进行连接）需要设置索引，如上所述，这是很昂贵的
- Pandas API非常庞大。Dask.dataframe不尝试实现许多pandas功能或任何更奇特的数据结构，如NDFrames。
感谢Dask开发人员。它似乎是非常有前途的技术。
总体而言，我可以理解Dask比Spark更简单易用。Dask与Pandas一样灵活，但具有更多的计算能力，可以使用更多的CPU并行计算。
我了解以上关于Dask的所有事实。
那么，Dask可以处理多少数据（以TB为单位）？