在哪里可以找到关于Spark内部原理的官方详细解释？

Question

我正在尝试详细学习Spark。 有很多网站详细解释了Spark，例如这些链接：

1. Spark stages
2. DAG in spark

我的疑问是，所有这些内容在Spark官方网站是否以类似或更详细的方式进行了解释？

- MsA

Answer 1

如果您还没有查看过这些内容，您可能需要从基础知识开始：

• 原始RDD论文：https://www2.eecs.berkeley.edu/Pubs/TechRpts/2011/EECS-2011-82.pdf
• Spark SQL / Dataframes：https://amplab.cs.berkeley.edu/wp-content/uploads/2015/03/SparkSQLSigmod2015.pdf

更新：

关于此主题的类似及更多出版物可在此处找到：

• https://spark.apache.org/research.html
• https://spark.apache.org/history.html

此外，如果您深入 https://spark.apache.org/documentation.html 中探索，可能会发现其他格式的有趣内容（例如：2012年12月18日在阳光谷的雅虎公司举行的 Matei Zaharia 的“Spark 内部介绍（幻灯片）”Meetup 演讲视频）。

- Marsellus Wallace

---

还是在官网上没有任何消息吗？另外，我很好奇，这些论文的作者们是否是Spark的实现者？ - MsA

Berkeley（Matei Zaharia）发明了Spark。而Databricks是其主要的贡献者和官方公司。 - Marsellus Wallace

这是一个不错的资源。但我仍然认为官方网站上应该有详细的文档。 - MsA

已经更新了答案，并附上了官方网站的具体参考。我同意这些参考有点难找。希望这正是您所寻找的！ - Marsellus Wallace