我刚开始接触Spark，对任务的概念感到困惑。
请问有人能帮助我理解什么情况下动作（例如reduce）不在驱动程序中运行。
根据Spark教程：
"使用函数func（它需要两个参数并返回一个参数）聚合数据集的元素。该函数应该是可交换和可结合的，以便可以正确地并行计算。"
我目前正在尝试一个应用程序，该应用程序读取'n'个文件的目录，并计算单词数。
从Web UI上看，任务数量等于文件数量。所有reduce函数都在驱动节点上执行。
请问是否有场景使得reduce函数不在驱动程序中执行？任务是否总是包括“转换+操作”或只包括“转换”？
所有操作都是在集群上执行的，操作的结果可能会最终出现在驱动程序上（根据操作而定）。
一般来说，你编写的围绕业务逻辑的spark代码并不实际运行 - 相反，Spark使用它来创建计划，该计划将在集群中执行你的代码。该计划创建一个任务列表，列出了可以在不需要在分区之间传输数据的情况下完成的所有操作。每次Spark需要以不同方式排列数据时（例如排序后），它都会创建一个新任务和第一个任务与后面任务之间的Shuffle。
.toDebugString以查看每个作业拆分的位置；每个缩进级别都是一个新阶段。我认为驱动程序上显示的reduce函数有点误导人，因为它将首先并行运行，然后合并结果。因此，我期望任务确实尽可能在工作人员上运行。