pyspark中 job执行的流程

一个 spark-submit 提交的应用程序（Application）会触发多少个Job，完全取决于你的代码中包含了多少个 Action 操作。

下面我们来详细分解这个概念：

📊 核心概念：Action触发Job

在Spark的执行模型中，这是一个铁律：

• 转换（Transformation）：如 map、filter、join，它们只定义计算逻辑，是“惰性”的，不会立即执行。
• 动作（Action）：如 count()、collect()、saveAsTextFile()、show()，它们会触发一个作业（Job）的真正执行，目的是产出结果或输出。

每个Action触发一个独立的Job。 因此，你的代码里有几个Action，spark-submit 运行这个应用时就会生成几个Job。

首先Driver程序会解析我们的代码，形成RDD的计算图。

接着，DAGScheduler会根据宽依赖将计算图划分成不同的Stage，每个Stage内部是一系列可以并行执行的Task。

然后，TaskScheduler会与Cluster Manager协作，申请资源启动Executor，并将Task分发到各个Executor上执行。Executor执行Task，并将状态和结果返回给Driver。

整个过程，Shuffle是Stage划分和数据交换的关键点，也是主要的性能优化切入点。