第五章 Spark运行模式

PySpark实战之运行模式

官方submit文档：Submitting Applications
pyspark 与 spark-submit中的参数列表是一样的


local模式下执行py脚本流程

standalone下提交脚本流程

yarn，不需要启动worker和master
standalone需要启动worker和master

deploy-mode
启动在本地节点 client
启动在集群上worker节点 cluster

Spark的driver运行在application master里面


yarn不能够支持交互式的程序

查看已经运行完的yarn 程序的日志

总结：不管你的spark运行在哪个模式下，spark代码并不需要任何的修改