Spark修炼之道(进阶篇)——Spark入门到精通:第九节 Spark SQL运行流程解析

  • 时间:
  • 浏览:1

(1)查看teenagers的Schema信息

运行流程:

查看整体执行流程:

执行得话:

执行得话:

运行流程查看:

查看整体执行流程:

查看整体执行流程

使用下列代码对SparkSQL流程进行分析,让朋友明白LogicalPlan的几种情况表,理解SparkSQL整体执行流程

执行得话:

前面的例子与下面的例子等同,只不过其运行妙招略有不同,执行得话:

其它SQL得话,朋友才能使用同样的妙招查看其执行流程,以掌握Spark SQL面前实现的基本思想。

QueryExecution中表示的是整体Spark SQL运行流程,从上面的输出结果才能看完,另一个 SQL得话要执行需要经过下列步骤:

执行流程:

执行得话:

执行得话:

(2)查看运行流程