Differences between revisions 3 and 4
⇤ ← Revision 3 as of 2018-06-09 03:38:34 →
Size: 345
Editor: localhost
Comment:
← Revision 4 as of 2018-06-09 04:04:58 → ⇥
Size: 796
Editor: localhost
Comment:
Deletions are marked like this. Additions are marked like this.
Line 15: Line 15:

== 整体流程 ==
  1. 用户向Client提交应用，Client接收
  1. Client向RM提交请求，申请应用，RM中的APPMANAGER会返回一个JOB-ID
  1. CLIENT下发应用，通过对应用到进行解析，我们可以提取并且加载DRIVER，DRIVER一般是运行在CONTAINER中的，和MR中的APPMASTER一样，当然用户亦可指定DRIVER的执行位置
  1. DRIVER启动之后，会联系APPMANAGER，下发APPMASTER程序，APP

Spark VS Mapreduce

Spark

  1. 基于内存的计算
  2. 高性能要求

增加了Driver新组件

  1. Client收到应用请求，首先会拉起Driver，主要是用于Spark的工作流程规划和TASK下发。

RDD算子

  1. 执行类的算子
  2. 逻辑操作类的算子

整体流程

  1. 用户向Client提交应用，Client接收
  2. Client向RM提交请求，申请应用，RM中的APPMANAGER会返回一个JOB-ID
  3. CLIENT下发应用，通过对应用到进行解析，我们可以提取并且加载DRIVER，DRIVER一般是运行在CONTAINER中的，和MR中的APPMASTER一样，当然用户亦可指定DRIVER的执行位置
  4. DRIVER启动之后，会联系APPMANAGER，下发APPMASTER程序，APP

首頁/2018-06-09 (last edited 2018-06-10 08:40:58 by localhost)