Differences between revisions 3 and 5 (spanning 2 versions)
⇤ ← Revision 3 as of 2018-06-09 03:38:34 →
Size: 345
Editor: localhost
Comment:
← Revision 5 as of 2018-06-09 04:07:46 → ⇥
Size: 1174
Editor: localhost
Comment:
Deletions are marked like this. Additions are marked like this.
Line 15: Line 15:

== 整体流程 ==
  1. 用户向Client提交应用，Client接收
  1. Client向RM提交请求，申请应用，RM中的APPMANAGER会返回一个JOB-ID
  1. CLIENT下发应用，通过对应用到进行解析，我们可以提取并且加载DRIVER，DRIVER一般是运行在CONTAINER中的，和MR中的APPMASTER一样，当然用户亦可指定DRIVER的执行位置
  1. DRIVER启动之后，会联系APPMANAGER，下发APPMASTER程序，APPMANAGER收到请求之后，会向ResourceManager查询当前集群中节点的负载情况，选择其中负载最小值的VM,然后要求其拉起Container，并且将APPMASTER下发到其中运行。
  1. APPMASTER启动之后，无需注册，直接计划当前的应用需要消耗的资源，DRIVER会根据应用的执行情况，将应用切分为Aplication(个数为1)

Spark VS Mapreduce

Spark

  1. 基于内存的计算
  2. 高性能要求

增加了Driver新组件

  1. Client收到应用请求，首先会拉起Driver，主要是用于Spark的工作流程规划和TASK下发。

RDD算子

  1. 执行类的算子
  2. 逻辑操作类的算子

整体流程

  1. 用户向Client提交应用，Client接收
  2. Client向RM提交请求，申请应用，RM中的APPMANAGER会返回一个JOB-ID
  3. CLIENT下发应用，通过对应用到进行解析，我们可以提取并且加载DRIVER，DRIVER一般是运行在CONTAINER中的，和MR中的APPMASTER一样，当然用户亦可指定DRIVER的执行位置

  4. DRIVER启动之后，会联系APPMANAGER，下发APPMASTER程序，APPMANAGER收到请求之后，会向ResourceManager查询当前集群中节点的负载情况，选择其中负载最小值的VM,然后要求其拉起Container，并且将APPMASTER下发到其中运行。

  5. APPMASTER启动之后，无需注册，直接计划当前的应用需要消耗的资源，DRIVER会根据应用的执行情况，将应用切分为Aplication(个数为1)

首頁/2018-06-09 (last edited 2018-06-10 08:40:58 by localhost)