Spark大数据处理技术

1 (p1): 第1章 Spark系统概述
1 (p1-1): 1.1 大数据处理框架
3 (p1-2): 1.2 Spark大数据处理框架
3 (p1-2-1): 1.2.1 RDD表达能力
4 (p1-2-2): 1.2.2 Spark子系统
7 (p1-3): 1.3 小结
9 (p2): 第2章 Spark RDD及编程接口
9 (p2-1): 2.1 Spark程序“Hello World”
12 (p2-2): 2.2 Spark RDD
13 (p2-2-1): 2.2.1 RDD分区（partitions）
13 (p2-2-2): 2.2.2 RDD优先位置（preferredLocations）
15 (p2-2-3): 2.2.3 RDD依赖关系（dependencies）
19 (p2-2-4): 2.2.4 RDD分区计算（compute）
20 (p2-2-5): 2.2.5 RDD分区函数（partitioner）
23 (p2-3): 2.3 创建操作
23 (p2-3-1): 2.3.1 集合创建操作
23 (p2-3-2): 2.3.2 存储创建操作
26 (p2-4): 2.4 转换操作
26 (p2-4-1): 2.4.1 RDD基本转换操作
35 (p2-4-2): 2.4.2 键值RDD转换操作
43 (p2-4-3): 2.4.3 再论RDD依赖关系
46 (p2-5): 2.5 控制操作（control operation）
47 (p2-6): 2.6 行动操作（action operation）
47 (p2-6-1): 2.6.1 集合标量行动操作
52 (p2-6-2): 2.6.2 存储行动操作
56 (p2-7): 2.7 小结
57 (p3): 第3章 Spark运行模式及原理
57 (p3-1): 3.1 Spark运行模式概述
57 (p3-1-1): 3.1.1 Spark运行模式列表
58 (p3-1-2): 3.1.2 Spark基本工作流程
59 (p3-1-3): 3.1.3 相关基本类
62 (p3-2): 3.2 Local模式
62 (p3-2-1): 3.2.1 部署及程序运行
63 (p3-2-2): 3.2.2 内部实现原理
64 (p3-3): 3.3 Standalone模式
64 (p3-3-1): 3.3.1 部署及程序运行
67 (p3-3-2): 3.3.2 内部实现原理
68 (p3-4): 3.4 Local cluster模式
68 (p3-4-1): 3.4.1 部署及程序运行
69 (p3-4-2): 3.4.2 内部实现原理
69 (p3-5): 3.5 Mesos模式
69 (p3-5-1): 3.5.1 部署及程序运行
70 (p3-5-2): 3.5.2 内部实现原理
72 (p3-6): 3.6 YARN standalone/YARN cluster模式
72 (p3-6-1): 3.6.1 部署及程序运行
75 (p3-6-2): 3.6.2 内部实现原理
76 (p3-7): 3.7 YARN client模式
76 (p3-7-1): 3.7.1 部署及程序运行
77 (p3-7-2): 3.7.2 内部实现原理
78 (p3-8): 3.8 各种模式的实现细节比较
78 (p3-8-1): 3.8.1 环境变量的传递
80 (p3-8-2): 3.8.2 JAR包和各种依赖文件的分发
82 (p3-8-3): 3.8.3 任务管理和序列化
83 (p3-8-4): 3.8.4 用户参数配置
84 (p3-8-5): 3.8.5 用户及权限控制
85 (p3-9): 3.9 Spark 1.0版本之后的变化
86 (p3-10): 3.10 小结
87 (p4): 第4章 Spark调度管理原理
87 (p4-1): 4.1 Spark作业调度管理概述
88 (p4-2): 4.2 Spark调度相关基本概念
89 (p4-3): 4.3 作业调度模块顶层逻辑概述
92 (p4-4): 4.4 作业调度具体工作流程
94 (p4-4-1): 4.4.1 调度阶段的拆分
97 (p4-4-2): 4.4.2 调度阶段的提交
99 (p4-4-3): 4.4.3 任务集的提交
99 (p4-4-4): 4.4.4 完成状态的监控
101 (p4-4-5): 4.4.5 任务结果的获取
102 (p4-5): 4.5 任务集管理模块详解
104 (p4-6): 4.6 调度池和调度模式分析
106 (p4-7): 4.7 其他调度相关内容
106 (p4-7-1): 4.7.1…