Hadoop 分布式计算MapReduce和资源管理Yarn-《大数据全系列》第7阶段更新

                                         《大数据全系列》

本次更新内容大数据第七阶段：

       Hadoop 分布式计算MapReduce和资源管理Yarn

该阶段侧重对分布式计算MapReduce的原理实现以及资源管理Yarn的深度剖析，并以项目案例应用为贯穿主线，包含天气温度分析、好友推荐系统等。附以源码分析让学生来更清晰的理解何为分布式计算，计算的并行、计算的向数据移动、计算的本地化数据读取等。

阶段七：Hadoop 分布式计算MapReduce和资源管理Yarn

01 课程介绍

02 MapReduce的定义

03 MapReduce优缺点

04 MapReduce工作流程一

05 MapReduce工作流程二

06 MapReduce工作流程三

07 Yarn资源管理器_架构剖析

08 Yarn资源管理器_工作机制上

09 Yarn资源管理器_工作机制下

10 Yarn RM HA搭建_文档查看与集群规划

11 Yarn RM HA搭建_相关文件配置

12 Yarn RM HA搭建_启动

13 Yarn RM HA搭建_测试

14 Yarn RM HA搭建_高可用测试

15 Yarn RM HA搭建_启动脚本编写

16 Yarn RM HA搭建_关闭脚本编写

17 Yarn RM HA搭建_资源调度器介绍

18 Yarn RM HA搭建_FIFO资源调度器

19 Yarn RM HA搭建_容量(Capacity)调度器

20  Yarn RM HA搭建_公平(Fair)调度器上

21 Yarn RM HA搭建_公平(Fair)调度器下

22 单词数量统计案例实战_运行自带的wordcount上

23 单词数量统计案例实战_运行自带的wordcount下

24 自带的wordcount源码分析

25 手写wordcount_环境准备

26 手写WordCount_Mapper类编写上

27 手写WordCount_Mapper类编写下

28 手写WordCount_Reducer类编写

29 手写WordCount_Driver类编写

30 手写WordCOunt_本地运行测试

31 手写WordCOunt_集群中运行测试

32 Hadoop序列化与反序列化一

33 Hadoop序列化与反序列化二

34 Hadoop序列化与反序列化三

35 MapReduce源码分析_准备工作一

36 MapReduce源码分析_准备工作二

37 客户端提交作业_waitForCompletion

38 客户端提交作业_monitorAndPrintJob

39 客户端作业提交_submit

40 客户端作业提交_job资源在hdfs上的路径(选学)

41 切片数量的计算(重点)一

42 切片数量的计算(重点)二

43 切片数量的计算(重点)三

44 切片数量的计算(重点)四

45 切片数量的计算(重点)五

46 切片数量的计算(重点)六

47 切片数量的计算(重点)七

48 切片数量的计算(重点)八

49 切片数量的计算(重点)九

50 Map阶段源码分析_源码从哪里看

51 Map阶段源码分析_runNewMapper引入

52 Map阶段源码分析_runNewMapper分析

53 Map阶段源码分析_mapper和inputFormat对象如何创建？

54 Map阶段源码分析_input对象如何创建？

55 Map阶段源码分析_initialize分析

56 Map阶段源码分析_run(mapperContext)分析

57 Map阶段源码分析_nextKeyValue()分析

58 Map阶段源码分析_out对象如何创建

59 Map阶段源码分析_有Reduce时out对象创建

60 Map阶段源码分析_分区

61 Map阶段源码分析_自定义分区类

62 Map阶段源码分析_圆形缓冲区引入

63 Map阶段源码分析_圆形缓冲区一

64 Map阶段源码分析_圆形缓冲区二

65 Map阶段源码分析_圆形缓冲区三

66 Map阶段源码分析_圆形缓冲区四

67 Map阶段源码分析_排序比较器一

68 Map阶段源码分析_排序比较器二

69 Map阶段源码分析_排序比较器三

70 Map阶段源码分析_没有Reduce

71 Reduce阶段源码分析_概述

72 Reduce阶段源码分析_copy数据源码一

73 Reduce阶段源码分析_copy数据源码二

74 Reduce阶段源码分析_copy数据源码三

75 Reduce阶段源码分析_分组比较器一

76 Reduce阶段源码分析_分组比较器二

77 Reduce阶段源码分析_如何自定义分组比较器

78 Reduce阶段源码分析_Reduce类

79 Reduce阶段源码分析_Reducer运行时run方法一

80 Reduce阶段源码分析_Reducer运行时run方法二

81 Reduce阶段源码分析_Reducer运行时run方法二

82 温度分析案例实战_需求分析

83 温度分析案例实战_Weather类开发上

84  温度分析案例实战_Weather类开发下

85 温度分析案例实战_WeatherMapper类开发上

86 温度分析案例实战_WeatherMapper类开发下

87 温度分析案例实战_分区类编写

88 温度分析案例实战_排序比较器编写

89 温度分析案例实战_分组比较器编写

90 温度分析案例实战_WeatherReducer类编写

91 温度分析案例实战_WeatherDriver类编写

92 温度分析案例实战_运行测试上

93 温度分析案例实战_运行测试下

94 Reduce中遍历values时key是否改变一

95 Reduce中遍历values时key是否改变二

96 好友推荐案例实战_需求

97 好友推荐案例实战_数据集

98 好友推荐案例实战_案例分析

99 好友推荐案例实战_项目搭建

100 好友推荐案例实战_FOFDriver1开发一

101 好友推荐案例实战_FOFDriver1开发二

102 好友推荐案例实战_FOFMapper1开发

103 好友推荐案例实战_FOFReducer1开发

104 好友推荐案例实战_MR1测试

105 好友推荐案例实战_FOFDriver2开发

106 好友推荐案例实战_FOFMapper2开发

107 好友推荐案例实战_FOFReducer2开发一

108 好友推荐案例实战_FOFReducer2开发二

109 好友推荐案例实战_FOFReducer2开发三

110  好友推荐案例实战_MR2测试

111 hadoop 3.x 新特性