《大数据全系列》
本次更新内容大数据第六阶段:
Hadoop 分布式文件系统HDFS
本阶段是进入“大数据”的一个入口,需要掌握HDFS 的基本原理,知道为什么它可以存储海量数据,知道“百度网盘”本身是什么?能否自己也能实现一个网盘。让大家一开始就进入大数据实战状态。
章节6:Hadoop分布式文件系统HDFS
01 课程介绍 |
02 1TB大文件操作的思考 |
03 分治思想引入案例 |
04 单机处理大数据的问题上 |
05 单机处理大数据的问题下 |
06 集群分布式处理大数据 |
07.集群分布式处理大数据优劣的辩证 |
08 Hadoop是什么? |
09 Hadoop发展历史 |
10 Hadoop三大发行版本(了解) |
11 Hadoop核心组件 |
12 Hadoop关联项目 |
13 HDFS介绍 |
14 HDFS架构剖析 |
15 HDFS完全分布式搭建_规划和前置环境 |
16 hadoop安装包相关上 |
17 hadoop安装包相关下 |
18 HDFS完全分布式搭建_HDFS集群配置上 |
19 HDFS完全分布式搭建_HDFS集群配置中 |
20 HDFS完全分布式搭建_HDFS集群配置下 |
21 HDFS完全分布式搭建_格式化、启动和测试上 |
22 HDFS完全分布式搭建_格式化、启动和测试下 |
23 HDFS完全分布式搭建_常见的HDFS命令行操作上 |
24 HDFS完全分布式搭建_常见的HDFS命令行操作下 |
25 HDFS完全分布式搭建_集群启动和停止总结 |
26 NameNode角色分析上 |
27 NameNode角色分析下 |
28 NameNode_FsImage和Edits log文件分析上 |
29 NameNode_FsImage和Edits log文件分析中 |
30 NameNode_FsImage和Edits log文件分析下 |
31 SecondaryNameNode分析上 |
32 SecondaryNameNode分析下 |
33 NameNode故障处理(扩展) |
34 NameNode多目录配置(了解) |
35 DataNode分析上 |
36 DataNode分析中 |
37 DataNode分析下 |
38 时间未同步bug解决(选学) |
39 权限(了解) |
40 Hadoop集群的安全模式 |
41 Hadoop集群的安全模式_参数配置 |
42 Hadoop集群的安全模式_命令操作 |
43 准备Hadoop的Windows开发环境 |
44 HDFS之JavaAPI_项目搭建 |
45 HDFS之JavaAPI_创建目录上 |
46 HDFS之JavaAPI_创建目录下 |
47 HDFS之JavaAPI_上传文件准备 |
48 HDFS之JavaAPI_上传文件高级API实现 |
49 HDFS之JavaAPI_上传文件之基础API实现(选学) |
50 HDFS之JavaAPI_上传文件之参数优先级 |
51 HDFS之JavaAPI_文件改名和移动 |
52 HDFS之JavaAPI_下载文件 |
53 HDFS之JavaAPI_文件和目录的删除 |
54 HDFS之JavaAPI_获取指定文件的详情 |
55 HDFS之JavaAPI_文件和目录的判断 |
56 HDFS之JavaAPI_获取指定目录下文件详细 |
57 HDFS之JavaAPI_获取指定目录下文件详细测试和总结 |
58 HDFS写文件流程_流程剖析一 |
59 HDFS写文件流程_流程剖析二 |
60 HDFS写文件流程_流程剖析三 |
61 HDFS写文件流程_流程剖析四 |
62 HDFS写文件流程_节点距离的计算(理解) |
63 HDFS写文件流程_数据块副本放置策略 |
64 HDFS读文件流程(重点) |
65 HDFS Federation联邦 |
66 NameNode HA概述 |
67 手动NameNode HA概述 |
68 自动NameNode HA概述 |
69 NameNode自动HA 集群搭建_规划 |
70 ssh时不提示信息配置 |
71 NameNode自动HA集群搭建_HDFS配置上 |
72 NameNode自动HA集群搭建_HDFS配置下 |
73 NameNode自动HA集群搭建_首次启动HDFS HA集群一 |
74 NameNode自动HA集群搭建_首次启动HDFS HA集群二 |
75 NameNode自动HA集群搭建_首次启动HDFS HA集群三 |
76 NameNode自动HA集群搭建_首次启动HDFS HA集群四 |
77 NameNode自动HA集群搭建_首次启动HDFS HA集群五 |
78 编写HDFS HA启动脚本 |
79 编写HDFS HA关闭脚本 |