《大数据全系列》
一、项目介绍
音乐数据中心项目是大型企业级综合数仓项目,此项目针对音乐数据进行分析,构建数据仓库,建立用户、机器、内容等主题进行数据分析,涉及数仓建模理论基础、数仓建模规则、数仓建模命名设计规范、数仓分层设计、数仓数据采集、数据ETL、数据质量检验、各主题业务处理流程设计、实时数据处理、任务流调度、数据可视化等实际企业级大数据数据中心建设使用到的方法论及实际技术使用流程。
二、技术选型
音乐数据中心主要使用技术如下:CDH、flume、sqoop、HDFS、Spark、SparkSQL、Hive、Hbase、Zookeeper、kafka、mysql、redis、yarn、superset、Azkaban等
三、项目核心功能模块
音乐数据中心数仓项目主要分析业务如下:
1)针对业务数仓建模分层设计
2)关系型数据库批量、实时采集到数据中心
3)SpringBoot日志采集接口采集日志数据到数据中心
4)歌曲、歌手热度分析
5)机器分布分析
6)机器位置信息统计分析
7)活跃、留存用户分析
8)用户机器营收分析
9)商户营收数据分析
10)地域营收分析
11)实时热歌榜单分析
12)实时PV/UV统计
13)音乐排行榜统计
14)... ...
适合人群:
1)掌握Hadoop及HDFS原理和使用
2)掌握Hive、HBase、Sqoop、Flume工具
3)掌握SparkCore,SparkSQL,SparkStreaming原理及代码编写
4)掌握azkaban原理及使用
5)掌握Kafka原理及使用
6)掌握redis原理及使用
第一章 数据仓库建模理论及模型设计 |
01_数据仓库建模理论_数据库及数据库三范式设计 |
02_数据仓库建模理论_ER实体关系模型设计 |
03_数据仓库建模理论_ER实体关系模型设计案例分析 |
04_数据仓库建模理论_数据仓库产生原因及数据仓库概念 |
05_数据仓库建模理论_数据仓库发展过程 |
06_数据仓库建模理论_维度建模事实表及维度表 |
07_数据仓库建模理论_维度建模数据分析模型分类 |
08_数据仓库建模理论_维度建模案例分析 |
09_数据仓库建模理论_数据仓库分层设计及每层设计思想 |
10_数据仓库建模理论_数据仓库分层案例分析 |
11_数据仓库建模理论_数据库与数据仓库区别 |
第二章 歌曲热度与歌手热度排行 |
01_音乐数据中心项目_项目介绍 |
02_音乐数据中心项目_项目技术架构设计 |
03_音乐数据中心项目_项目集群配置、项目人数及项目开发周期 |
04_音乐数据中心项目_项目数据仓库分层设计、主题设计、命名规范 |
05_音乐数据中心项目_歌曲热度及歌手热度_需求 |
06_音乐数据中心项目_歌曲热度及歌手热度_需求分析 01 |
07_音乐数据中心项目_歌曲热度及歌手热度_需求分析 02 |
08_音乐数据中心项目_歌曲热度及歌手热度_表模型设计 |
09_音乐数据中心项目_歌曲热度及歌手热度_数据仓库分层及数据流转处理流程 |
10_音乐数据中心项目_歌曲热度及歌手热度_项目结构介绍 |
11_音乐数据中心项目_歌曲热度及歌手热度_客户端歌曲播放日志数据处理 01 |
12_音乐数据中心项目_歌曲热度及歌手热度_客户端歌曲播放日志数据处理 02 |
13_音乐数据中心项目_歌曲热度及歌手热度_客户端歌曲播放日志数据处理 03 |
14_音乐数据中心项目_歌曲热度及歌手热度_Sqoop 安装及准备jar包 |
15_音乐数据中心项目_歌曲热度及歌手热度_将歌库歌曲表通过Sqoop导入ODS层 |
16_音乐数据中心项目_歌曲热度及歌手热度_SparkSQL 使用补充 |
17_音乐数据中心项目_歌曲热度及歌手热度_ETL获取EDS层歌曲基本信息日全量表 01 |
18_音乐数据中心项目_歌曲热度及歌手热度_ETL获取EDS层歌曲基本信息日全量表 02 |
19_音乐数据中心项目_歌曲热度及歌手热度_ETL获取EDS层歌曲特征日统计表 01 |
20_音乐数据中心项目_歌曲热度及歌手热度_ETL获取EDS层歌曲特征日统计表 02 |
21_音乐数据中心项目_歌曲热度及歌手热度_微信指数公式及歌曲歌手热度计算公式 |
22_音乐数据中心项目_歌曲热度及歌手热度_歌曲热度统计 01 |
23_音乐数据中心项目_歌曲热度及歌手热度_歌曲热度统计 02 |
24_音乐数据中心项目_歌曲热度及歌手热度_歌手热度统计 01 |
25_音乐数据中心项目_歌曲热度及歌手热度_歌手热度统计 02 |
26_音乐数据中心项目_歌曲热度及歌手热度_Azkaban任务流调度环境准备 |
27_音乐数据中心项目_歌曲热度及歌手热度_Azkaban任务流脚本准备 01 |
28_音乐数据中心项目_歌曲热度及歌手热度_Azkaban任务流脚本准备 02 |
29_音乐数据中心项目_歌曲热度及歌手热度_Azkaban任务流配置及任务流调度任务 |
30_音乐数据中心项目_歌曲热度及歌手热度_Azkaban任务调度结果查看及SuperSet介绍 |
31_音乐数据中心项目_Superset BI可视化_Superset基于Linux安装 |
32_音乐数据中心项目_Superset BI可视化_Superset界面介绍及导入数据源及表 |
33_音乐数据中心项目_Superset BI可视化_Superset 图表制作 |
34_音乐数据中心项目_Superset BI可视化_Superset 柱状图制作 |
35_音乐数据中心项目_Superset BI可视化_Superset 饼图及自定义页面制作 |
36_音乐数据中心项目_Superset BI可视化_Superset 折线图制作 |
37_音乐数据中心项目_歌曲热度及歌手热度_结果使用Superset 可视化展示 |
第三章 机器详细信息统计及日活跃用户统计 |
01_音乐数据中心项目_机器详细信息统计_需求及数据来源 |
02_音乐数据中心项目_机器详细信息统计_需求分析 |
03_音乐数据中心项目_机器详细信息统计_数仓分层ODS层设计 |
04_音乐数据中心项目_机器详细信息统计_数仓分层EDS层及DM层设计 |
05_音乐数据中心项目_机器详细信息统计_Sqoop导入mysql数据到ODS层 01 |
06_音乐数据中心项目_机器详细信息统计_Sqoop导入mysql数据到ODS层 02 |
07_音乐数据中心项目_机器详细信息统计_EDS层数据ETL 01 |
08_音乐数据中心项目_机器详细信息统计_EDS层数据ETL 02 |
09_音乐数据中心项目_机器详细信息统计_EDS层数据ETL 03 |
10_音乐数据中心项目_机器详细信息统计_Azkaban任务流自动调度 01 |
11_音乐数据中心项目_机器详细信息统计_Azkaban任务流自动调度 02 |
12_音乐数据中心项目_机器详细信息统计_报表使用Superset可视化展示 |
13_音乐数据中心项目_用户画像7日活跃用户分析__需求及数据来源 |
14_音乐数据中心项目_用户画像7日活跃用户分析__需求分析 |
15_音乐数据中心项目_用户画像7日活跃用户分析__数据仓库ODS、EDS、DM分层设计 |
16_音乐数据中心项目_用户画像7日活跃用户分析__Sqoop导入mysql数据到ODS层 01 |
17_音乐数据中心项目_用户画像7日活跃用户分析__Sqoop导入mysql数据到ODS层 02 |
18_音乐数据中心项目_用户画像7日活跃用户分析__业务处理数据分析 |
19_音乐数据中心项目_用户画像7日活跃用户分析__EDS层数据ETL 01 |
20_音乐数据中心项目_用户画像7日活跃用户分析__EDS层数据ETL 02 |
21_音乐数据中心项目_用户画像7日活跃用户分析__Azkaban任务流自动调度 01 |
22_音乐数据中心项目_用户画像7日活跃用户分析__Azkaban任务流自动调度 02 |
23_音乐数据中心项目_用户画像7日活跃用户分析__Superset可视化展示数据 |
第四章 商户及地区营收统计 |
01_音乐数据中心项目_商户、地区营收统计__商户营收统计与地区营收统计需求 |
02_音乐数据中心项目_商户营收统计__商户营收统计需求分析 01 |
03_音乐数据中心项目_商户营收统计__商户营收统计需求分析 02 |
04_音乐数据中心项目_商户营收统计__商户营收统计数仓分层设计 01 |
05_音乐数据中心项目_商户营收统计__商户营收统计数仓分层设计 02 |
06_音乐数据中心项目_商户营收统计__用户上报机器位置信息数据增量导入ODS层 |
07_音乐数据中心项目_商户营收统计__用户上报机器位置信息业务分析 01 |
08_音乐数据中心项目_商户营收统计__用户上报机器位置信息业务分析之高德api使用 02 |
09_音乐数据中心项目_商户营收统计__用户上报机器位置信息业务分析之高德api使用 03 |
10_音乐数据中心项目_商户营收统计__用户上报机器位置信息业务 ETL 数据清洗获取EDS层数据 01 |
11_音乐数据中心项目_商户营收统计__用户上报机器位置信息业务 ETL 数据清洗获取EDS层数据 02 |
12_音乐数据中心项目_商户营收统计__机器消费订单明细数据增量导入ODS层 |
13_音乐数据中心项目_商户营收统计__机器消费订单明细数据业务 ETL 数据清洗获取EDS层数据 |
14_音乐数据中心项目_商户营收统计__机器日营收情况统计表业务分析 01 |
15_音乐数据中心项目_商户营收统计__机器日营收情况统计表业务分析 02 |
16_音乐数据中心项目_商户营收统计__机器日营收情况统计表 ETL 数据分析得到EDS层数据 |
17_音乐数据中心项目_商户营收统计__机器日营收情况统计表 ETL 数据分析得到DM层结果数据 |
18_音乐数据中心项目_地区营收统计__地区营收统计业务需求 |
19_音乐数据中心项目_地区营收统计__地区营收统计获取DM层数据 |
20_音乐数据中心项目_商户、地区营收统计__Azkaban任务调度环境准备 |
21_音乐数据中心项目_商户、地区营收统计__Azkaban任务调度编写及执行 01 |
22_音乐数据中心项目_商户、地区营收统计__Azkaban任务调度编写及执行 02 |
23_音乐数据中心项目_商户、地区营收统计__使用Superset数据可视化展示结果 |
第五章 实时业务统计 |
01_音乐数据中心项目_流式业务处理_流式业务介绍 |
02_音乐数据中心项目_流式业务处理_日志采集接口设计Controller |
03_音乐数据中心项目_流式业务处理_日志采集接口设计Service |
04_音乐数据中心项目_流式业务处理_日志采集接口设计 Log日志目录配置 |
05_音乐数据中心项目_流式业务处理_日志采集接口设计 Log日志采集测试 |
06_音乐数据中心项目_流式业务处理_日志采集接口部署到Linux中及Flume搭建配置 |
07_音乐数据中心项目_流式业务处理_使用Flume采集接口日志到Kafka |
08_音乐数据中心项目_流式业务处理_实时统计pv&uv业务分析 |
09_音乐数据中心项目_流式业务处理_实时统计pv&uv业务代码 |
10_音乐数据中心项目_流式业务处理_实时统计pv&uv数据执行及结果查看 |
11_音乐数据中心项目_流式业务处理_实时统计歌曲点播热榜业务分析 |
12_音乐数据中心项目_流式业务处理_实时统计歌曲点播热榜业务数据准备 |
13_音乐数据中心项目_流式业务处理_实时统计歌曲点播热榜业务代码及数据结果查看 |
第六章 Spark优化 |
01_Spark优化_资源优化设置 |
02_Spark优化_并行度设置 |
03_Spark优化_自定义分区器设置 |
04_Spark优化_代码优化 01 |
05_Spark优化_代码优化 02 |
06_Spark优化_代码优化 03 |
07_Spark优化_代码优化 04 |
08_Spark优化_SparkShuffle优化及Spark内存优化 |
09_Spark优化_Spark堆外内存优化 |
10_Spark优化_Spark数据倾斜 |
11_Spark优化_第一类方式解决Spark数据倾斜 |
12_Spark优化_第二类方式解决Spark数据倾斜 |
13_Spark优化_第三类方式解决Spark数据倾斜 01 |
14_Spark优化_第三类方式解决Spark数据倾斜案例分析 |
15_Spark优化_第三类方式解决Spark数据倾斜 02 |
另附各章节课程资料