一、项目介绍
百战出行大数据项目是大型企业级综合项目,此项目针对订单数据进行分析,通过这些出行大数据,还可以看到城市经济、社会资源的发展、变迁情况,有非常有研究价值。
该项目包含离线分析、实时分析,涉及数据从终端(APP)的产生到数据中台处理再到大数据后台处理的整个链路技术,包括大数据量计算与存储分离解决方案,海量级数据秒查询优化方案,大数据主流技术spark自定义数据源实现列剪枝灵活查询海量数据,并且重构SparkSql构建多数据源(hbase)的数据查询平台。
二、技术选型
百战出行主要使用技术如下:Spark、SparkSQL、 SparkStreaming 、Zookeeper、 Hbase、kafka、mysql、redis、 H3 、Maven 、Phoniex 、Maxwell 、SpringBoot 、Mybatis 、JDBC 等
三、项目核心功能模块
1.mysql binglog同步方案
2.订单监控_实时统计订单总数
3.订单监控_实时统计乘车人数
4.虚拟车站
5.订单交易数据统计分析_订单分析总、月、公里数
6.订单交易数据统计分析_车辆分布和订单分布统计
7.司机数据统计分析_当日各城市的司机注册数
8.司机数据统计分析_当月各城市的司机注册数
9.司机数据统计分析_本年各城市的司机注册数
10.司机数据统计分析_汇总各城市司机注册数
11.用户数据统计分析_新增用户
12.用户数据统计分析_活用用户
13.用户数据统计分析_留存率
14.大数据WEB平台
适合人群:
1)掌握Hadoop及HDFS原理和使用
2)掌握Hive、HBase、Sqoop、Flume工具
3)掌握SparkCore,SparkSQL,SparkStreaming原理及代码编写
4)掌握Kafka原理及使用
5)掌握redis原理及使用
章节 | 内容 |
---|---|
章节1 百战出行 | 1:百战出行 2:百战出行架构设计 3:环境搭建_HBase安装部署 4:环境搭建_Kafka安装部署 5:环境搭建_MySQL安装部署 6:环境搭建_Redis安装部署 7:构建父工程项目 8:订单监控_收集订单数据 9:订单监控_订单数据分析 10:订单监控_存储数据之读取数据 11:订单监控_存储数据之保存数据至MySQL 12:订单监控_Maxwell介绍 13:订单监控_Maxwell安装 14:订单监控_Spark_Streaming整合Kafka_上 15:订单监控_Spark_Streaming整合Kafka_下 16:订单监控_实时统计订单总数之消费订单数据 17:订单监控_实时统计订单总数之构建订单解析器 18:订单监控_实时统计订单总数之解析订单JSON数据 19:订单监控_实时统计订单总数 20:订单监控_实时统计乘车人数统计 21:订单监控_Redis工具类 22:订单监控_保存数据到Redis中 23:虚拟车站_需求分析 24:虚拟车站_虚拟车站实现思路 25:虚拟车站_Uber h3介绍 26:虚拟车站_H3算法使用 27:虚拟车站_HBase工具类上 28:虚拟车站_HBase工具类下 29:虚拟车站_Kafka消费订单数据 30:虚拟车站_储存订单数据至HBase 31:虚拟车站_Spark SQL读取HBase订单数据 32:虚拟车站_创建订单数据的DataFrame 33:虚拟车站_Spark SQL集成H3 34:虚拟车站_虚拟车站站点统计 35:虚拟车站_保存虚拟车站信息 36:订单交易数据统计分析_数据准备 37:订单交易数据统计分析_kafka消费数据至HBase_上 38:订单交易数据统计分析_kafka消费数据至HBase_下 39:订单交易数据统计分析_自定义Spark SQL多数据 40:订单交易数据统计分析_自定义外部数据源HbaseR 41:订单交易数据统计分析_自定义外部数据源HbaseRel 42:订单交易数据统计分析_自定义外部数据源HbaseRelation 43:订单交易数据统计分析_订单总数统计 44:订单交易数据统计分析_订单月总数统计 45:订单交易数据统计分析_公里数统计 46:订单交易数据统计分析_汇总结果 47:订单交易数据统计分析_保存汇总数据 48:订单交易数据统计分析_当日各城市的车辆分布 49:订单交易数据统计分析_当月各城市的车辆分布 50:订单交易数据统计分析_汇总当日车辆和当月车辆 51:订单交易数据统计分析_当日订单分布 52:订单交易数据统计分析_当月订单分布 53:订单交易数据统计分析_汇总日、月订单分布 54:订单交易数据统计分析_车辆分布和订单分布的汇总 55:订单交易数据统计分析_保存车辆分布和订单分布的汇 56:司机数据统计分析_数据准备 57:司机数据统计分析_kafka消费数据至HBase 58:司机数据统计分析_当日各城市的司机注册数 59:司机数据统计分析_当月各城市的司机注册数 60:司机数据统计分析_本年各城市的司机注册数 61:司机数据统计分析_汇总各城市司机注册数 62:司机数据统计分析_各城市司机注册数保存HBase 63:司机数据统计分析_当日平台有效订单总数 64:司机数据统计分析_当月平台有效订单总数 65:司机数据统计分析_本年平台有效订单总数 66:司机数据统计分析_当日司机总订单 67:司机数据统计分析_本月司机总订单 68:司机数据统计分析_本年度司机总订单 69:司机数据统计分析_当日的人均订单完成率mp4 70:司机数据统计分析_本月的人均订单完成率 71:司机数据统计分析_本年度的人均订单完成率 72:司机数据统计分析_汇总司机订单完成率 73:司机数据统计分析_用户数据统计分析_数据准备 74:用户数据统计分析_日新增用户 75:用户数据统计分析_周、月新增用户 76:用户数据统计分析_汇总日、周、月新增用户数据 77:用户数据统计分析_统计日活跃用户 78:用户数据统计分析_统计周、月活跃用户 79:用户数据统计分析_汇总日、周、月活跃用户 80:用户数据统计分析_次日留存用户 81:用户数据统计分析_周留存率 82:用户数据统计分析_月留存率 83:用户数据统计分析_汇总日、周、月留存率 84:即席查询_Phoenix介绍 85:即席查询_Phoenix安装 86:即席查询_Phoenix常用的命令操作 87:即席查询_Phoenix常用的命令操作 88:Phoniex生成表_订单、司机、用户数据表 89:大数据WEB平台_项目创建 90:大数据WEB平台_整合Mybatis框架 91:大数据WEB平台_查询新增用户数据 92:大数据WEB平台_查询留存率数据 93:大数据WEB平台_查询订单汇总数据 94:大数据WEB平台_查询车辆订单汇总数据 95:大数据WEB平台_查询各城市司机注册数据 96:大数据WEB平台_查询司机订单完成率数据 97:大数据WEB平台_查询虚拟车站信息 98:大数据WEB平台_查询实时订单和乘车人数 |
另附本章节课程资料