《大数据全系列》
本次更新内容为大数据第十九阶段:推荐系统项目:
一、项目介绍
商品推荐是在大数据处理场景中经常使用到的技术,此项目根据推荐系统思想中的协同过滤思想及网站用户隐式数据反馈实现手机app推荐,项目中涉及到协同过滤思想理论基础、逻辑回归模型使用、推荐列表生成一整套推荐系统实战流程。
二、技术选型
推荐系统中使用到的技术如下:
HDFS、Hive、Redis、Spark、SparkMLlib、SpringBoot、Dubbo、zookeeper
三、项目核心功能模块
1)模型数据ETL清洗
2)推荐系统结构设计与流程设计
3)逻辑回归模型关联特征与基本特征选取
4)模型参数保存
5)Dubbo实时在线推荐
适合人群:
1)掌握推荐系统协同过滤思想
2)掌握逻辑回归算法原理及使用
3)掌握Spark编程及Spark Mllib 机器学习库
4)掌握Hive数据仓库原理及使用
5)掌握Redis原理及使用
6)掌握Kylin原理及使用
7)掌握Java 编程及web框架原理
第一章 推荐系统架构原理 |
01_推荐系统_推荐系统介绍 |
02_推荐系统_基于用户的协同过滤思想 |
03_推荐系统_基于商品的协同过滤思想 |
04_推荐系统_基于用户及基于商品协同过滤思想总结 |
05_推荐系统_App推荐系统原理 01 |
06_推荐系统_App推荐系统原理 02 |
07_推荐系统_App推荐案例计算分析 |
08_推荐系统_推荐系统中冷启动问题 |
09_推荐系统_推荐系统lambda架构 |
10_推荐系统_App推荐系统架构 |
第二章 推荐系统流程实现 |
01_推荐系统_三种表数据模拟 |
02_推荐系统_Hive创建对应表及数据加载 |
03_推荐系统_Hive 数据表 ETL 预处理获取数据中间表 01 |
04_推荐系统_Hive 数据表 ETL 预处理获取数据中间表 02 |
05_推荐系统_Hive 模型特征表获取分析 |
06_推荐系统_python处理Hive数据文件代码编写 |
07_推荐系统_python处理Hive表数据及数据导出 |
08_推荐系统_特征工程获取训练集全量特征 |
09_推荐系统_特征工程&训练模型获取模型文件 |
10_推荐系统_推荐服务_数据准备 |
11_推荐系统_推荐服务_推荐服务介绍 |
12_推荐系统_推荐服务_dubbo-provider端介绍 |
13_推荐系统_推荐服务_dubbo-consumer端介绍 |
14_推荐系统_推荐服务_推荐服务代码 |
另附各章节课程资料