奔跑吧程序员，新课来啦！《百战人工智能》课程更新10.18

百战人工智能课程

此次更新百战人工智能课程 四、五、六、七阶段 共31章节

第四阶段：梯度下降法_归一化_正则化_多项式升维

章节1：无约束最优化问题的求解算法

1：梯度下降法产生的目的和原因以及思想

2：梯度下降法公式

3：学习率设置的学问_全局最优解

4：梯度下降法迭代流程总结

5：多元线性回归下的梯度下降法

章节2：三种梯度下降法

6：全量梯度下降

7：随机梯度下降_小批量梯度下降

8：对应梯度下降法的问题和挑战

9：轮次和批次

章节3：代码实战梯度下降法与优化

10：代码实现全量梯度下降第1步和第2步

11：代码实现全量梯度下降第3步和第4步

12：代码实现随机梯度下降

13：代码实现小批量梯度下降

14：代码改进保证训练数据全都能被随机取到

15：代码改进实现随着迭代增加动态调整学习率

章节4：归一化

16：归一化的目的_维度之间数量级不同产生的矛盾

17：归一化的目的_举例子来理解做归一化和不做归一化的区别

18：归一化的副产品_有可能会提高模型的精度

19：最大值最小值归一化

20：标准归一化

21：代码完成标准归一化

章节5 正则化

22：正则化的目的防止过拟合

23：正则化通过损失函数加入惩罚项使得W越小越好

24：常用的L1和L2正则项以及数学意义

25：L1稀疏性和L2平滑性

26：通过L1和L2的导函数理解区别的本质原因

章节6：多元线性回归的衍生算法

27：代码调用Ridge岭回归

28：代码调用Lasso回归

29：代码调用ElasticNet回归

章节7 多项式升维

30：升维的意义_多项式回归

31：多项式升维代码实战_传入不同超参数对比

32：多项式升维代码实战_训练模型和评估

章节8：代码实战保险花销预测(基础篇)

33：实战保险花销预测_数据介绍和加载数据

34：实战保险花销预测_数据预处理

35：实战保险花销预测_模型训练和评估_选择非线性算法改进

章节9 代码实战保险花销预测(进阶篇)

36：实战保险花销预测_特征选择思路

37：实战保险花销预测_特征工程

38：实战保险花销预测_模型训练和评估

另附第四阶段第三章，第六章，第七章，第八章，第九章课程资料；

第五阶段_线性分类算法_逻辑回归和Softmax回归

章节1：从广义线性回归推导出逻辑回归

1：逻辑回归_Sigmoid函数

2：sigmoid函数作用

3：逻辑回归为什么用sigmoid函数_预备知识

4：证明伯努利分布是指数族分布_推导出逻辑回归公式

5：回想多元线性回归公式其实也是从广义线性回归推导出来的

章节2：推导逻辑回归的损失函数

6：推导逻辑回归损失函数_得到总似然的公式

7：推导逻辑回归损失函数_得到最终形式

8：绘制逻辑回归损失函数_读入数据计算最优解模型_实现逻辑回归预测_实现逻辑回归损失函数

9：绘制逻辑回归损失函数_探索单个参数和损失的关系

10：绘制逻辑回归损失函数_探索两个参数和损失函数变换关系

11：绘制逻辑回归损失函数_绘制3D的图形_分析X1X2两个维度的重要度

章节3：逻辑回归如何求解得到最优解模型

12：对逻辑回归函数进行求导_结论在后面会用到

13：对逻辑回归的损失函数求导_推导出导函数的形式

14：实战逻辑回归对鸢尾花数据集进行二分类

章节4：逻辑回归如何做多分类

15：OneVsRest将多分类问题转化成多个二分类问题

16：实战逻辑回归对鸢尾花数据集进行多分类

章节5：从广义线性回归推导出Softmax回归

17：证明多项式分布属于指数族分布一种

18：从广义线性回归的η推导出来Softmax的公式

章节6：逻辑回归和Softmax回归的关系

19：有了Softmax函数的公式就可以去计算loss_Softmax的Loss函数形式其实就是LR的泛化版本

20：再次证明Softmax损失函数当K=2时就是逻辑回归损失函数

21：证明Softmax公式K=2的时候就是逻辑回归_平移不变性

22：逻辑回归和Softmax回归在多分类任务模型参数上的区别_与算法在选择上的区别

章节7：代码实战音乐分类器

23：实战音乐分类器_讲解需求和读取数据

24：实战音乐分类器_探索不同曲风音乐文件的时间频率图

25：实战音乐分类器_傅里叶变换可以帮助我们做什么

26：实战音乐分类器_代码使用傅里叶变换将混音文件进行投影

27：实战音乐分类器_代码对单首歌曲进行傅里叶变换_代码对600首音乐文件进行傅里叶变换并保存结果

28：实战音乐分类器_代码读取600首傅里叶变换后的数据_构建训练集并训练模型

29：实战音乐分类器_模型的测试和调优_解决双通道音乐文件的问题

另附第五阶段第一章，第二章，第三章，第七章课程资料；

第六阶段_非线性分类回归算法_决策树与经典集成学习算法

章节1：决策树的特点与数学表达

1：决策树的介绍

2：决策树的特点

3：决策树的两种数学表达

4：决策树的构建流程和数学表达

章节2：生成决策树所需分裂指标

5：决策树分裂常用指标_gini系数介绍

6：Gini系数公式计算Iris分裂节点收益

7：信息增益ID3

8：Gini系数和信息熵的关系

9：信息增益率和MSE

章节3：经典决策树算法

10：剪枝_决策树的优缺点

11：ID3和C4.5比较

章节4：代码实战对鸢尾花数据集分类

12：绘制决策树模型的graphvis安装

13：代码决策树鸢尾花分类_绘图_特征选择

14：代码决策树鸢尾花超参数比较

15：代码回归树

章节5：集成学习与随机森林算法

16：集成学习_随机森林思路

17：Bagging_Boosting

18：随机森林的特性

19：随机森林优缺点_代码调用

20：OOB作为验证集

章节6：Adaboost算法

21：举例判别苹果理解Adaboost

22：什么adaboost_数据的权重_权重错误率

23：Adaboost通过调整数据集的权重达到0.5来训练下一个弱分类器

24：Adaboost中每一时刻样本Un如何计算

25：Adaboost的总结

26：OpenCV中CascadeClassifier默认就是用的Adaboost

27：Adaboost在sklearn中的调用

章节7：GBDT梯度提升决策树

28：GBDT是应用的函数空间的梯度下降

29：为什么总是说GBDT是去拟合的残差

30：再次对比GBDT的梯度下降和之前W的梯度下降

31：举例并且初步总结GBDT

32：GBDT中的shrinkage衰减系数的作用

章节8：应用GBDT做分类任务

33：推导GBDT做分类的时候负梯度亦是残差

34：剖析GBDT做二分类的模型使用和训练过程

35：GBDT每条脚本都会求对应的负梯度

36：GBDT做多分类的思路

37：举个例子说明GBDT多分类

38：GBDT副产品_特征组合用于降维

39：再次结合例子对GBDT多分类的具体训练流程剖析

另附第六阶段第四章，第五章，第六章，第八章课程资料。

第七阶段_掌握AI竞赛神器_XGBoost算法

章节1：XGBoost要去训练的是什么

1：讲解XGBOOST之前回顾有监督机器学习

2：讲解XGBOOST之前回顾目标式的基于决策树的集成学习

章节2：XGBoost目标函数的设计比GBDT好在哪里

3：讲解XGBOOST目标函数_里面包含了正则项

4：讲解XGBOOST目标函数_本质使用泰勒展开二阶去逼近

5：简化XGBOOST目标函数_引入了gi_hi这两个符号

章节3：XGBoost的数学公式推导

6：换一种方式表达一颗树

7：把复杂度部分带入XGBOOST目标函数并简化

8：XGBOOST的最终目标函数形式和叶子节点上分值的形式

章节4：XGBoost如何训练得到每一棵树

9：回顾推导出来的W和Obj公式的作用

10：在训练下一颗树的时候已经会根据上一时刻整体的结果来去计算每个样本的g和h

11：具体根据收益公式来去贪婪的生长出每一颗决策树

章节5：XGBoost的总结

12：后续关于计算的优化_离散变量_剪枝

13：总结了xgboost流程_对样本自身带权重值xgboost如何解决

14：总结xgboost需要理解的一些点

15：xgboost和GBDT区别

章节6：代码实战XGBoost与超参数的调优

16：关于xgboost的安装

17：对数据集预处理做前期准备

18：对数据集预处理_去掉数值种类非常多的city字段_出生日期转换为年龄_空值太多把维度变成01编码

19：对数据集预处理_填充其它的空值_对某些维度连续性数据的离散化

20：字符串的数值化_离散型数据one-hot编码_重新分为训练和测试_落地保存

21：读取处理好的数据_给定一些xgboost需要的超参数

22：调用xgboost来训练模型_可以选择去使用CV交叉验证得到合适的超参数

23：调整xgboost一些超参数来提升模型的ACC和AUC

章节7：代码实战Kaggle竞赛

24：Rossmann药店销量预测_kaggle的介绍

25：对数据字段的介绍_导包

26：自定义损失函数

27：对数据里面的目标变量sales的一个分析

28：数据的预处理

29：模型的训练_评估

30：kaggle竞赛网站学习

另附第七阶段第六章，第七章课程资料。