本阶段讲解，贝叶斯分类算法、隐含马尔可夫模型、最大熵模型、条件随机场。
达成目标：通过本阶段学习，掌握NLP自然语言处理的一些基本算法，本阶段的理解对于后续完成NLP大项目很重要。
| 章节 | 内容 |
|---|---|
| 章节1 概率图模型 | 1：概率图模型学习的意义_有向图和无向图 2：GMM其实就是一种概率图模型 3：生成式模型与判别式模型 |
| 章节2 朴素贝叶斯算法 | 4：贝叶斯公式_算法朴素的假设了特征之间相互独立 5：明确算法如何预测_对数似然函数_优缺点_流程总结 6：高斯朴素贝叶斯 7：多项式朴素贝叶斯 8：伯努利朴素贝叶斯_sklearn实现的朴素贝叶斯 |
| 章节3 隐含马尔可夫模型 | 9：概率图_两个数学假设_联合概率_参数λ={Π、A、B} 10：使用HMM进行建模举例 11：HMM的三个基本问题_有监督训练 12：求观测序列的概率_暴力求解法_前向后向算法思路 13：求观测序列的概率_剖析前向算法_得到前向算法递推式_总结前向算法流程 14：求观测序列的概率_剖析后向算法_得到后向算法递推式_总结后向算法流程 15：维特比解码_明确解码问题_近似解的缺点_维特比算法思想 16：维特比解码_维特比算法递推式_总结维特比算法流程 17：维特比解码_hmmlearn模块中的三种HMM算法模型 18：无监督训练Baum-Welch算法 |
| 章节4 最大熵模型 | 19：熵、交叉熵、联合熵、条件熵 20：最大熵原则_最大熵模型在已知训练集情况下利用此原则将条件熵最大化 21：特征函数是参考训练集人为定义出来的 22：算法表达式推导 23：最大熵模型与逻辑回归二分类、Softmax回归多分类是一样的 24：举例如何构造特征函数_最大熵模型算法小结 |
| 章节5 最大熵马尔可夫模型 | 25：如何利用MEMM建模 26：MEMM每时刻分类不仅有当前观测输入还有前一时刻隐藏输入_MEMM求参至少包含Trasitions和Emissions矩阵_MEMM允许加入更多特征函数 27：MEMM的三个基本问题_以及每种问题的具体计算方法 28：MEMM的标注偏置问题 |
| 章节6 条件随机场 | 29：CRF未必一定是线性链CRF_马尔可夫网络概率分布公式 30：推导出Linear-chain-CRF算法表达式_Linear-chain-CRF和HMM都是对数线性模型 31：Linear-chain-CRF同样也是去计算Trasitions和Emissions_加入更多特征函数或结合深度学习可以扩展CRF的学习能力 32：学习问题_序列概率求解问题之log分子的计算 33：序列概率求解问题之log分母的计算 34：维特比解码 |
京公网安备 11011402011233号