本课程将深入剖析Attention机制的核心原理与优势，通过理论讲解和实例演示，使学生理解其在自然语言处理中的关键作用。课程进一步探讨Transformer架构的创新之处，包括多头Attention、位置编码等模块，结合实战项目，让学生掌握Transformer在机器翻译、文本生成等任务中的应用，培养解决实际问题的能力。
| 章节 | 内容 |
|---|---|
|
章节1 从Attention机制到Transformer |
1 : Seq2Seq_产生 2 : Seq2Seq_工作原理 3 : Seq2Seq_Teacher Forcing机制 4 : Seq2Seq_训练流程 5 : Seq2Seq_优缺点 6 : 注意力机制_介绍 7 : 注意力机制_工作原理 8 : 注意力机制_训练流程(1) 9 : 注意力机制_训练流程(2) 10 : 注意力机制_优缺点 11 : 注意力机制_案例_介绍 12 : 注意力机制_案例_数据预处理(1) 13 : 注意力机制_案例_数据预处理(2) 14 : 注意力机制_案例_数据预处理(3) 15 : 注意力机制_案例_构建模型(1) 16 : 注意力机制_案例_构建模型(2) 17 : 注意力机制_案例_训练模型 18 : 注意力机制_案例_测试模型(1) 19 : 注意力机制_案例_测试模型(2) 20 : 深入理解注意力_什么是注意力(1) 21 : 深入理解注意力_什么是注意力(2) 22 : 深入理解注意力_矩阵Q、K、V 23 : 深入理解注意力_工作流程 24 : 自注意力机制_介绍 25 : 自注意力机制_计算过程 26 : 自注意力机制_优缺点 27 : 自注意力机制_多头注意力 28 : 自注意力机制_为什么使用多头注意力 29 : 自注意力机制_掩码自注意力 30 : 自注意力机制_掩码自注意力的计算 31 : 自注意力机制_位置编码 32 : 自注意力机制_位置编码公式详解(1) 33 : 自注意力机制_位置编码公式详解(2) 34 : Transformer_核心思想&创新 35 : Transformer_优势&应用 36 : Transformer_编码器 37 : Transformer_解码器(1) 38 : Transformer_解码器(2) 39 : Transformer_残差连接 40 : Transformer_残差连接的作用 41 : Transformer_层归一化 42 : Transformer_前馈神经网络 43 : Transformer_FFN的计算流程 44 : Transformer_编码器训练流程 45 : Transformer_解码器训练流程 46 : Transformer_案例_介绍 47 : Transformer_案例_构建词汇表 48 : Transformer_案例_编码函数 49 : Transformer_案例_构建位置编码矩阵 50 : Transformer_案例_定义Transformer模型 51 : Transformer_案例_定义前向传播函数 52 : Transformer_案例_训练前的准备工作 53 : Transformer_案例_定义数据加载器 54 : Transformer_案例_模型训练(1) 55 : Transformer_案例_模型训练(2) 56 : Transformer_案例_模型测试(1) 57 : Transformer_案例_模型测试(2) |
京公网安备 11011402011233号