蓝色是标准的momentum

红色箭头是求导

这样的优化提高了原始momentum摆脱局部最优解的能力

优化器Optimizer是SGD的延申，一般用于DL中，通常是一阶导的，不用牛顿法，因为DL本身的参数量就巨大，使用太复杂的公式只会大大增加计算资源的开销和训练时长

优化器使用的最多的是Adam，当数据量很巨大的时候用momentum，可能原因是Adam自适应的机制在很大规模数据面前性能欠佳（适应不过来？）

427除2不是余1吗，不应该是补六行加上原本的一行吗

课程讲到，CNN模式下，神经元获取部分像素点，与后面的卷积核是什么关系？一个卷积核代表多个神经元吗？或者是卷积核为过滤器？

做得是3*3的卷积，那不是有9个anchor么，那怎么会是2*9个结果呢，我感觉是1个anchor才对应2*9个结果吧？望告知，多谢！

                                        这个有可以能为负数吗？

老师，我想问下只有图片这种输入数据才有数据增强吗？音频有没有数据增强呀。

图像大小变大的话，那么经过同样的卷积池化操作，得到的全连接层前的feature map大小将大于7*7，此时用

7*7卷积核的话就达不到全连接的效果了呀，所以还是没懂为啥用conv代替全连接。望告知，多谢

老师，分子不就是前t-1次的梯度之和吗？为啥不能为负，没有明白

是3通道的图片，卷积核的个数，必须是3的整倍数吗？

SPP-Net  那里    先图像输入 卷积 在得到的特征图上选择 候选框 ，候选框有2000个 一个框的输出结果是21*256

关键是一张图有2000个框，输出结果应该是2000*21*256不是吗？

老师请问，这个地方既然已经知道概率排序了，为什么还需要比较，直接选择E,F不就行了吗

这里说的1*1的卷积核是不是默认和输入值得通道数相同啊，也就是1*1*128

请问一下，1.彩色图片有三个通道的话，那么这三个通道（rgb）是怎么构成不同的颜色的？每个网格代表了三个维度

                    （三个输入节点么）？

                 2.感受野可以理解为第一个隐藏层每个神经元观测到网格数量的大小么？

老师，我想问下在RPN网络最后得到的Top200全部都是p正，那么p负怎么得到呢