image.png

momentum对比SGD具备了一定拜托局部最优解的能力

image.png

累计梯度变化量(包括了正梯负梯度)

当ρ=0,就相当于SGD了

在深度学习里,momentum用的比SGD多


相关课程:人工智能>第十二阶段:深度学习-图像识别原理>卷积神经网络优化>Optimizer_SGD_Momentum

课程分类

百战程序员微信公众号

百战程序员微信小程序

©2014-2025百战汇智(北京)科技有限公司 All Rights Reserved 北京亦庄经济开发区科创十四街 赛蒂国际工业园
网站维护:百战汇智(北京)科技有限公司
京公网安备 11011402011233号    京ICP备18060230号-3    营业执照    经营许可证:京B2-20212637