梯度下降算法

梯度下降算法

• 返回顶层目录

• 各类梯度下降算法的演化

• 随机梯度下降SGD

• 动量法Momentum

• 牛顿动量Nesterov

• AdaGrad

• RMSprop

• Adadelta

• Adam

• Nadam

• AMSGrad

• AdasMax

optimization-on-loss-surface-contours

各类梯度下降算法的演化

revolution-of-gradient-descent

参考资料

• Deep Learning 之 最优化方法
• 从 SGD 到 Adam —— 深度学习优化算法概览(一)
• 深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
• 10个梯度下降优化算法+备忘单

  深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）