概述

梯度下降法较多，比如SGD、RMSprop、ADAM等

SGD

Stochastic gradient descent，随机梯度下降
随机抽取m个小批量样本，通过计算平均梯度均值

RMSprop

常用于文本分类、循环神经网络RNN等

ADAM（推荐）

可以理解为：修正后的Momentum+RMSPropsuanf

学习率的设置 对算法的影响较小

学习率建议为0.001

keras api

1. 字符串 “adam”
2. tf.keras.optimizers.Adam

tf.keras.optimizers.Adam(learning_rate=0.001)

参数

• learning_rate：学习率

例子

optimizer=tf.keras.optimizers.Adam(learning_rate=0.1)
model.compile(optimizer=optimizer,loss='categorical_crossentropy',metrics=['acc'])

原文出处：/show_1EF4FyTofUCR.html