梯度下降的种类 作者：马育民 • 2019-10-16 13:20 • 阅读：10100 # 概述 梯度下降法较多，比如SGD、RMSprop、ADAM等 # SGD Stochastic gradient descent，随机梯度下降 随机抽取m个小批量样本，通过计算平均梯度均值 # RMSprop 常用于文本分类、循环神经网络RNN等 # ADAM（推荐） 可以理解为：修正后的Momentum+RMSPropsuanf 学习率的设置 对算法的影响较小 **学习率建议为0.001** ### keras api 1. 字符串 "adam" 2. tf.keras.optimizers.Adam ``` tf.keras.optimizers.Adam(learning_rate=0.001) ``` ##### 参数 - learning_rate：学习率 ### 例子 ``` optimizer=tf.keras.optimizers.Adam(learning_rate=0.1) model.compile(optimizer=optimizer,loss='categorical_crossentropy',metrics=['acc']) ``` 原文出处：http://malaoshi.top/show_1EF4FyTofUCR.html