梯度下降（手写代码实现）参见：
https://www.malaoshi.top/show_1EF4G05NJ24L.html

概述

tensorflow2中，通过 tf.GradientTape() 实现自动微分求导，通过tf.keras.optimizers包下的优化器实现梯度下降

所以，使用tensorflow2实现梯度下降，非常简单

代码

导入模块

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np

实现损失函数

由于损失函数较为复杂，为了便于理解，这里定义一个简单的函数，模拟损失函数

# 损失函数
def loss_fun(x):
    return (x-50)**2

绘制损失函数图像

x_arr=np.linspace(0,100,101)
y_arr=loss_fun(x_arr)
x_arr,y_arr
plt.plot(x_arr,y_arr)

执行如下图：

定义一个初始点

该点在函数图像上任意取一点即可

# 定义一个初始点
init_x = tf.constant(3.0)
init_y=loss_fun(init_x)
init_x,init_y

绘制函数图像和初始点

plt.plot(x_arr,y_arr)
plt.scatter(init_x.numpy(),init_y.numpy())

执行如下：

实现求导函数

tensorflow2通过 tf.GradientTape() 实现自动微分求导

def grads(x):
    with tf.GradientTape() as tape:
#         tape.watch(x)
        result=loss_fun(x)
    #由于sources是list类型，所以gradients也是list类型
    gradients=tape.gradient(target=result,sources=[x])
#     print("cg:%s,x:%s"%(cg,x))
#     print("gradients:",gradients)
    return gradients

注意： 由于tape.gradient()传入[x]，所以返回值gradients是list类型

详见：tape.gradient()函数

测试求导函数

x = tf.Variable(3.0)
grads(x)

执行结果：

[<tf.Tensor: id=72, shape=(), dtype=float32, numpy=-94.0>]

运算过程：
函数(x-50)**2的导数是2(x-50)，代入x=3，结果为：-94

梯度下降

通过 tf.keras.optimizers.Adam 实现梯度下降

points=[]
adam=tf.keras.optimizers.Adam(1)
temp_x=tf.Variable(init_x)
last_x=tf.Variable(init_x)
for i in range(200):
    last_x.assign(temp_x)
    last_y=loss_fun(last_x)
    points.append((last_x.numpy(),last_y.numpy()))
    g=grads(temp_x)
#     梯度下降，此时temp_x已经修改。
#     由于g是list类型，所以要做zip()处理，转成[(g,v)]，详见adam文档
    adam.apply_gradients(zip(g,[temp_x]))
    print("第%s次:::x=%s,last_x=%s,导数=%s"%(i,temp_x.numpy(),last_x.numpy(),g))
    """
    r=loss_fun(temp_x)-last_y
    if abs(r)<0.001:
        print('r:',r)
        break
    """
print("最小值x：",temp_x)
print("最小值y：",loss_fun(temp_x))

绘制历史点图像

points_l=list(zip(*points))
plt.plot(x_arr,y_arr)
# 绘制将历史点
plt.scatter(points_l[0],points_l[1],color='blue')
# 绘制初始点
plt.scatter(init_x.numpy(),init_y.numpy(),color='red')
# 极值点
plt.scatter(temp_x.numpy(),loss_fun(temp_x.numpy()),color='red')

感谢

https://blog.csdn.net/xierhacker/article/details/53174558