激活函数

激活函数-softmax

tf.keras.activations.linear激活函数

激活函数-GELU（平滑的 ReLU 变体）

pytorch api文档：torch.tanh()激活函数

激活函数（ReLU、Leaky ReLU、PReLU、tanh）

激活函数-sigmoid（解决二分类问题）

pytorch api文档：torch.nn.GELU()激活函数

pytorch api文档：torch.nn.ReLU()激活函数类

大模型原理：实现具有GELU激活函数的前馈神经网络