pytorch api文档:nn.ModuleList 与 nn.Sequential 比较
梯度消失、梯度爆炸的原因
大模型原理:添加快捷连接(跳跃连接)
前馈神经网络(feedforward neural network,FNN)
pytorch api文档:torch.pow()函数-幂运算
pytorch api文档:torch.linspace()函数-生成均匀分布张量
pytorch api文档:torch.nn.ReLU()激活函数类
pytorch api文档:torch.nn.GELU()激活函数
大模型原理:实现具有GELU激活函数的前馈神经网络
pytorch api文档:torch.tanh()激活函数