pytorch api文档:torch.nn.Module神经网络基类
pytorch api文档:nn.Module的register_buffer()方法将张量注册为模型的缓冲区(buffer)
pytorch api文档:torch.cat()在已有维度上拼接张量(维度数不变)
pytorch api文档:torch.stack()堆叠多个形状相同的张量
大模型原理:因果注意力(掩码注意力)-封装类
大模型原理:因果注意力(掩码注意力)-用dropout避免过拟合
正则化(机器学习、深度学习)
pytorch api文档:torch.nn.Dropout
pytorch api文档:torch.ones_like()复用已有张量的形状、数据类型、设备等属性来创建全1张量
pytorch api文档:torch.ones()创建全1张量