torch.randn() 函数,是生成 标准正态分布 随机张量 的核心工具,也是深度学习中 模型权重初始化 的 首选函数(如线性层、卷积层)
pytorch api文档:torch.rand()和torch.randn()区别
pytorch api文档:torch.rand()生成均匀分布随机张量[0, 1) 区间
pytorch api文档:torch.nn.Parameter可训练参数的封装类
大模型原理:实现带可训练权重的自注意力机制(以第二个输入元素为计算例子)
pytorch api文档:torch.transpose() 函数(转置操作、行列互换)
pytorch api文档:张量的 .T 属性(转置操作、行列互换)
pytorch api文档:torch.zeros()创建全零张量
pytorch api文档:torch.softmax()
pytorch api文档:torch.sum()求和