人工智能-自然语言处理-大模型原理教程目录（PyTorch版）-马育民老师

# 介绍

- [NLP自然语言处理介绍](https://www.malaoshi.top/show_1GW2UJo1AbLf.html "NLP自然语言处理介绍")

- [大模型原理：大模型之前，自然语言模型的缺点](https://www.malaoshi.top/show_1GW2ZbqWTkkp.html "大模型原理：大模型之前，自然语言模型的缺点")

- [NLP自然语言处理-Transformer介绍](https://www.malaoshi.top/show_1GW2UPIvxI49.html "NLP自然语言处理-Transformer介绍")

- [LLM大语言模型介绍](https://www.malaoshi.top/show_1GW1ojKs8nLZ.html "LLM大语言模型介绍")

- [NLP自然语言处理-Transformer架构](https://www.malaoshi.top/show_1GW2UVPLSEtF.html "NLP自然语言处理-Transformer架构")

- [大模型架构选型：纯编码器、纯解码器与 Encoder-Decoder 区别](https://www.malaoshi.top/show_1GW2Y8HX97Kh.html "大模型架构选型：纯编码器、纯解码器与 Encoder-Decoder 区别")

- [NLP、LLM、Transformer关系](https://www.malaoshi.top/show_1GW2UM7yhmNU.html "NLP、LLM、Transformer关系")

# 预处理

- [大模型原理：embedding词嵌入（文字转化为向量）](https://www.malaoshi.top/show_1GW2VwMDTwva.html "大模型原理：embedding词嵌入（文字转化为向量）")

- [大模型原理：词汇表、分词器类，将文本转换为词元ID，将词元ID转回文本](https://www.malaoshi.top/show_1GW2WAyk1P5B.html "大模型原理：词汇表、分词器类，将文本转换为词元ID，将词元ID转回文本")

- [大模型原理：控制文本的特殊标记（token）](https://www.malaoshi.top/show_1GW2WgDES9Or.html "大模型原理：控制文本的特殊标记（token）")

- [大模型原理：BPE分词器介绍](https://www.malaoshi.top/show_1GW2WgnAuVe5.html "大模型原理：BPE分词器介绍")

- [大模型原理：BPE分词器比较：tokenizers和tiktoken](https://www.malaoshi.top/show_1GW2Wh2mHEMu.html "大模型原理：BPE分词器比较：tokenizers和tiktoken")

- [大模型原理：BPE分词器 tiktoken的介绍、使用](https://www.malaoshi.top/show_1GW2Y24DjGX1.html "大模型原理：BPE分词器 tiktoken的介绍、使用")

- [大模型原理：输入-目标对](https://www.malaoshi.top/show_1GW2Y97fMBL5.html "大模型原理：输入-目标对")

- [大模型原理：预训练目标-因果语言建模（CLM）掩码语言建模（MLM）、下一句预测（NSP）](https://www.malaoshi.top/show_1GW2Y9DWUcfJ.html "大模型原理：预训练目标-因果语言建模（CLM）掩码语言建模（MLM）、下一句预测（NSP）")

- [大模型原理：预训练目标-因果语言建模（CLM）](https://www.malaoshi.top/show_1GW2YBs0zklJ.html "大模型原理：预训练目标-因果语言建模（CLM）")

- [大模型原理：预训练目标-因果语言建模（CLM）-使用滑动窗口进行数据采样](https://www.malaoshi.top/show_1GW2YV1NBWPm.html "大模型原理：预训练目标-因果语言建模（CLM）-使用滑动窗口进行数据采样")

- [PyTorch深度学习框架介绍](https://www.malaoshi.top/show_1GW2YUseIgCT.html "PyTorch深度学习框架介绍")

- [大模型原理：预训练目标-因果语言建模（CLM）-pytorch实现数据集](https://www.malaoshi.top/show_1GW2YXCJgYVE.html "大模型原理：预训练目标-因果语言建模（CLM）-pytorch实现数据集")

- [大模型原理：预训练目标-因果语言建模（CLM）-滑动窗口步长stride的含义](https://www.malaoshi.top/show_1GW2YXBPPimC.html "大模型原理：预训练目标-因果语言建模（CLM）-滑动窗口步长stride的含义")

- [大模型原理：embedding词元嵌入1](https://www.malaoshi.top/show_1GW2YriiPo97.html "大模型原理：embedding词元嵌入1")

- [大模型原理：编码单词位置信息](https://www.malaoshi.top/show_1GW2YsuvK4X0.html "大模型原理：编码单词位置信息")

- [大模型原理：embedding词元嵌入2-加入位置信息](https://www.malaoshi.top/show_1GW2YuupnGNY.html "大模型原理：embedding词元嵌入2-加入位置信息")

# [自注意力机制](https://www.malaoshi.top/show_1GW2Zb9oJOhu.html "注意力机制阶段")

- [大模型原理：大模型之前，自然语言模型的缺点](https://www.malaoshi.top/show_1GW2ZbqWTkkp.html "大模型原理：大模型之前，自然语言模型的缺点")

- [大模型原理：传统的注意力（Attention）机制和自注意力（Self-Attention）机制、上下文向量](https://www.malaoshi.top/show_1GW2awZoUzdk.html "大模型原理：传统的注意力（Attention）机制和自注意力（Self-Attention）机制")

- [大模型原理：实现简单自注意力机制（没有可训练权重）](https://www.malaoshi.top/show_1GW2bqWOI5fP.html "大模型原理：实现简单自注意力机制（没有可训练权重）")

- [softmax 概率归一化](https://www.malaoshi.top/show_1GW2biBfUWT5.html "softmax 概率归一化")

- [大模型原理：实现带可训练权重的自注意力机制（以第二个输入元素为计算例子）](https://www.malaoshi.top/show_1GW2cIAFk564.html "大模型原理：实现带可训练权重的自注意力机制（以第二个输入元素为计算例子）")

- [大模型原理：为什么缩放注意力分数](https://www.malaoshi.top/show_1GW2cFPwovqG.html "大模型原理：为什么缩放注意力分数")

- [大模型原理：实现带可训练权重的自注意力机制-封装类计算所有上下文向量](https://www.malaoshi.top/show_1GW2cIKgykhk.html "大模型原理：实现带可训练权重的自注意力机制-封装类计算所有上下文向量")

# 相关知识

- [导数](https://www.malaoshi.top/show_1GW2Z9BmgHme.html "导数")

- [求导](https://www.malaoshi.top/show_1GW2Z9DSZRso.html "求导")

- [偏导数](https://www.malaoshi.top/show_1GW2ZVdj4Tlk.html "偏导数")

- [向量](https://www.malaoshi.top/show_1GW2ZghpL9o0.html "向量")

- [张量](https://www.malaoshi.top/show_1GW2Z8CI42lh.html "张量")

- [张量为什么能自动求导](https://www.malaoshi.top/show_1GW2Z8GaRIct.html "张量为什么能自动求导")

原文出处：http://malaoshi.top/show_1GW2UUypHZme.html