本质区别
基于Transformer结构拆分，按信息流向、预训练任务、适用场景划分三类。
纯编码器 Encoder-only
结构
只用多头自注意力+前馈网络，双向注意力（上下文全可见）
- 输入：整段文本
- 注意力：左右双向都能看到
- 无序列生成逻辑，最后取
CLS池化输出
预训练任务
MLM 掩码语言建模：随机遮住句子单词，预测被遮词
代表模型
BERT、RoBERTa、ALBERT、ERNIE
能力特点
- 强理解、弱生成
- 擅长文本理解、语义分类、特征提取
- 不能逐字续写生成文本
作用
做：向量化、检索、匹配、分类、打分
不做：聊天、续写、写作
适用场景
- 情感分析、文本分类
- 语义相似度、意图识别
- 关键词抽取、实体识别、问答检索
- 向量 embedding 文本向量化（即：向量模型）
优缺点
✅ 语义理解极强、训练快、推理轻
❌ 无法长文本续写、不适合对话/写作
纯解码器 Decoder-only
当前主流大模型
结构
只用解码器层，单向因果掩码注意力
- 只能看左边历史文本，看不到未来字
- 自回归逐一生成：
词1→词2→词3…
预训练任务
LM 自回归语言建模：给定上文，预测下一个词
代表模型
GPT 全系列、LLaMA、Qwen、Mistral、DeepSeek、通义千问、文心一言通用版
能力特点
- 超强文本生成，理解偏弱
- 天生适合连续续写、对话、创作
- 上下文越长效果越强
适用场景
- 聊天对话、智能客服
- 文案写作、代码生成
- 摘要、扩写、故事创作
- 指令跟随、Agent 智能体
优缺点
✅ 生成流畅、逻辑连贯、通用全能
❌ 长文本推理慢、容易幻觉、理解精度弱于BERT
编码器-解码器 Encoder-Decoder
结构
双向Encoder + 单向Decoder 组合
- 编码器：读懂源输入（双向理解）
- 解码器：基于编码器语义，逐词生成目标输出
- 中间加交叉注意力：Decoder 读取 Encoder 全局语义
预训练任务
Seq2Seq 序列到序列：源序列 → 目标序列
代表模型
T5、BART、PEGASUS、谷歌翻译、旧版讯飞翻译
能力特点
专门做「文本转换」，输入输出格式不一样
适用场景
- 机器翻译（中英互译）
- 文本摘要、标题生成
- 句式改写、润色、问答生成
- 表格转文本、指令转脚本
优缺点
✅ 序列转换最强、翻译/摘要效果顶级
❌ 通用对话不如Decoder-only，结构最重、推理最慢
对比
| 架构 | 注意力 | 核心任务 | 核心优势 | 主流用途 |
|---|---|---|---|---|
| Encoder-only | 双向全可见 | MLM掩码预测 | 语义理解 | 分类、检索、Embedding |
| Decoder-only | 单向因果 | 下一词预测 | 自由生成 | 聊天、写作、代码、通用大模型 |
| Encoder-Decoder | 双向+单向交叉 | Seq2Seq转换 | 序列映射 | 翻译、摘要、改写 |
总结
- Encoder：读得懂文章（理解派，向量模型）
- Decoder：写得出文章（创作派，现常用模型）
- 编解码：把A文本改成B文本（转换派）
行业现状
- 现在商用大模型95%都是 Decoder-only（GPT/LLaMA/Qwen等）
- Encoder 只用来做检索、分类、向量库
- Encoder-Decoder 多用于专业翻译、摘要垂类