文章目录
- 目录
- 一、基础架构类
- 二、训练优化类
- 三、推理应用类
- 四、部署压缩类
- 五、评估安全类
目录
若对您有帮助的话，请点赞收藏加关注哦，您的关注是我持续创作的动力！有问题请私信或联系邮箱：funian.gm@gmail.com
本文整理大模型领域高频核心术语，按5大核心类别用表格形式简练解析，覆盖基础架构、训练优化、推理应用、部署压缩、评估安全，助力开发者快速扫清概念障碍，高效上手大模型开发与应用。
一、基础架构类
| 术语名称 | 英文全称 | 核心解析 |
|---|---|---|
| 大语言模型 | LLM（Large Language Model） | 基于Transformer架构，千亿级参数规模，通过海量文本训练实现语言理解与生成的深度学习模型 |
| Transformer架构 | - | 2017年谷歌提出，基于自注意力机制的神经网络架构，是现代大模型的核心骨架，支持并行计算 |
| 自注意力机制 | Self-Attention Mechanism | 计算序列元素间关联权重，使模型能动态关注输入中关键部分，精准捕捉长距离依赖关系 |
| 多头注意力 | Multi-Head Attention | 并行运行多个独立注意力"头"，从不同角度捕捉上下文信息，聚合后提升模型表达能力 |
| 词元 | Token | 模型处理文本的基本单位（单词/子词/字符），中文单字约占0.6个Token，是文本输入模型的前置处理单元 |
| 位置编码 | Positional Encoding | 为输入序列添加位置标记，解决Transformer无法感知词语顺序的问题，避免语义混淆 |
| 混合专家模型 | MoE（Mixture of Experts） | 拆分模型为多个子专家网络，通过门控机制动态激活适配子任务，平衡模型容量与计算效率 |
二、训练优化类
| 术语名称 | 英文全称 | 核心解析 |
|---|---|---|
| 预训练 | Pre-training | 利用海量无标注数据对模型进行基础训练，让模型学习语言规律与通用知识，是大模型能力的基础 |
| 微调 | Fine-tuning | 在预训练模型基础上，用特定领域数据调整参数，使模型适配具体任务（如法律文本处理） |
| 监督微调 | SFT（Supervised Fine-Tuning） | 使用带标签数据进行有监督训练，快速将预训练模型迁移到特定任务，是大模型适配的核心步骤 |
| 基于人类反馈的强化学习 | RLHF（Reinforcement Learning from Human Feedback） | 通过人类评分优化模型输出，分监督微调、奖励模型训练、强化学习三阶段，实现模型与人类偏好对齐 |
| 直接偏好优化 | DPO（Direct Preference Optimization） | 简化RLHF流程，直接通过偏好数据（优质/劣质输出对）优化模型，无需单独训练奖励模型 |
| 低秩适配 | LoRA（Low-Rank Adaptation） | 在预训练权重旁添加低秩矩阵，仅训练适配矩阵，大幅减少微调参数量与显存占用 |
| 量化低秩适配 | QLoRA | 结合4位量化与LoRA技术，进一步降低微调显存需求，支持消费级显卡训练大模型 |
三、推理应用类
| 术语名称 | 英文全称 | 核心解析 |
|---|---|---|
| 提示工程 | Prompt Engineering | 设计精准输入文本引导模型输出，优化交互效果，提升任务完成质量（如指定"李白风格写诗歌"） |
| 思维链 | CoT（Chain-of-Thought） | 强制模型分步展示推理过程，模拟人类思考逻辑，提升复杂问题（如数学计算）的解答准确性 |
| 检索增强生成 | RAG（Retrieval-Augmented Generation） | 结合外部知识库实时检索，为模型提供最新数据支撑，减少幻觉，提升输出可信度 |
| 上下文学习 | In-Context Learning | 模型通过输入中的示例，无需参数更新即可快速掌握新任务，支持零样本/少样本学习场景 |
| 零样本学习 | Zero-shot Learning | 无需示例数据，模型直接处理未训练过的新任务，依赖通用知识迁移能力 |
| 少样本学习 | Few-shot Learning | 仅需少量（3-5个）示例，模型即可适配新任务，平衡泛化能力与数据需求 |
| 温度参数 | Temperature | 控制生成随机性的参数，0.2为保守输出，0.8为创意输出，越高越易产生幻觉 |
| 模型幻觉 | Hallucination | 模型生成看似合理但与事实不符的内容，源于知识截止、概率生成机制等，可通过RAG缓解 |
四、部署压缩类
| 术语名称 | 英文全称 | 核心解析 |
|---|---|---|
| 模型量化 | Quantization | 将模型参数从高位数（如FP32）转为低位数（如INT8/INT4），减少存储与计算开销，适配边缘设备 |
| 知识蒸馏 | Knowledge Distillation | 让小模型（学生模型）模仿大模型（教师模型）的输出与中间表示，在压缩体积的同时保留核心能力 |
| 模型剪枝 | Pruning | 移除神经网络中冗余的连接或神经元，剔除"躺平参数"，降低模型复杂度与计算需求 |
| 稀疏化 | Sparsification | 训练中引入零值参数，使模型连接稀疏化，减少计算量，常与MoE架构结合使用 |
| KV缓存 | Key-Value Cache | 存储注意力计算中的键值对，避免重复计算，提升对话场景下的推理速度 |
| 边缘部署 | Edge Deployment | 在终端设备（手机、IoT设备）部署轻量化模型，降低云端依赖，实现低延迟响应 |
| GGUF格式 | GPT-Generated Unified Format | 大模型高效存储格式，支持多量化级别，适配本地化部署，普通笔记本可运行7B参数模型 |
五、评估安全类
| 术语名称 | 英文全称 | 核心解析 |
|---|---|---|
| 困惑度 | Perplexity | 衡量模型预测文本的准确度，数值越低表示模型对语言的理解越深刻 |
| BLEU分数 | Bilingual Evaluation Understudy | 机器翻译评估指标，通过对比模型输出与参考译文的匹配度，量化生成质量 |
| 鲁棒性 | Robustness | 模型抵抗干扰的能力，指在噪声输入或异常场景下，保持稳定性能的特性 |
| 公平性 | Fairness | 模型输出避免偏见（如性别、地域歧视），确保不同群体获得公正结果的特性 |
| 数据隐私 | Data Privacy | 保护训练数据与用户交互数据的安全，常用技术包括联邦学习、差分隐私（添加噪声保护） |
| 红队测试 | Red Team Testing | 聘请专家通过刁钻问题测试模型，发现逻辑漏洞与安全风险，提升模型安全性 |
| 对齐 | Alignment | 使模型行为与人类价值观、需求保持一致，核心技术包括RLHF、价值学习等 |