大模型相关概念
大模型相关概念 刚接触大模型(LLM)开发时,会有一堆新词扑面而来:Token、RAG、Embedding、Agent……,它们看起来彼此独立,其实串成了一条完整的技术链路。 本文按照「模型是什么 → 如何训练 → 如何使用 → 如何优化」的顺序,把这些概念串起来,帮初学开发者建立清晰的知识框架。 本文不只是「名词解释」,还会用真实可运行的 Python 代
大模型相关概念
刚接触大模型(LLM)开发时,会有一堆新词扑面而来:Token、RAG、Embedding、Agent……,它们看起来彼此独立,其实串成了一条完整的技术链路。
本文按照「模型是什么 → 如何训练 → 如何使用 → 如何优化」的顺序,把这些概念串起来,帮初学开发者建立清晰的知识框架。
本文不只是「名词解释」,还会用真实可运行的 Python 代码演示这些概念怎么落地。
所有示例基于 OpenAI 兼容协议,可换成阿里云百炼、DeepSeek 等服务商只需改接口地址和密钥。
Python OpenAI 参考:
https://www.runoob.com/python3/python-openai.html
整体技术链路
在拆解每个概念之前,先看一眼大模型技术的完整链路,建立整体认知。
从上到下,每一层都解决一类核心问题:训练造出模型、优化让它变轻、驱动让它出活、检索补上知识、工具让它执行。
下文就按这条链路,自顶向下逐层展开。
基础概念:模型是什么
这一节回答最根本的问题:大模型到底是个什么东西,它靠什么工作。
LLM(大语言模型)
LLM 全称 Large Language Model,是基于海量文本训练出来的深度学习模型。
它的本质是一个「预测下一个词」的概率模型:给定前面的文字,预测接下来最可能出现的内容。
ChatGPT、Claude、通义千问等产品,底层都是 LLM。
Transformer 与注意力机制
几乎所有现代 LLM 都基于 Transformer 架构。
它的核心创新是
注意力机制(Attention / Self-Attention)
:模型在处理某个词时,能动态地「关注」输入序列中其他相关的词,从而更好地理解上下文关系。
打个比方,模型读一句话时不是死板地逐字扫描,而是会自动判断「这个词和前面哪个词关系最大」。
Token(词元)
模型并不按「字」或「单词」处理文本,而是按 Token 处理。
一个 Token 可能是一个汉字、一个英文单词,也可能是单词的一部分。
理解 Token 有两个直接的现实意义:
模型的上下文长度限制是按 Token 计算的;API 调用的计费也是按 Token 计算的。
用 OpenAI 的开源分词库 tiktoken,可以直接看到一段文本被切成了多少个 Token:
实例
安装:pip install tiktoken
import
tiktoken
不同模型使用不同分词器,encoding_for_model 会自动选对应的
enc
=
tiktoken.
encoding_for_model
(
"gpt-4o-mini"
)
tokens
=
enc.
encode
(
"Hello world"
)
把文本切成 Token 列表
(
"Token 数量:"
,
len
(
tokens
)
)
(
"切分结果:"
,
[
enc.
decode
(
[
t
]
)
for
t
in
tokens
]
)
输出结果:
Token 数量:2
切分结果:['Hello', ' world']
换成中文或更长的词,切分方式会完全不同,所以「按字数估算 Token」并不准确。
上下文窗口(Context Window)
指模型一次能「看到」和处理的最大 Token 数量。
比如上下文窗口是 100K,意味着一次对话(历史消息、你的问题、模型回答加在一起)不能超过 10 万个 Token。
窗口越大,模型能「记住」的内容越多,能一次性处理的文档也越长。
参数量(Parameters)
参数量指模型内部可学习的权重数量,通常以 B(十亿,Billion)为单位,比如 7B、70B。
它在一定程度上反映模型的规模与能力上限,但不是唯一指标——训练数据质量、架构设计同样关键。
模型是如何训练出来的
一个能自然对话的 LLM,通常要经过多个训练阶段,层层叠加能力。
预训练(Pre-training)
模型在海量、无标注的文本(网页、书籍、代码等)上学习语言的统计规律,比如语法、常识、逻辑关系。
这个阶段耗费的算力最大,是模型能力的基础。
但此时的模型还不擅长「按指令做事」,更像一个博览群书却不懂如何交流的人。
SFT(监督微调)
SFT 全称 Supervised Fine-Tuning。
用人工标注好的「问题—答案」对数据,教模型学会按照人类指令来回答问题,而不是自顾自地续写文本。
RLHF(人类反馈强化学习)
RLHF 全称 Reinforcement Learning from Human Feedback。
让人类对模型的多个候选回答打分或排序,再用这些反馈训练模型,使其输出更符合人类偏好(更有用、更诚实、更安全)。
类似的技术还有 RLAIF:用 AI 代替人类打分,以降低标注成本。
两者目的一致,区别只在于「打分的人」是真人还是另一个 AI。
对齐(Alignment)
对齐是一个更宏观的概念:让模型的行为、价值观符合人类的期望和意图。
它是 AI 安全领域的核心议题,贯穿在 SFT、RLHF 等各个训练环节中——SFT 和 RLHF 本质上都是「对齐手段」。
微调(Fine-tuning)
在已经训练好的通用模型基础上,用某个特定领域(如法律、医疗、客服)的数据继续训练。
相比从零预训练,微调成本要低得多,是让通用模型适配专业场景的常用做法。
MoE(混合专家模型)
MoE 全称 Mixture of Experts,是一种模型架构设计。
模型内部包含多个「专家」子网络,每次处理输入时只激活其中一部分,而不是让全部参数都参与计算。
这样可以在扩大模型总规模的同时,控制实际计算量,做到「参数大、推理快」。
开发者如何使用大模型
这是初学开发者最需要关注的部分:如何通过 API 让大模型为应用服务。
本节先给一个最基础、可直接运行的对话调用示例,再展开各概念。
最基础的 API 对话调用
下面这段代码演示一次完整的对话请求,同时用到了 System Prompt、用户消息和温度三个概念。
实例
安装:pip install openai
from
openai
import
OpenAI
import
os
创建客户端。OpenAI 兼容协议的服务都能复用这段代码,
换成其它服务商只需改 api_key 与 base_url
client
=
OpenAI
(
api_key
=
os
.
getenv
(
"OPENAI_API_KEY"
)
,
从环境变量读取密钥(必填)
)
发起一次对话请求
response
=
client.
chat
.
completions
.
create
(
model
=
"gpt-4o-mini"
,
模型名称(必填),按所用服务商更换
messages
=
[
System Prompt:预先设定模型的角色与行为规范
{
"role"
:
"system"
,
"content"
:
"你是一名专业的 Python 编程助手,只回答技术相关问题。"
}
,
用户消息:实际的问题
{
"role"
:
"user"
,
"content"
:
"什么是 runoob?"
}
,
]
,
temperature
=
0.7
,
生成温度,取值 0~2,越大越发散(见下文)
)
打印模型回答
(
"回答:"
,
response.
choices
[
0
]
.
message
.
content
)
usage 字段记录了这次调用消耗的 Token 数(计费依据)
(
"输入 Token 数:"
,
response.
usage
.
prompt_tokens
)
(
"输出 Token 数:"
,
response.
usage
.
completion_tokens
)
输出结果:
回答:runoob(菜鸟教程)是一个提供编程教程的中文学习网站……
输入 Token 数:33
输出 Token 数:18
返回结构里的 usage 字段就是上文 Token 概念的落地:它告诉你这次调用消耗了多少 Token,也是计费的依据。
Prompt(提示词)
Prompt 是你输入给模型的指令或问题,直接决定模型输出的质量。
研究如何写出更清晰、更有效 Prompt 的技巧,叫做
提示词工程(Prompt Engineering)
。
常见手法包括:给出具体示例、要求分步骤思考、指定输出格式等。
System Prompt(系统提示词)
在用户正式输入之前,预先设定给模型的指令,用来定义模型的角色、行为规范、背景知识。
上文示例里的「你是一名专业的 Python 编程助手,只回答技术相关问题」就是典型的 System Prompt。
System Prompt 与用户消息的区别:System Prompt 设定「模型该怎么做」,用户消息提出「具体要做什么」。
把通用规范放进 System Prompt,能让多轮对话的回答风格保持一致。
温度(Temperature)
温度是控制模型输出随机性的参数,取值范围一般是 0 到 2。
温度越高,回答越「有创意」、越随机,也越容易出错;温度越低,回答越保守、越稳定。
上下文学习(In-Context Learning)
不需要对模型做任何微调,只要在 Prompt 里提供几个示例,模型就能「照猫画虎」完成新的类似任务。
这是 Prompt Engineering 中最常用的技巧之一,也叫 Few-shot Learning(少样本学习)。
思维链(Chain-of-Thought, CoT)
引导模型把复杂问题拆解成一步步的推理过程,再给出最终答案,而不是直接跳到结论。
实践证明,这种方式能显著提升模型在数学、逻辑推理等复杂任务上的准确率。
最简单的做法是在 Prompt 中加一句「请一步步思考」。
幻觉(Hallucination)
幻觉指模型生成看似合理、语言流畅,但实际上错误或凭空编造的内容。
这是 LLM 目前普遍存在的缺陷,原因是模型本质上在「续写最可能的文字」,而不是「查证事实」。
缓解幻觉的核心手段之一就是下文的 RAG:先检索真实资料,再让模型基于资料作答。
让模型连接外部世界
单纯的 LLM 只能依赖训练时学到的知识回答问题,既不知道最新信息,也无法主动做事。
本节这些技术,就是解决这两个短板的关键。
Embedding(嵌入)
Embedding 把文字、图片等内容转换成一串数字(向量)。
转换后,计算机就能通过计算向量之间的距离,判断两段内容在「语义」上是否相似。
这是搜索、推荐、RAG 等应用的底层基础。
向量数据库
向量数据库专门用来存储和检索 Embedding 向量,比如 Pinecone、Milvus、Chroma。
它能在海量向量中快速找到与查询语义最相似的内容,是构建 RAG 系统必不可少的组件。
RAG(检索增强生成)
RAG 全称 Retrieval-Augmented Generation。
它的工作流程是:先把外部知识库转成向量存进向量数据库;用户提问时检索出最相关的内容;再把检索结果连同问题交给模型生成答案。
RAG 能有效缓解幻觉,并让模型回答训练数据之外的新知识。
下面是一个不依赖外部向量库、用 OpenAI Embedding 加 numpy 实现的最小 RAG 示例,方便理解原理:
实例
安装:pip install openai numpy
from
openai
import
OpenAI
import
numpy
as
np
import
os
client
=
OpenAI
(
api_key
=
os
.
getenv
(
"OPENAI_API_KEY"
)
)
模拟一个很小的"知识库":几段文档
documents
=
[
"runoob 是一个提供编程教程的中文学习网站。"
,
"RAG 通过检索真实资料再生成,能有效减少大模型的幻觉。"
,
"Python 使用缩进来表示代码块,通常建议每级缩进 4 个空格。"
,
]
第一步:把知识库向量化(离线建库,只需做一次)
doc_resp
=
client.
embeddings
.
create
(
input
=
documents
,
model
=
"text-embedding-3-small"
)
doc_vectors
=
[
d.
embedding
for
d
in
doc_resp.
data
]
第二步:把用户问题向量化
question
=
"什么是 runoob?"
query_vector
=
client.
embeddings
.
create
(
input
=
question
,
model
=
"text-embedding-3-small"
)
.
data
[
0
]
.
embedding
第三步:用余弦相似度找出最相关的文档
def
cosine
(
a
,
b
)
:
a
,
b
=
np.
array
(
a
)
,
np.
array
(
b
)
return
float
(
a
@
b /
(
np.
linalg
.
norm
(
a
)
* np.
linalg
.
norm
(
b
)
)
)
scores
=
[
cosine
(
query_vector
,
v
)
for
v
in
doc_vectors
]
best_doc
=
documents
[
int
(
np.
argmax
(
scores
)
)
]
相似度最高的文档
(
"检索到的资料:"
,
best_doc
)
第四步:把检索到的资料连同问题交给模型生成回答
response
=
client.
chat
.
completions
.
create
(
model
=
"gpt-4o-mini"
,
messages
=
[
{
"role"
:
"system"
,
"content"
:
"请只根据下面提供的资料回答问题,资料中没有的信息不要编造。"
}
,
{
"role"
:
"user"
,
"content"
: f
"资料:{best_doc}
\n
\n
问题:{question}"
}
,
]
,
)
(
"回答:"
,
response.
choices
[
0
]
.
message
.
content
)
输出结果:
检索到的资料:runoob 是一个提供编程教程的中文学习网站。
回答:runoob(菜鸟教程)是一个提供编程教程的中文学习网站。
真实项目里,只需把第三步的「内存里算相似度」换成「调用向量数据库检索」,流程完全一致。
Function Calling(函数调用)
Function Calling 让大模型能够调用外部工具或 API 来完成任务,比如查询实时天气、执行数学计算、查数据库、发送邮件。
它弥补了模型「只能生成文字、不能执行动作」的缺陷,是大模型从聊天机器人进化为实用工具的关键一步。
它的运作方式是两轮交互:第一轮模型决定要调用哪个函数、传什么参数;你的代码真正执行函数后,第二轮把结果回传,让模型生成自然语言回答。
实例
from
openai
import
OpenAI
import
json
import
os
client
=
OpenAI
(
api_key
=
os
.
getenv
(
"OPENAI_API_KEY"
)
)
定义模型可调用的工具(函数)
tools
=
[
{
"type"
:
"function"
,
"function"
:
{
"name"
:
"get_weather"
,
"description"
:
"查询指定城市的实时天气"
,
"parameters"
:
{
"type"
:
"object"
,
"properties"
:
{
"city"
:
{
"type"
:
"string"
,
"description"
:
"城市名称,例如:杭州"
}
}
,
"required"
:
[
"city"
]
,
}
,
}
,
}
]
真正执行查询的本地函数(实际项目中替换为真实天气 API)
def
get_weather
(
city
)
:
return
f
"{city} 今天晴,气温 28°C"
第一轮:把问题交给模型,模型决定调用哪个工具、传什么参数
response
=
client.
chat
.
completions
.
create
(
model
=
"gpt-4o-mini"
,
messages
=
[
{
"role"
:
"user"
,
"content"
:
"杭州今天天气怎么样?"
}
]
,
tools
=
tools
,
)
tool_call
=
response.
choices
[
0
]
.
message
.
tool_calls
[
0
]
args
=
json.
loads
(
tool_call.
function
.
arguments
)
解析出参数,例如 {"city": "杭州"}
result
=
get_weather
(
args
[
"city"
]
)
真正执行工具
(
"工具执行结果:"
,
result
)
第二轮:把工具结果回传给模型,让它基于结果生成自然语言回答
follow_up
=
client.
chat
.
completions
.
create
(
model
=
"gpt-4o-mini"
,
messages
=
[
{
"role"
:
"user"
,
"content"
:
"杭州今天天气怎么样?"
}
,
response.
choices
[
0
]
.
message
,
模型上一步"调用工具"的决定
{
"role"
:
"tool"
,
"tool_call_id"
: tool_call.
id
,
"content"
: result
}
,
工具返回结果
]
,
tools
=
tools
,
)
(
"最终回答:"
,
follow_up.
choices
[
0
]
.
message
.
content
)
输出结果:
工具执行结果:杭州 今天晴,气温 28°C
最终回答:杭州今天是晴天,气温大约 28°C,适合外出活动。
MCP(模型上下文协议)
MCP 全称 Model Context Protocol,是一种让大模型标准化连接外部工具和数据源的开放协议。
可以把它类比为「AI 领域的 USB 接口」:不同的工具和数据源只要遵循这个协议,就能被各种支持 MCP 的大模型统一调用。
它解决的是 Function Calling 时代「每接一个工具都要重复对接」的问题,减少了开发工作量。
Agent(智能体)
Agent 是基于大模型构建的、能自主规划任务、调用工具、执行多步骤操作的系统。
相比一问一答的对话,Agent 更像一个能独立完成复杂任务的「数字员工」,比如自动跑通「查资料 → 写代码 → 测试 → 修复 bug」整套流程。
它依赖的核心循环是 ReAct(Reason + Act):思考下一步、调用工具、观察结果、再思考,直到任务完成。
多模态(Multimodal)
多模态指模型能同时理解和/或生成多种类型的数据,不局限于文本,还包括图像、音频、视频。
现在很多主流大模型都已经具备读图、分析图表等多模态能力。
让模型运行得更快、更省
模型能力越强,往往意味着体积越大、运行成本越高。
下面两个概念,就是为了让模型在实际部署时更轻量、更高效。
量化(Quantization)
量化把模型参数从高精度(比如 32 位浮点数)压缩到低精度(比如 8 位或 4 位整数)。
它能大幅减少模型占用的显存、提升推理速度,代价是精度有一定损失,但很多场景下可以接受。
模型蒸馏(Model Distillation)
蒸馏用一个能力强但体积大的「教师模型」的输出,去训练一个体积更小的「学生模型」。
目的是让小模型尽量学到大模型的能力,蒸馏后的模型体积更小、推理更快、部署成本更低。
初学者学习路径
对初学开发者来说,不需要一次性吃透所有概念。
建议按照下面的顺序循序渐进,会比零散记概念更容易建立完整体系。
每个概念都不必死记定义,动手跑一遍本文的代码示例,理解会深得多。
核心术语速查表
把全文出现的关键术语汇总成一张表,按「所属环节」分组,方便随时查阅回顾。
CSS独立储备