1. 同一句产品咨询，三个客服的答复不一致
某零售电商的售后团队有 40 个人，每天处理 3000 多单咨询。客户问的是同一件事：「收到货七天还能退吗？」三个客服给了三段回复。
第一条：亲，七天无理由退货哦，不影响二次销售就可以退的～
第二条：您好，根据平台规则，签收之日起七日内且商品不影响二次销售的，可以申请退货。
第三条：可以退，但要保留吊牌。
三条都提到了七天和商品状态，长度、称呼、严谨程度完全不一样。主管要的是口径统一：该说的规则一条不落，语气别生硬也别太随意。团队凑出三个候选方案：把说法写进系统提示词（System Prompt）、把 12 份规则文件做成知识库、拿三年的历史工单微调一个自己的模型。
三个方案对应三笔成本完全不同的账。要判断成本花在哪一步，得先弄清楚模型本身是怎么造出来的：它的语言能力从哪来，改说法的时候动了它哪一部分，新规则为什么进不去。
2. 大模型从训练到上线的三个阶段与两条支线
把大模型当成一条生产线，从原料到出厂分三段：预训练（Pre-training）、后训练（Post-training）、在线推理（Inference）。
第一段是预训练。厂商把互联网级别的文本喂给模型，让它学会语言本身。这一步决定了模型的底子：中文说得顺不顺，代码认不认得，常识有没有。预训练一次动辄上千张显卡、跑几周，是厂商级的投入，普通公司既不做也做不起。
第二段是后训练。厂商在预训练完的模型上再教一层，管的是「听不听话、尺度稳不稳」。微调（Fine-tuning）和强化学习（Reinforcement Learning）都在这一段里。
第三段是在线推理。用户每问一句，模型算一次，费用按词元（Token）计。产品上线之后天天发生的都是这一段。
这个顺序对产品经理的意义很直接：你能改的主要是提示词、知识库和微调这三处，预训练那一层改不了。 这三处也有先后，先提示词，再知识库，最后才轮到微调。下面几节把三处各自的边界拆开讲。
三段之间的投入量级差得很远。预训练按周算、按千张卡算，只有厂商在做；后训练按天到按周算，厂商和研究团队在做，平台把其中一部分（微调）开放给了企业；在线推理是每次调用都在产生成本，产品经理做预算、做限流、做降级，全是在这一段里。写需求的时候先想清楚，这个要求落在哪一段：要求「换个说法」落在后训练那一层，要求「答得出上周的新规」落在推理那一层，要求「中文更顺」落在预训练那一层，而那一层你改不了。
三段放在一起对照，各自的边界更清楚。
| 阶段 | 产出什么 | 谁在做 | 投入量级 | 产品经理能不能改 | 做砸了会怎样 |
|---|---|---|---|---|---|
| 预训练（Pre-training） | 通用底座：语言、常识、一部分推理 | 模型厂商 | 上千张显卡，按周算 | 改不了 | 底子不够，后面怎么补都有限 |
| 后训练（Post-training） | 会听话、口径稳、有安全边界 | 厂商和研究团队，平台把微调开放了一部分 | 按天到按周 | 微调这一小块能碰 | 说法不统一，该拒的不拒 |
| 在线推理（Inference） | 每一次问答的答案 | 用这个模型的人 | 按词元（Token）计费，用多少算多少 | 提示词、知识库、限流、降级都在这 | 答错、答慢、账单失控 |
下面这张图把三段排到一条时间轴上，标出每段谁在做。
3. 预训练：把语言底子打出来
预训练的任务说起来简单：给它一段话，让它猜下一个词。猜错了就调参数，猜对了就过。把这件事在几万亿到十几万亿个词元上反复做，语言规律、常识、一部分推理能力就沉进参数里了。
规模的作用有实打实的数据。同一个架构、同样的训练任务，参数和数据涨上去之后，能力会出现台阶式的变化，研究里把这条规律叫缩放定律（Scaling Law）。这条规律今天还在起作用，但看参数的方式变了：现在的旗舰模型大多用混合专家架构（MoE，Mixture of Experts），参数要分两个数看，总参数和每次推理真正激活的参数。DeepSeek-V4-Pro 是 1.6 万亿总参数、490 亿激活，GLM-5.2 是 7440 亿总参数、400 亿激活。这样设计的意思是，模型能装下的知识靠总参数撑，每次算多少由激活参数控制，推理成本和参数规模不再是同一个数。
缩放定律后来又长出两个方向。一个是强化学习扩展（RL Scaling），一个是让模型在回答难题时多想一会儿，也就是测试时扩展（Test-time Scaling）。后一条就是现在说的推理模型：同一个模型，难题上多花算力，答案更稳。现在旗舰型号基本都默认开着思考，GPT-5.6 把快速回答和深度推理合成一套自动路由，Gemini 3.x 把思考分成低中高三档让开发者选。
产品经理从这一段要拿走三个判断。
第一，预训练是厂商的事。想做一个「懂我们行业的模型」，重来一遍预训练不在选项里，成本和数据量都不现实。
第二，底子决定上限。通用模型没见过你们行业的术语和业务逻辑，这不是它的错，也不是换个模型就能解决的，得靠后面几节讲的手段补。
第三，底子会换代。厂商每隔一段时间发新版本，上一代的能力边界会变。选型的时候要留一条：下一代出来以后怎么切过去，评测集还在不在。
预训练的数据也不是随便抓。公开网页、书籍、代码仓库、多语种语料混在一起，抓回来要清掉重复内容、乱码、隐私信息和低质量文本，再按比例配好。这一步的质量直接决定模型的底子，中文语料占比低的模型，中文表达就是会差一截。厂商会把这些写进模型卡（Model Card），选型时第一个要看的就是它，下面这几栏是硬信息：
| 模型卡上的栏 | 它在说什么 | 拿几个开源模型对一下 |
|---|---|---|
| 总参数 / 激活参数 | 能装多少知识、每一步实际算多少 | DeepSeek-V4-Pro 是 1.6 万亿 / 490 亿 |
| 训练词元（Token） | 底子喂了多少料 | 各家写法不统一，当前主流在十几万亿词元这一档 |
| 架构 | 稠密，还是混合专家（MoE） | DeepSeek-V4-Pro、GLM-5.2 都是 MoE |
| 知识截止日期 | 这一天以后的事它不知道 | 各家不同，选型时逐家对 |
| 上下文长度 | 一次能读进多少资料 | 云端旗舰普遍 1M（GPT-5.6 是 1.05M，Claude 5 和 Gemini 3.1 都是 1M），本地跑的开源型号多在 128K 到 262K |
| 许可 | 能不能商用、能不能改 | 上线前必须看这一栏 |
预训练还有一个副产品值得产品经理知道：知识是有截止日期的。模型卡上写的「知识截止日期」就是预训练数据的时间边界，那之后发生的事它不知道。有的厂商会做一次补充训练把日期往后推，推得也有限。有了这一条，凡是要用到近期信息的活，知识库都躲不掉，靠模型自带的知识不保险。
另外，模型读文本先按词元（Token）切开，再一段一段读。同样一句中文，切成多少个词元，直接决定这次调用的成本、能塞进多长的资料。中文一个字大约对应一到两个词元，具体看分词方式。这个概念后面选型、算成本和算上下文长度都要用。
规则改过版之后，同一个问题两种答法
左边 · 只用模型自带的知识
- 用户问收到货七天还能不能退
- 模型答的按 2026-04 改版前的口径答，能退的条数和条件都是旧的
- 原因训练语料收到改版之前那一天
规则改过版，模型自己不知道落后了。
右边 · 把规则库接上再答
- 检索命中2026-04 版第 5 条，七天无理由退换，附两条限制条件
- 答出来的按新版口径答，后面带版本号和出处
- 规则再改一版时更新库里那一份就够，不用等厂商发新模型
近期的规则靠知识库补，底子靠模型自己。
凡是会改版的资料，都进知识库。
4. 微调改的是模型的说话方式
微调是拿现成的模型，用你自己的样本再训练一小段。它改的是模型「怎么说话」，不是「知道什么」。
想让它学会你们的术语体系、固定格式、固定口吻、固定套路，微调合适。想让它记住上周刚发的退货新规、新价格、新产品参数，微调不合适，那件事属于知识库。
为什么灌不进去？因为微调动的是表达习惯和判断方式，模型不会把训练样本当成一份可查询的资料。你喂它三千条新规问答，它学到的是「这类问题应该这么答」，不是「退货规则第三章第 5 条写的是 7 天」。下次遇到没见过的问法，它照样会编一个听起来合理的答案。知识要能查、能更新、能追到出处，那是知识库的活。
微调有两种做法。全量微调（Full Fine-tuning）把模型里所有参数都重新调一遍，效果好、代价也大：要几张到几十张 GPU 的机器，要算法工程师，训一次按天算。轻量微调（LoRA、PEFT）在原来的模型旁边加一小块可训练的参数，主模型冻住不动，训练快、显存小、费用低，效果在多数业务场景里够用。
各大厂商的模型平台已经把轻量微调包装成了「上传数据、选模型、点训练」的流程。产品经理不需要懂 LoRA 的数学原理，但要知道它存在，也要知道全量微调和轻量微调是两个不同量级的投入。
微调能解决的活，说到底是四类。格式类：输出必须按固定模板，几段、几个字段、什么顺序，不能自由发挥。口吻类：称呼、语气、礼貌程度要统一，写出来的东西像同一个人写的。术语类：行业里的固定叫法不能写错，把「赎回」写成「退款」就是事故。判断类：同一个问题在不同条件下该走哪条分支，用样本把这些分支教会它。
不属于微调的活也有三类，分清楚能省很多成本。要它记住一份会变的资料，那是知识库。要它学会一种新的推理能力，能力层面的事靠微调通常教不会，得换一个更强的底子。要它少犯错，多数情况下把提示词写清楚、把资料给到位，比训一遍更有效。
| 对照项 | 全量微调（Full Fine-tuning） | 轻量微调（LoRA / PEFT） |
|---|---|---|
| 改哪些参数 | 模型里所有参数都更新 | 只训练旁边附加的一小块参数，主模型冻住 |
| 需要什么机器 | 几张到几十张 GPU | 一张到几张 GPU，很多平台按用量计费 |
| 训练时间 | 按天算 | 几小时到十几小时 |
| 适合什么场景 | 要改的能力面很宽，团队有算法能力 | 格式、口吻、术语这类表达层的调整 |
| 主要风险 | 费用高、周期长、训坏了难回退 | 能力改动幅度有限，指望它提升推理会失望 |
微调改的是「问什么、怎么答」这组对应关系，走的是下面这种样本。前两条是正例，第三条是反例。
| 客户这么问 | 标准回答 |
|---|---|
| 收到货七天还能退吗 | 亲，签收后七天内、商品不影响二次销售的，可以在订单页点「申请退货」。拆封过的贴身用品不支持，我帮您先看一下商品类型。 |
| 买贵了能退差价吗 | 下单后 15 天内同款降价的，可以在订单页点「申请价保」，差价原路退回。叠加的优惠券不参与价保。 |
| 这个能退吗 | 具体以平台规则为准，请联系客服。 |
第三条的反问题出在哪儿：它一句规则没给，也没把客户引到下一步，客户还得再问一遍。这种样本进训练集，模型学到的是「不知道就往外推」。喂进去几百条前两条那样的对应关系，模型学到的是这一类问题的说法和结构；规则本身改了，它不会自己知道。
5. 强化学习教模型分辨哪种回答更好
微调教的是「照着样本说」。样本之外哪种回答更好，模型自己不知道。强化学习补的就是这一层：让模型学会「什么样的回答会得到更高的评价」。
这套做法叫人类反馈强化学习（RLHF，Reinforcement Learning from Human Feedback），最早由 OpenAI 跑通并写成论文，路线分三步。第一步，人工写示范答案，用这些示范做一次监督微调（SFT，Supervised Fine-tuning）。第二步，让模型对同一个问题给出几个回答，人工排序，用排序结果训一个奖励模型（Reward Model），让它学会打分。第三步，用奖励模型的分数当信号，用强化学习算法继续调模型，早期用的是 PPO 这类算法。
三步里最贵的是人工。后来出现了更省的做法：直接偏好优化（DPO，Direct Preference Optimization）不再单独训奖励模型，直接拿「更好的回答 / 更差的回答」成对数据去调，效果接近，流程短很多。还有一条路叫强化微调（RFT，Reinforcement Fine-Tuning），适合有明确对错的推理任务，数学、代码、化学这类，用评分器给奖励信号。
再往上还有一条路，是训练会多步决策的智能体：先用监督微调教会它基本动作，再用强化学习（例如 GRPO）让它学会在一个环境里一步步试、一步步改。这条路线属于模型团队和智能体团队的活，产品经理知道它存在就行，判断点只有一个：这个场景是不是复杂到值得走这条路，多数业务场景的答案是还不到。
后训练这一段对选型的意义在于：两个参数规模差不多的模型，能力差别往往来自后训练。厂商在这上面投的人力、对齐策略、安全尺度不一样，同样的问题会给出不同风格的答案。做选型评测时，除了跑业务题，还要看它在敏感问题上的表现，那多半是后训练的结果。
这条路最出名的产物是 ChatGPT。在它之前的那一代模型更擅长接着往下写，加上 RLHF 之后才开始按人的要求回答问题，语气也从「文档腔」变成「对话腔」。现在你叫得上名字的对话模型，GPT、Claude、Gemini、Qwen、DeepSeek、豆包、Kimi，预训练之后都走了这一步，路径有差别，目的一样：让模型从「会写」变成「会回答」。
这一段还有个容易被忽略的效果：它会决定模型「该拒的拒、该答的答」。同样一个问题，有的模型直接拒绝，有的模型给出但附加风险提示，有的照单全收。决定这件事的是后训练阶段的安全策略，跟参数大小没关系。金融、医疗、政务这类场景，做选型时要把这一条单独测一遍，问题清单里放几个边界问题，看它怎么处理。
DPO 和 RLHF 的区别，产品经理记住一句就够：RLHF 多一个奖励模型，适合有大量可比反馈、又愿意养标注团队的团队；DPO 直接用成对偏好数据，流程短，平台化程度高，企业侧更常见。两者都不是产品经理要动手做的，但它们决定了「你用哪个平台、要准备什么数据、数据要标到什么程度」。
把这几条路线放在一起对照，选型时就不容易被销售话术绕进去。
| 做法 | 它在教什么 | 要准备什么数据 | 谁在做 |
|---|---|---|---|
| 监督微调（SFT） | 照着标准答案说 | 输入输出成对的样本 | 厂商、企业都能做，门槛最低 |
| 直接偏好优化（DPO） | 两种回答里哪种更好 | 成对的「更好 / 更差」回答 | 厂商为主，部分平台开放 |
| 强化微调（RFT） | 有明确对错的推理过程 | 可自动判分的题目和评分器 | 有算法团队的企业、厂商 |
| 智能体强化学习（SFT + GRPO） | 在一个环境里多步决策 | 环境、工具、可判定的任务结果 | 模型团队和智能体团队 |
同一批题，三个版本下选出来的答案不一样
v0 · 口径还没对齐
- 这道题收到货七天还能退吗
- 两条回答A 漏了「不影响二次销售」这个条件；B 规则答全，语气生硬
- 三个操作更好、差不多、都不行
- 六个理由标签规则漏了、规则错了、语气生硬、答非所问、称呼不统一、有编造
- 进度第 3 / 20 条，标注一致性 63%
连着标几条，理由集中到「规则漏了」，这批数据主要在教模型补规则。
v1 · 微调之后
- 两条回答规则都补齐了，差别只剩语气
- 理由标签从「规则漏了」转成「语气生硬」
规则这一层补上了，下一轮要教的是语气。
v2 · 强化学习之后
- 被选中的那条规则完整、语气自然，选中比例 81%
- 标注一致性停在 88%
- 把一致性拖到 55% 以下红字写「口径不统一，理由标签互相打架，这批数据先别拿去训」
一致性掉下去的时候，先把口径改齐，别急着往下滚量。
模型没被告知标准答案，只是被反复告知哪种更好。
6. 把大模型做小的两条技术路线：蒸馏与量化
前面几节讲的是模型怎么造出来。造完还有一道加工，它不改模型的知识，只改模型的大小：同一个模型做成更小的版本，就能搬到本机或者边缘设备上跑。这道加工不落在预训练、后训练、在线推理这三段里的任何一段，是另开的一条线。
模型不一定越大越好用。端侧、私有化、高并发这些场景里，把模型做小是刚需，主流两条路是蒸馏和量化。
蒸馏（Distillation）是让小模型去学大模型。训练时用大的「教师模型」的输出当参考，指导参数少得多的「学生模型」学。这条做法本身也在更新：早期是拿大模型的答案当标准答案去训小模型，现在更常见的是让小的那个先自己生成，再由大的逐词打分，常见的一组配置是学生用本地 30 亿激活这一档、教师用云端旗舰。这条路适合「想要一个更便宜但保持同一类能力」的场景。
量化（Quantization）是把参数的精度降下来。原来的模型用 16 位浮点存参数，量化之后用 8 位或 4 位整数，模型体积和显存占用跟着往下掉。实测里，一个 70 亿参数的模型用 4 位精度加载，显存占用大约 5.7 GB，一张消费级显卡就能跑。代价是能力会掉一点，长链条推理和细节要求高的任务掉得更明显。
两者经常一起用：先蒸馏出一个更小的模型，再量化到 4 位，塞进本地或者边缘设备。
| 做法 | 它在做什么 | 换来了什么 | 代价是什么 |
|---|---|---|---|
| 蒸馏 | 让小模型学大模型的输出 | 参数更少、推理更便宜，还保住大部分能力 | 上限跟着教师模型走，超出教师能力的活学不到 |
| 量化 | 把参数精度从 16 位降到 8 位或 4 位 | 显存和体积大幅下降，能上本机和边缘设备 | 能力小幅下降，长推理和精细任务下降更明显 |
产品经理在这两件事上的判断点很实在：量化的收益是能算的，显存和并发都能量；代价要用评测集量，不能凭感觉。上线前把量化前后的同一套题跑一遍，两张分数摆在一起，再决定用哪个精度。
精度档位大致分三档，选型时会被问到。16 位浮点是原始精度，效果基准，显存占用最大；8 位整数大约把显存压到一半，效果损失通常很小；4 位整数能把显存压到四分之一左右，消费级显卡就能跑，代价在复杂推理和细节任务上更明显。这三档不是越省越好，要看这个场景答错的代价有多高：客服话术用 4 位通常够，带判断的业务问答宁可用 8 位或直接走云端。
| 精度 | 显存相对 16 位 | 常见格式 | 什么时候选它 |
|---|---|---|---|
| 16 位浮点（FP16 / BF16） | 1 倍 | 厂商发布的原厂权重 | 云端推理，答错的代价高 |
| 8 位整数（INT8） | 约一半 | 平台自带的量化档 | 显存紧张，但对质量还有要求 |
| 4 位整数（INT4） | 约四分之一 | GPTQ、AWQ、GGUF 这几种量化方案导出的权重 | 本机、端侧、高并发，客服话术这类任务 |
算一笔具体的账。一个 70 亿参数的开源模型，用 16 位精度加载，光模型本身就占十几 GB 显存，要一张专业卡；量化到 4 位之后，实测占用五六个 GB，一张消费级显卡就能跑起来。硬件门槛从「要申请预算」变成「用现有机器」，这是量化最大的价值。代价要对症看：客服话术这类任务，4 位几乎看不出差别；要它做多步推理、算金额、读表格，量化前后的差距会明显一些。
蒸馏的适用场景也说清。想要一个跑在本地、成本低、但能力别掉太多的模型，蒸馏是最对路的选择；想在一个具体任务上超过现有模型，蒸馏不行，学生模型的能力上限跟着老师走。实际项目里的组合是「大模型负责难活，小模型负责高频简单活」，两边用同一套评测集对齐，哪类问题交给哪一档，写成一张路由表。
换精度、换机器，四个数跟着动
- 显存占用14.2 GB
- 首字延迟0.9 秒
- 可承载并发4
- 三条质量分客服问答 90、长文摘要 85、多步推理 72
显存刚好放下，多步推理这一项偏弱。
- 显存占用约 27 GB
- 提示24G 的卡装不下，换 80G 专业卡
精度上去了，卡也跟着要换。
- 显存占用18.4 GB
- 首字延迟0.7 秒
- 可承载并发8
- 三条质量分客服问答 91、长文摘要 86、多步推理 78
- 提示专家只激活一部分，同样显存下并发更高
理论参数更大的那一版，同一张卡上反而跑得更多。
- 显存需求涨到四倍以上
- 提示本地这条路走不通，要么换卡，要么把这一档放到云端
精度是最贵的一个开关。
- 显存、延迟、并发三栏改成「由服务商决定」
- 成本那行换成按词元估算的每小时费用
本地和云端是两套账，换之前先看这件事最要紧的是哪一项。
省显存的代价，先在这件事上量一遍。
7. 微调开工前要备齐的三样：样本、标注人和预算
微调这条路定下来之后，要先备齐四样东西，缺一样都不建议开工。
训练样本。 从历史工单、客服录音转写、业务专家写的示范里挑，一条样本是「客户这么问 → 标准回答是这么写」。起步量按平台经验是 50 到 100 条高质量样本先验证方向，方向对了再扩到 500 条以上上生产。质量比数量重要，一条答错规则、口吻不统一的样本会直接带偏结果。样本要覆盖三类：最常见的问法、容易答错的问法、有例外的问法。
验证样本。 另外留一份不参与训练的样本，用途是看模型有没有背题。训练集上的分数一直涨、验证集上的分数先降后涨，说明它开始死记硬背了，那个拐点之后的版本不能用。
标注的人。 谁来写标准答案，谁来判断两条回答哪条更好，要固定。这个人得懂业务规则，也要愿意按格式写。产品经理在这件事上的职责是定标准：一条合格样本长什么样、哪些说法不许出现、覆盖哪些场景，写成一份清单给标注的人。
环境和预算。 训练在哪跑、部署在哪、部署之后怎么计费，三笔账要提前算。轻量微调一个训练任务通常是几小时到十几小时，部署后按小时或按月计费；这两笔账比很多人想的大。
数据格式各家平台大同小异，用成对的问答文件，训练集和验证集分开传，编码统一。有些平台还会要求训练时用的系统提示词和上线时保持一致，这一点容易漏，两边不一致会让微调白做。
平台通常还会让你选训练档位，这一栏跟成本和数据合规都有关。标准档保证数据留在你指定的区域，价格高、排队慢；全球档借用其他区域的闲置算力，便宜、排队快，代价是训练数据会被复制到训练区域；开发档最便宜，任务可能被抢占后重跑，适合验证方向，不适合正式交付。放在金融、政务这类项目里，这一栏要跟法务确认过再选。
样本清单是产品经理要亲手写的那份文件，至少包含五项：样本覆盖哪些业务场景，每个场景各多少条，一条合格样本长什么样（给两条正例一条反例），哪些说法绝对不许出现，谁来验收。这份清单不写完就开始标数据，标出来的东西大概率要返工。
评估也要提前定好。常用的做法是三条一起看：自动评分（跟标准答案比对，看关键词和格式命中率）、人工盲评（把基础模型和微调模型的回答打乱顺序给业务同事看，让他挑哪条更好，别告诉他哪条是哪个）、线上指标（上线后看一次解决率、转人工率、客诉率）。只跑自动评分容易自欺，模型学会了模板但说的是错的，分数一样好看。
下面这个可交互示例，把一次微调从上传数据到部署要走的路演一遍。
620 条样本训三轮，回头挑哪一版上线
- 训练集
training.jsonl· 620 条 · 提示「格式校验通过」 - 验证集
validation.jsonl· 80 条 - 表单基础模型 Qwen3.6-27B / Qwen3.6-35B-A3B；训练方式 SFT / DPO / RFT；训练档位 标准 / 全球 / 开发
- 预估消耗56 万词元，按实际消耗的词元计费
训练集和验证集分开传，验证集用来挑版本。
- 训练曲线
train_loss从 1.82 降到 0.41 epoch 1valid_loss0.71
valid_loss 还在降，能选但没到最低。
epoch 2valid_loss0.63 · 标着「推荐」
三个 Checkpoint 里这一版最低。
epoch 3valid_loss0.79（回升）
valid_loss 回升，这一版开始只记住训练集，不听话了。
- 基础模型漏一条规则、称呼混用
- 微调后按三段格式给规则、称呼统一
- 部署确认框部署后按小时计费，确定要用这个版本吗
- 选定
epoch 2
用 620 条样本训了三轮，选的是 epoch 2。
用 620 条样本训了三轮，选的是 epoch 2。
valid_loss 先降后升，回升那一版说明开始只记住训练集了，别盲选最后一个。8. 提示词、知识库、微调三者的优先顺序
现在把三条路按顺序走一遍，看看成本该花在哪一步。
第一步是改提示词。把回复结构、称呼、必须说清的规则写进系统提示词，几天就能上线。用 200 条历史工单测一遍，口径统一率从 62% 提到 81%。这一步几乎没有成本，先做。
第二步是补知识库。把 12 份规则文件切块入库，接上检索，回答的时候把命中的条款一起给出来。同一套题再测，规则答对率到 94%。这一步的成本主要在整理资料和搭检索，属于一次性投入，规则更新时改文件就行。
剩下的问题是什么？称呼混用，一段话里「您」和「亲」都出现；该分三点说的内容，模型写成一整段。这两样属于表达习惯，正是微调该接的地方。团队拿出 620 条人工筛过的优质工单做训练集，80 条做验证集，用轻量微调训了一版，在平台上一共跑了两个小时。
三笔账摆在一起就清楚了：提示词几乎免费；知识库是一次性投入，这个例子里主要是两个人两周的整理时间；微调要样本、标注、训练和部署四笔，训练按实际消耗的词元计费，部署之后按规格和时间计费，跑得越久越贵。顺序不能反：先提示词，再知识库，最后才轮到微调。 跳过前两步直接微调，等于多付一笔成本去解决一个本来不花成本的问题。
下面这张图是拿到一个效果问题之后的判断顺序，每一层答不上来就停在这一层。
| 对照项 | 改提示词 | 补知识库 | 微调 |
|---|---|---|---|
| 解决什么 | 说法、结构、语气 | 资料准不准、有没有出处 | 表达习惯、固定格式、术语 |
| 要准备什么 | 一份写清楚的提示词 | 整理好的资料和检索 | 合格样本、标注人、训练和部署预算 |
| 多久见效 | 当天到几天 | 一到几周 | 两周到一个月，视样本而定 |
| 资料更新了怎么办 | 改提示词 | 改文件，模型不用动 | 重新准备样本，可能重训 |
| 什么时候别用 | 需要精确的条款和数据 | 问题是表达风格不统一 | 资料会变、样本不够、只想要新知识 |
拿到一个效果问题，先按这五个问题过一遍，答案会直接指向该走哪条路。
- 这件事要的是「说法统一」，还是「资料准确」？说法统一才轮到微调，资料准确是知识库的事。
- 提示词和知识库都试过了吗？有没有留下前后对比的分数。
- 手上有 500 条以上合格样本吗？没有的话，先解决样本，不要先解决模型。
- 训练数据能不能出内网，谁有资格标，标注过程留不留痕。
- 训完之后谁评估、部署在哪、每小时的费用，这三笔账算过没有。
五个问题里有一个答不上来，这次微调就还没到能开工的程度。
如果一开始就跳过前两步、直接微调，结果会是什么样？团队会花两周整理和标注样本，训出一版称呼统一、格式规整的模型，然后用同一套 200 条工单去测，规则答对率大概还停在 70% 上下，因为新规根本不在训练样本里。花出去的是样本整理的时间、标注的成本和一次训练的费用，换回来的是称呼统一。这笔账算不过来，顺序就是前面说的那样：先便宜的后贵的。
9. 能不能走微调，行业不同答案也不同
这三条路怎么走，不同行业的分界线也不一样。
零售电商的数据最好拿。历史工单量大，样本不缺，微调门槛低，需要注意的是别把过时的活动话术当成标准答案喂进去。
金融的样本要过合规。微调出来的回答同样算对外口径，训练样本里的每一句都要能追到依据，标注过程要留痕，谁标了什么版本能查。这一条会直接拉长项目周期，评审环节要提前排进计划。
医疗的边界在责任。格式、流程、模板这类活可以微调，给患者的话术、辅助判断这类活，结论必须由医生负责，微调解决不了责任归属。评估时要把「医生改了多少」记下来，改得越少说明越可用。
制造的门槛在数据出不出厂区。工艺参数、图纸这类核心资产不能出院区，微调只能在私有化环境里做，算力和人力的账要比互联网行业多算一截。设备维修这类场景，先把维修手册做成知识库往往比微调划算。
政务的麻烦在口径。办事指南在不同区县有差别，训练样本得跟最新版本的指南对齐，指南一改，样本和模型都要跟着更新。这类场景里，知识库的更新速度比模型的表达能力更重要。
教育行业的样本最容易拿，课件、题库、历史答疑都是现成的。麻烦在答案对错直接关系到学生，样本要按最新版教材核对，过期知识点和错题要清出去，标注的人最好是有教学经验的人，不能外包给不了解课程的人。
判断的路子是一样的：先问数据能不能拿、谁有资格标、错了谁负责，再定走哪条路。
| 行业 | 数据与合规上最硬的一条 | 微调这条路好不好走 |
|---|---|---|
| 零售电商 | 历史工单量大，样本不缺 | 好走，注意别把过时的活动话术当标准答案 |
| 金融 | 对外口径要能追到依据，标注要留痕 | 能走，评审环节会拉长周期 |
| 医疗 | 结论必须由医生负责 | 只走格式和流程，判断类的活不交给它 |
| 制造 | 工艺、图纸不出厂区 | 只能在私有化环境里做，算力成本要另算 |
| 政务 | 口径按区县不同，要跟最新指南对齐 | 更新频繁，优先做知识库 |
| 教育 | 答案对错直接涉及学生 | 能走，样本要按最新版教材核对 |
10. 三种情况下先别碰微调
下面这几种情况，都别开微调。
最常见的一条，是把微调当成往模型里灌知识的手段。新政策、新价格、新产品参数这类内容，进了训练集也只学到「这类问题该怎么答」，问法一变就开始编。资料要能查、能改、能追出处，就用知识库。
另一种是样本太少就开工。几十条样本训出来的版本，在验证集上看不出问题，上线碰到没覆盖的问法就现原形。先按 50 到 100 条验证方向，再扩到 500 条以上，这个顺序别省。
还有一种是拿量化当免费的提速。量化确实让模型更小更快，代价是能力掉一点，长链条推理掉得更多。同一个模型量化前后各跑一遍同样的题，两张分数摆出来再决定。
跳过提示词和知识库这一种也常见。这两步的成本比微调低一个量级，能解决的场景也比想象的多。先做便宜的事，再决定要不要付更高的成本。
还有一条容易漏：训练完不看验证集，直接把最后一个版本部署上去。验证集的分数先降后涨，说明后面几个版本在背训练题，选那个拐点上的版本，不是选最后一个。
另外两条也常见。一条是把微调当项目终点，训完就当上线了，没人排评估、没人定回滚方案，出问题只能整个下线。微调版本要跟基础模型一样走上线流程，评测、灰度、回滚三件事一件都不能少。
另一条是只算训练费，不算运行费。训练花几十块到几千块不等，部署之后按小时或按月计费，跑一年下来通常比训练本身贵。做预算时把这两笔分开列。
11. 提示词、知识库还是微调，看完能分清
效果上不去的时候，先把三条路按顺序试一遍：改提示词、补知识库、最后才轮到微调。售后团队那个例子里的三笔账，也能照着算。
还有一个判断要记住：微调是最后手段，不是第一手段。 它适合解决表达层的问题，不适合解决资料层的问题；它的收益要用评测集量，不能凭感觉；它的成本要连部署一起算，不能只看训练那一下。
后面讲的是大模型有哪些类型。先从它怎么读字说起，词元为什么直接决定成本和等待时间；再往下是参数为什么要分两个数看、稠密模型和混合专家模型（MoE）差在哪、六类说法怎么认，以及一次能读多长、长在哪贵在哪。这些看懂了，拿着一张模型清单才不至于挑花眼。