1. 候选清单的来源与模型卡的读法
1.1 候选清单上的五个型号
某市政务服务中心要做一个办事指南问答。企业和居民在窗口、热线、网上大厅三个渠道问「这个事项要交哪些材料」「多久能办结」，三个地方的答法经常对不上，一个月里因为口径不一致被退回重办的件有二十多起。中心想把两百多件事项的办事指南做成一个能问的助手，让三个渠道回答同一套话。
产品经理手上有一张候选清单，列着五个型号：Qwen3.8-Max、DeepSeek-V4-Pro、GLM-5.2、Llama 4 Scout、MiniCPM-V 4.6。清单是运维同事凭经验列的，末尾留了一句「都是主流型号，挑一个就行」。
这五个名字摆在一起，看不出谁合适。里面有一个只提供云上的调用接口，本地机房部署不了；有一个的许可证要求在对外页面上挂一行英文；还有两个的上下文长度差一个量级。这批指南去年底刚改过一版，如果某个型号的知识截止日期停在两年前，它连旧版材料都记不全。
同一张清单，会读的人五分钟能划掉两个；不会读的人要等到上线前一晚才发现卡在哪。
1.2 候选清单的四个常见来源
产品经理很少自己攒清单，多半是拼出来的。常见来源有四个。
厂商的模型广场。阿里云百炼、火山方舟、百度千帆、腾讯云这些平台都有一页模型列表，按通用、推理、多模态、图像分类，点进去是这个型号的详情页。这里更新最快，代价是排在前面的通常是厂商主推的。
开源社区。Hugging Face 和魔搭社区的模型库，能按任务、参数量、许可证筛。下载量和社区讨论都看得到，权重也能直接拿。要留意的是，下载量高只说明用的人多，不说明它适合你这件活。
同行方案和招标清单。同一行业的单位做过类似项目，他们的候选清单可以拿来对照。要留个心：他们的数据出境条件和你这边未必一样，他们能接受的条件放到你的场景里可能是硬伤。
本单位上一个项目的留档。这一条最省事，也最容易被忘。同一家单位的合规口径、采购通道、部署环境、运维习惯都在里面，从上一版清单接着改，比从零开始省一大截。
清单拼出来还只是一堆名字，要能用得补两类信息。一类跟着需求走：数据能不能出域、要不要读图、一次问答要读进多少资料。一类跟着合规走：许可能不能商用、能不能私有部署、数据落在哪个地区。这两类信息不用去问人，模型卡上都有。
1.3 模型卡是每个型号的说明书
拿到一个型号，下一步是找它的模型卡（Model Card）。厂商的模型广场在详情页放它，开源模型在下载仓库的首页放它，内容大同小异：能读什么、能吐什么、上下文多长、知识学到哪一天、许可怎么写的、能不能自己部署、怎么计费、在哪些地区可用。
模型卡是给产品经理省事的，不用翻论文，看几栏就能判断这个型号能不能进候选。它同时也是厂商的宣传页，所以读的时候先在心里分个类：哪几栏是事实，哪几栏是形容词。
1.4 模型卡的七栏硬信息
七栏分别管什么，看这张表。
| 栏位 | 上面写着什么 | 影响哪个决定 |
|---|---|---|
| 输入与输出 | 只吃文字，还是也能读图、听音频 | 需求里有照片、图纸、录音的，这一栏是硬门槛 |
| 上下文长度 | 一次最多读多少词元 | 资料是整篇塞进去，还是切开做检索 |
| 知识截止日期 | 训练语料收到哪一天 | 改版之后的新材料，它答不答得准 |
| 许可 | 能不能商用、能不能改、有没有附加条件 | 这个型号能不能进正式方案 |
| 部署方式 | 只能调接口，还是能下载权重自己部署 | 数据不能出域的场合，这一栏定生死 |
| 可用地域 | 哪些地区有服务节点、数据落在哪里 | 涉及个人信息和跨境，要拉法务一起看 |
| 计费口径 | 按输入输出词元算，还是按实例开机时长算 | 预算按次算还是按月算 |
读这张卡有个省事的顺序：先看能让型号直接出局的几栏，输入与输出、部署方式、许可；再看只影响工作量和成本的几栏，上下文长度、知识截止日期、计费口径；可用地域单独拉法务一起看。这个先后是判断的顺序，卡上的行序跟它不一样。
一张模型卡拿到手，七栏挨个对一遍
- 输入与输出文字加图片
- 上下文长度1M 词元
- 知识截止日期2026-06
- 许可Apache-2.0
- 部署方式API 与私有化
- 可用地域华北、新加坡
- 计费口径按词元计费
七栏都是能直接拿去填判断的信息，不是宣传语。
- 需求要读体检报告照片输入与输出这一栏写过图片，过
- 保单和健康告知出不了厂区部署方式这一栏有私有化，过
- 要对外开放接口许可这一栏是 Apache-2.0，能商用，过
这三栏任何一栏不过，后面的栏不用看。
- 上下文长度 1M一次塞得下整本条款手册，检索可以切粗一点
- 知识截止日期 2026-06条款 2026-09 改过版，落在改版线左边，要算补材料的额外词元
- 计费口径按词元算，预算按次估，不按开机时长估
这三栏不影响能不能用，影响要投多少功夫。
- 服务节点华北、新加坡
- 要问清的两件事资料落在哪、涉及个人信息要不要单独走评估
这一栏不自己拍板。
模型卡的读法是先出局、后权衡。
1.5 模型卡七栏里的事实栏与宣传栏
「业界领先」「多项基准全面超越」「推理能力大幅提升」这类话，每张模型卡上都有，可以跳过。真正要辨的是更具体的东西：跑分写没写清楚在哪套题上测的、在哪一档模式上测的、是不是厂商自家出的题。三项缺一项，这个分就只当参考。
一个省事的判断办法：这句话能不能落成一栏填进上面那张表。能落进去的是硬信息，落不进去的是形容词。
还有一件跟名字有关的事要记住。名字里的系列、版本、参数规模能帮你认出同一个家族的型号，帮你省下一部分翻模型卡的功夫。但名字里读不出多模态、读不出知识截止日期、读不出许可、也读不出可用地域，这四栏都在模型卡上。看名字只能缩小范围，能不能进候选由模型卡说了算。
版本这两个字还要多留一句。模型卡上的版本号会变，闭源模型尤其频繁，同一个接口名背后可能已经换过两三代。换代之后回答风格会变，之前调好的提示词和跑分及格线都可能失效。选型的时候把版本号抄进清单，后面做回归测试才有基准。
1.6 政务办事指南需求的初筛结果：五个候选剩三个
| 栏位 | 这个需求的答案 |
|---|---|
| 输入与输出 | 指南是文字，窗口暂时不收照片，这一栏不构成门槛 |
| 上下文长度 | 两百多份指南不整篇塞，走检索，32K 就够 |
| 知识截止日期 | 指南去年底改版，截止日期要晚于改版时间 |
| 许可 | 政府部门对外提供服务，必须允许商用，附加条件先过法务 |
| 部署方式 | 办事材料不进外网，优先能私有部署的型号 |
| 可用地域 | 政务数据落境内节点 |
| 计费口径 | 每天几千次问答，按词元算，另记一次高峰的并发量 |
对完这一遍，五个名字里能直接进下一轮的只剩三个。剩下两个也还能用，只是条件更贵。
开头提到的那个许可带署名要求的型号没有因此出局。政务中心本来就有一页服务说明，那行英文挂上去不影响什么，这条作为备注留在清单里，交给法务过一遍。
被划掉的两个里，有一个卡在部署方式上：它只有厂商的公有云接口，办事材料要送出去，这一条过不了。另一个卡在知识截止日期上：指南改版发生在它训练结束之后，靠检索也能补，但每次问答都要多送几段新版材料进去，词元成本跟着涨，还要多一层「检索没命中怎么办」的兜底。
划掉的两个是 DeepSeek-V4-Pro 和 MiniCPM-V 4.6：前者模型卡上只写了公有云接口，后者知识截止停在指南改版之前，改版后的口径全靠检索一段段补。留下的三个是 Qwen3.8-Max、GLM-5.2 和 Llama 4 Scout。政务中心这件事最后落在 GLM-5.2 上：它能在自己的机房部署，指南原文走检索进来，指南改版之后换一批文件就行，不必等模型换代。
知识截止日期这一栏最容易被跳过，因为它在模型卡上只是一行日期，不像部署方式和许可那样一眼看上去就是硬条件。判断办法很直白：拿改版之前的某一条业务问题去问这个型号，如果它答的是改版前的口径，说明它没学到新版，接下来就要么靠检索把新文件塞进上下文，要么换一个截止日期更新的型号。
截止日期这件事容易被当成一次性筛选，功课其实做在发布之后。办事指南每改一版，都要回头核一遍在用型号的截止日期，看它是不是又落到改版线左边。核出落在左边的，要么把新版材料补进知识库，要么把它从对外那条链路上换下来。
知识截止日期对着改版日期看
左边 · 截止日期落在改版线之前
- 时间轴刻度指南改版 2026-03
- 型号一截止日期 2025-12 · 判定「建议更换」
- 型号二截止日期 2026-01 · 判定「需要检索补」
- 「需要检索补」的意思训练语料里没有改版后的指南，靠检索把新条款补上来
- 「建议更换」的意思截止日期早得太多，改版前后的口径都在变，检索兜不住
左边这两个都得补材料，早得太多的那个补也补不回口径的差别。
右边 · 截止日期落在改版线之后
- 时间轴刻度指南改版 2026-03
- 型号三2026-05 · 判定「直接可用」
- 型号四2026-06 · 判定「直接可用」
- 型号五2026-07 · 判定「直接可用」
- 换到电商场景改版线变成「商品类目规则更新 2026-05」，五个型号里有两个落到线的左边
训练语料里已经有改版后的指南，检索只用来补细节。
改版线左边的型号，先算一遍补材料的额外词元成本。
1.7 行业差异：金融看许可，制造看部署
同一张模型卡，五个行业盯的顺序不同。
金融先看许可和可用地域，再看知识截止日期。条款、费率、监管答复都有时效，答错一句可能是纠纷。
制造先看部署方式。图纸和工艺参数多半出不了厂区，能下载权重自己部署这一条不满足，后面的栏位不用看。
医疗先看输入与输出和可用地域。病历摘要要读检查报告图片，数据又是最敏感的一类，这两栏一起构成门槛。
政务先看知识截止日期。政策和办事指南一年改好几轮，材料的时效比模型能力更要紧。
零售电商先看许可和计费口径。对外文案量大，单价差一档，一个月的账差得很明显；对外页面上的署名和标识要求，品牌这边也要过一遍。
栏位是同一批，顺序按行业换。这也是为什么读模型卡不能只读自己最熟的那两栏。
1.8 候选清单送进评测前的逐条核对
- 这个型号能读需求里的全部输入吗？（要照片、要录音的，逐项对，不要笼统写「支持多模态」）
- 一次问答会递进去的资料，会不会超过它的上下文长度？
- 资料最近一次改版，发生在它的知识截止日期之后吗？
- 它的许可允许本单位这样商用吗？有没有署名、命名或规模门槛？
- 它支持本单位要求的数据落地方式吗？是私有化、专有云，还是只有公有云接口？
- 本单位要在哪个区域用它，那个区域有服务节点吗？数据落在哪里？
- 它的版本号抄下来了吗？换代之后由谁负责把测试重跑一遍？
七问里有一问答不上，这个型号就先别写进方案。答得上不等于选它，只是代表它有资格进下一轮。
1.9 评审现场最常被追问的地方
最常见的一种，是把模型广场首页的排序当成质量排序。首页顺序跟主推力度、价格策略都有关系，参考价值有限。
另一种，只看名字不看模型卡。名字读得出系列和规模，读不出多模态、知识截止日期、许可和地域。后缀读得懂，只说明你认得出这一家的命名习惯，不构成选它的理由。
还有一种，把「支持私有部署」当成「能私有部署」。开源权重能下载是一回事，跑起来要显卡、要运维、要一套配套的监控和更新，这一条得拉运维一起确认，光看模型卡会低估成本。
1.10 候选清单完成初筛
把这一块过完，你手上的候选清单应该已经带上了七栏信息，能回答「这个型号有没有资格进方案」这个问题。接下来还没解决的是：这些型号都说自己好，凭什么判它更好？榜单和跑分能说明点什么，往下看。
2. 榜单和跑分的用处与边界
2.1 榜单第一的模型，在自建题集上排第三
某在线教育机构要给中学作文做 AI 批改。教研组定的评分口径有四块：是否切题、结构是否完整、语言是否规范、卷面书写是否达标；每块按四档打分，最后给一段能落进批语的话。老师批一篇平均七八分钟，一个班五十多篇，一天改不完。
产品经理从候选清单里挑了两个型号，一个是榜单上的第一名，一个是第三名，用同一批五十篇作文跑了一遍。教研组盲评的结论是第三名更合用。原因后来查清了：榜首那个型号在写作类题上拿分最高，但榜单里的写作题是自由散文和创意写作，跟中学作文「按评分细则逐项打分」的口径不是一回事。
榜首那个分数是真的，榜单也没问题；对不上的是这件活和榜单测的那件事。这一节要讲的就是怎么看懂一个榜单到底在测什么。
2.2 榜单的四类测法
能查到的公开榜单（Leaderboard）不少，按它测的是什么，可以归成四类。
第一类，人类偏好榜。代表是 LMArena（早期叫 Chatbot Arena）。两个模型匿名两两对打，人类看完两段回答投一票，攒够票数按胜率排名。它测的是「大多数人觉得哪段回答更顺眼」。
第二类，通用知识与推理基准。常见的有 MMLU-Pro（多学科选择题）、GPQA（研究生水平的科学问答）、AIME（数学竞赛题），中文这一头有 SuperCLUE 和 C-Eval。Hugging Face 的 Open LLM Leaderboard 是把几套学术题捆在一起发布的一张总表。
第三类，专项能力基准。代码这一头是 SWE-bench，题目来自真实开源仓库的缺陷单，要求模型改出能通过测试的补丁；工具调用这一头是 BFCL，考的是给定一批函数，模型能不能选对函数、传对参数。
第四类，智能体任务基准。GAIA 给的是需要多步查证和调用工具才能完成的任务；τ-bench（tau-bench）模拟的是带用户对话的客服流程，模型要和用户来回几轮、在系统里改数据，才算完成。
| 这一类的榜 | 测的到底是什么 | 产品经理什么时候看它 |
|---|---|---|
| LMArena | 人类盲测偏好 | 场景以开放式对话为主，输出没有固定格式 |
| MMLU-Pro、GPQA、AIME | 学科知识、科学推理、数学 | 场景里有多步判断、计算、专业问答 |
| SuperCLUE、C-Eval | 中文综合与中文学科 | 场景以中文为主，需要中文语感和中文常识 |
| SWE-bench | 真实仓库里改代码 | 场景要它写或改代码 |
| BFCL | 选函数、传参数 | 场景要它调接口、连业务系统 |
| GAIA、τ-bench | 多步任务、带用户的工具流程 | 场景是完整的一件活，不是一问一答 |
2.3 单个榜单只能代表一类场景
四类榜之间不能互相换算。GAIA 考得好的模型，未必比 BFCL 榜首更会调接口；LMArena 票数高的模型，未必在 SWE-bench 上排得前。每一类榜的题目来源、判分方式、要求的输出长度都不一样，测出来的东西也就不是一回事。
同一类榜里也有细节要看清。总榜名下面通常还有分项，要看清楚总分是怎么加起来的：有的按平均分排，有的给每一科不同的权重，权重一改，名次就换。榜单页一般会写明它用的是哪种排序方式、开放了哪几档（思考模式和快速模式分开算还是合并算）、参数量有没有设门槛。
看一个榜，先弄清它在测什么，名次放在后面看。
先认任务，再找对应的榜
先自己判一遍，再点开下面的判定
眼前这五件活
- 活一客服话术问答，回答没有固定格式
- 活二条款和判例的专业问答
- 活三在真实代码仓库里改出能过测试的补丁
- 活四调运单、库存这类业务接口
- 活五一件要跑好几步、中间还要问人的活
- 候选榜LMArena、MMLU-Pro 与 GPQA、SuperCLUE、SWE-bench、BFCL、GAIA 与 τ-bench（tau-bench）
- 榜单页还要看清的三件事总分按平均分还是按权重排、思考模式和快速模式是否合并、参数量有没有设门槛
先自己给五件活各挑一个榜，再看下面那一排判定。
看判定
- 活一 → LMArena，测的是人类盲测偏好；拿 SWE-bench 榜首来做话术，它改代码强，回答风格未必讨人喜欢
- 活二 → MMLU-Pro、GPQA、SuperCLUE，测的是学科知识与多步推理；只看人类偏好，容易挑到一个话说得漂亮、算错的型号
- 活三 → SWE-bench，测的是真实仓库里改出能过测试的补丁；用选择题榜挑写代码的型号，一动手就漏掉仓库里的旧约定
- 活四 → BFCL，测的是选对函数、传对参数；只看总分，会挑到一个会说不会做的型号，接进系统才发现参数老填错
- 活五 → GAIA 和 τ-bench，测的是多步任务与带用户的流程；用单轮问答榜挑智能体，每一句都答得漂亮，连不成一条完整流程
五件活对应五类榜，拿错榜的后果各写在各行后面。
先认任务，再认榜。
2.4 榜单无法衡量的能力
公开榜的题目是公开的，判分方式是统一的，这是它能横向比较的原因，也是它测不到你这场活的原因。
它测不到你的业务题。榜单里没有你的条款、你的工艺参数、你的办事指南。
它测不到你的口吻和格式。你的批语要按四档打分、要以固定句式收尾，这些是你们内部的规定，榜不考。
它测不到你的数据和权限。模型能不能只看到这个人有权看的那部分资料，榜不管。
它测不到成本。同一个名次，两个型号的单价可能差好几倍，输出长短也不一样，榜只给分数不给账。
它测不到稳定性。榜单是一次成绩，你关心的是同一道题问十次，它十次答的是不是一个意思。
它测不到可用地域。榜单上的模型，有些在你需要的区域没有服务节点。
公开题还有一层公开带来的后果：题目和答案在网上流传得久，模型有可能在训练时见过类似的题，分数比真实水平高一些，这种情况通常叫数据污染（Data Contamination）。榜单页一般会说明怎么防，但这件事没法完全避免，所以分数只当成参考区间看，不留到最后一步用。
2.5 公开榜与自建题集各自覆盖的范围
两件事分工很清楚。
公开榜做初筛。作用是很快把明显不行的型号划掉，把候选从十几个收到三五个。它便宜、快、不需要你准备数据，代价是只能给出大意上的强弱。
自家的题做定档。做法是从真实业务里挑一批问题，标出正确答案，写清什么算对、什么算错，再让剩下的候选逐个跑一遍。这一批题不用多，几十条到几百条就够起步，关键是每一类问题都要有，简单题和难题都得占一定比例。
两次筛的顺序不能反。先用自己的题定档，再回头看榜单，会出现一个常见的问题：能力相近的两个型号，榜单差了几十分，你为了那几分多花一笔成本，业务上的差别却看不出来。
2.6 自建题集实测后榜单名次翻转
教研组的评分口径有四块，那就按四块出题。做法是从过去一年批过的作文里分层抽五十篇，每一档都有，四位教研老师交叉标出参考答案，再把「什么算对」写细：切题看有没有跑题，结构看有没有分段和过渡，语言看有没有病句，卷面看有没有把涂改误判成错别字。
题目备齐之后再回看榜单，做一件不一样的事：把榜单当作挑题范围的提示，不当作结论。榜单显示写作类题强的那几个型号，进自测；其余的划掉。榜单排出的是进自测的名单，最终名次由自家的题说了算。
自测跑完，结果可能出现三种情况。第一种，榜单前面的型号确实在前面，那就按分数和价格定。第二种，像这个案例一样，排序翻转了，以自测为准，并且去查为什么翻转，多半是评分口径或者输出格式没对上。第三种，几个型号分数咬得很紧，差距在抽样的误差范围内，这时候挑单价低的那个，把省下来的成本投到把题量做大上。
这篇作文批改最后定在型号丙上。它在自家五十篇题上得 84 分，每千篇 96 元，是五个候选里单价最低的一档，跟第二名的分差落在抽样误差之外；榜单第一名那个退回备选，等题量扩到 200 篇再复核一遍。
公开榜名次和自家题名次对不上
左边 · 按公开榜排
- 型号甲第 1 名 · 自家 50 篇作文 78 分 · 每千篇 210 元
- 型号乙第 2 名 · 81 分 · 每千篇 165 元
- 型号丙第 3 名 · 84 分 · 每千篇 96 元
- 型号丁第 4 名 · 72 分 · 每千篇 60 元
- 型号戊第 5 名 · 69 分 · 每千篇 42 元
榜单排出的是进自测的名单，不是结论。
右边 · 按自家题排
- 型号丙升到第 1 位 · 84 分 · 每千篇 96 元 · 分差落在抽样误差之外，可以定它
- 型号乙第 2 位 · 81 分 · 每千篇 165 元
- 型号甲掉到第 3 位 · 丢分最多的是「结构完整」，榜单的自由写作题不考这一项
- 型号戊第 4 位 · 69 分 · 每千篇 42 元
- 型号丁第 5 位 · 72 分 · 每千篇 60 元；跟戊差 3 分，落在 50 篇抽样的波动范围内，先偏向单价低的那个
- 下一步题量扩到 200 篇再复核一遍
名次翻转了两个型号，榜单前两名在自家题上掉下去了。
名次对不上时以自家题为准，分差在误差内时先看单价。
2.7 命题口径在五个行业之间的差异
榜单不动，出题的方式跟着行业换。
金融出题要盯着引用。一条答案对不对，先看它引的条款号对不对，再看结论跟条款对不对得上。题目里要有「条款改了，模型答的还是旧版」这类情况。
医疗出题要盯术语。同一个意思，口语说法和病历写法不是一回事，题目要覆盖这两头，还要有「资料里没有、该说不知道」的题。
政务出题要盯时效。政策一年改几轮，题目按改版日期分两批，看模型答的是哪一版口径。
零售电商出题要盯对外口径。价格、承诺、活动规则不能写错，题目里要专门放几条容易写错的，看它会不会自己加条件。
制造出题要盯数字。尺寸、公差、型号这类内容，一个字符错了都不算对，题目里要有明显相似的型号做干扰。
2.8 评测集靠不靠得住，看这六条
- 这件活属于四类榜里的哪一类？我找的是对应那一类的榜吗？
- 这个榜的题目来源、判分方式、排序规则，我看了吗？
- 我的题从哪来？是从真实业务里抽的，还是我自己编的？
- 什么算对、什么算错，写下来了吗？评分的人对这份标准有共识吗？
- 简单题、难题、该说不知道的题，各类都有吗？
- 跑完之后，几个型号的分差落在抽样误差之外吗？落在里面，我下一步是扩样本还是看单价？
2.9 拿榜单当采购依据，代价最大
代价最大的一种，是把榜单名次当成采购依据。榜单替你回答的是「谁大概更强」，不回答「谁适合这件活」。真到了定档，用自家题说话。
另一种，评测题全挑自己顺手的那几类。题目都是简单题，跑出来个个高分，看不出差别；题目全是最难的长尾，跑出来个个低分，也看不出差别。分层出题的意义就在这儿。
容易被忽略的一种，是跑一遍就锁死。模型换代、业务口径改版、价格调整，这三件事任何一件发生，题目和及格线都要重跑。榜单也一样，一个榜的题目和权重会更新，看的时候注意它标没标日期。
2.10 榜单的适用边界
这一块走完，你应该能说清一件活该看哪一类榜、这个榜在测什么、它替你回答不了什么，也能说清自家的题该怎么出、分差落到多少才算真的分出了高低。榜单解决的是「谁大概更强」，还有一半问题它回答不了：这个型号能不能合法合规地用起来。往下是许可，看一条许可里哪几行会直接挡住上线。
3. 开源许可里哪几行会挡住上线
3.1 能力最强的候选被法务否决
某零售电商平台要给商家做商品文案批量生成。运营每天要写几百条标题、卖点和详情首段，格式有固定要求，不能出现绝对化用语，不能承诺价格。产品经理挑了一个开源模型，效果在前一轮测试里最好，成本也低，方案都快写完了。
评审的时候法务问了一句：这个模型的许可证是什么。翻出来一看，是厂商自定的社区许可，里面写着分发产品或服务要在界面上显著展示一段英文，用它的输出训出来的模型名字要在开头加一个前缀；另外还有一条，发布当月活跃用户超过一定规模要先向厂商申请授权。平台对外服务，界面是自家的门面，品牌部不同意挂别人家的英文标识。
方案改了。能力最强的那个出局，换成另一个许可宽松的型号，效果差一点，靠把提示词和检索调细补回来。整个来回花了三周，前面两轮测试白跑。
这件事在项目里出现的频率比想象的高，因为开源这两个字被用得太宽了。
3.2 「开源」一词覆盖的三种情况
一个模型的权重能在网上下载，是这三种情况中的哪一种，要看它的许可证（License）。
第一种，标准开源许可。常见的是 Apache-2.0 和 MIT。这类许可的文本很短，读完十分钟，允许商用、允许修改、允许再分发。
第二种，厂商自定的社区许可（Community License）。Llama 4 用的是 Llama 4 社区许可，Kimi 用的是一份改过的 MIT。它们也允许免费商用，但另外写了几条附加条件，附加条件往往就是项目里卡住的那一条。
第三种，名义开源、实际受限。权重放出来但只允许研究和非商业用途，或者商用要单独拿授权。遇到这类，方案里要么写「只用于内部验证」，要么直接划掉。
判断方法很直接：去下载仓库的首页找那一行许可证名，别信别人转述。写着 apache-2.0 或 mit 的，是第一种；写着 llama4、写着 other 并附一段自定义文本的，是第二种；写着 cc-by-nc、写着 research only 的，是第三种。
3.3 许可要确认的事，就四样
许可文本再长，产品经理要确认的只有四件事。
| 要确认的 | 为什么问 | 答不上来的后果 |
|---|---|---|
| 能不能商用 | 这套东西是不是对外提供服务，或者用在公司的经营活动里 | 上线后收到通知要求下架，返工 |
| 能不能改 | 要不要做微调、要不要改模型里的东西 | 微调做完了才发现不允许，白做 |
| 能不能再分发 | 会不会把模型或它的衍生版本交给客户、放进交付物 | 交付时被卡 |
| 有没有附加条件 | 署名、命名、用户规模门槛、地域限制 | 界面、品牌、合同都要跟着改 |
四件事里最容易漏的是第四件，因为它不写在许可的开头，藏在中间几段。下面三种常见许可，各自要看的那一行不一样。
3.4 三种常见许可各要看的条款
Apache-2.0 和 MIT 的差别很小，主要是文本长短和措辞。两者都允许商用、修改和再分发，包括把改过的版本闭源发布。要求只有一条：保留版权声明和许可证副本。Apache-2.0 多要求一句，改过的文件要说明改动。Qwen 的多数开源型号走 Apache-2.0，GLM 和 DeepSeek 的开源权重走 MIT。
Llama 4 的社区许可要看的行数多一些。允许免费商用；分发模型、衍生模型或含它的产品时，要附一份协议副本，并在相关网站、界面或产品文档上显著展示「Built with Llama」；用它的输出训练或微调出来的模型，名字要以「Llama」开头；发布的当月活跃用户数超过 7 亿，要先向 Meta 单独申请授权。
Kimi 那份改版 MIT 只加了一条：如果商用产品月活超过 1 亿，或者月收入超过 2,000 万美元，要在界面上显著展示「Kimi K2」。低于这条线，它就等同于 MIT。
| 要看的行 | Apache-2.0 / MIT | Llama 4 社区许可 | Kimi 改版 MIT |
|---|---|---|---|
| 能商用 | 可以 | 可以 | 可以 |
| 能改 | 可以 | 可以 | 可以 |
| 能再分发 | 可以 | 可以 | 可以 |
| 附加条件 | 保留版权声明和许可副本 | 展示 Built with Llama；衍生模型名以 Llama 开头；月活超 7 亿需另行授权 | 月活超 1 亿或月收入超 2,000 万美元时展示 Kimi K2 |
三种许可宽松的地方一样，真正要谈的差别都压在最后一行。
3.5 商品文案生成场景的选型表填写示例
能不能商用这一栏，结论是能，但要看条件。平台给商家提供文案生成，属于经营活动，用的权重许可必须允许商用。这一步把「仅研究用途」那一类型号直接划掉。
能不能改这一栏，结论是要。运营的分类目、抓卖点、控违禁词这几件事，光靠提示词约束不住，后面很可能要微调。不许改模型本身的许可，这一条就过不去。
能不能再分发这一栏，结论是要看交付形态。如果这套生成能力做成一个开放接口给商家直接调，模型或衍生版本就交到了第三方手里，再分发这一条要成立；如果只在本平台内部跑，商家看到的只是结果，这一条的压力就小很多。
附加条件这一栏，结论是要过品牌和法务。展示一段英文标识、衍生模型名字加前缀、达到某个用户规模要另行申请，这三条里任何一条落到平台上，都不是产品经理一个人能定的。
这件事最后的处理分两半。对外服务换成 Qwen3.6-35B-A3B，它走 Apache-2.0，能商用也能改，界面不用挂别人的标识；原来那个能力更强的型号留在内部，只用来生成初稿，不进对外链路。按三档松紧来看，内部用这一档，署名和命名那几条本来就用不上。
换个交付形态，许可这四行的结论就变了
- 能商用可以
- 能改可以
- 能再分发可以
- 附加条件保留版权声明和许可副本
- 底部结论可以进方案
四行全过，内部用这一档最松。
- 前三行跟上面一样
- 附加条件界面展示 Built with Llama；衍生模型名以 Llama 开头；月活超 7 亿需另行授权
- 底部结论可以进方案，但要先过品牌和法务
卡在界面标识、衍生模型命名和 7 亿月活这三条上。
- 能商用不可以
- 能改不适用
- 能再分发不适用
- 附加条件不适用
- 底部结论出局
第一行直接挡住，效果再好也进不了对外服务。
- 前面三行还是「可以」
- 第三行下面多出来一行模型或衍生版本交到第三方手上，分发时要附一份许可副本，这条要写进交付清单
- 这件事最后定下来的做法对外服务换成 Qwen3.6-35B-A3B 走 Apache-2.0；能力更强的那个型号只留在内部生成初稿，不进对外链路
交付形态一换，分发那一条就生效了。
能不能用看前三行，好不好用看附加条件那一行。
3.6 闭源模型：审核对象是服务条款
闭源模型没有许可文件可看，因为它不给你权重，你用的是厂商的服务。要看的是服务条款和使用政策，重点有四处。
数据怎么用。厂商会不会拿你的输入和输出去改进模型，能不能关闭，关闭之后是不是还能保证数据不出它的系统。这一条直接决定你的资料能不能送出去。
留多久。请求和返回在对方系统里存多长时间，能不能要求提前删除，能不能导出审计记录。
能不能拿输出去训练自己的模型。有些条款明确禁止用它的输出训练与它竞争的模型，微调或者蒸馏都在里面。
在哪些地区能用。同一个接口，不同地区的服务范围、计费、数据落地地点都不一样，涉及个人信息时要按地区分别确认。
3.7 三种使用场景的许可宽严：内部使用、对外服务、开放接口
同一份许可，放在不同的产品形态里，压力完全不同。
内部系统最松。只给本单位员工用、不对外提供服务、不把模型交给第三方，署名和规模门槛这两条基本用不上。
对外服务紧一档。界面要对用户展示，署名要求就落到产品经理头上；用户规模一旦做大，还可能踩到门槛线。
开放接口最紧。你把模型或衍生版本交给第三方，分发、署名、命名这几条全都要满足，还要在交付物里附上许可副本。
出口到境外又是另一层。有些许可对使用地区有限制，涉及个人信息出境还要走单独的合规评估，这一条要在选型早期就拉法务进来，不要等到方案定了再补。
用户规模跨过门槛线，要多做哪些动作
月活 100 万 · Llama 4 社区许可
- 门槛线7 亿月活
- 判定不受门槛条款影响
- 界面标识那一条不管规模多大都要展示 Built with Llama
规模不构成门槛，标识那条照旧要落。
月活 8 亿 · Llama 4 社区许可
- 判定已跨过 7 亿月活，需要先向 Meta 单独申请授权
- 要准备的三步整理用户规模口径、联系厂商走授权流程、授权拿到之前不对外发布新版本
跨线之后的动作要提前排进计划。
月活 8 亿 · 换成 Kimi 改版 MIT
- 门槛线1 亿月活或者 2,000 万美元月收入，两条线碰到一条就要在界面上展示 Kimi K2
- 判定早就跨过去了
- 三档使用场景的宽严内部系统最松，署名和规模门槛这两条基本用不上；对外服务紧一档，署名落到产品经理头上；开放接口最紧，分发、署名、命名全要满足
同一条规模，换一份许可换一套动作。
拖回月活 5,000 万
- 判定恢复「不受门槛条款影响」
- 那行界面标识还是留在设计稿里，改版时别顺手删掉
门槛是能不能过线的问题，标识是长期要求。
规模门槛要写进长期维护清单。
3.8 许可文件到手，先分清原文和转述
- 我正在看的这份文件，是许可本身，还是别人转述的结论？
- 这个模型是对外提供服务，还是只在单位内部用？这决定了署名和规模那几条要不要当真。
- 后面会不会微调、会不会把模型或衍生版本交给第三方？这两件事决定「能不能改」「能不能再分发」要不要查。
- 落在界面、文档、合同上的署名要求，谁负责落地？品牌和法务看过没有？
- 服务的用户规模，未来一年大概到多少？会不会碰到门槛线？
3.9 「权重能下载」和「随便用」之间
最容易踩的一种，是把「权重能下载」当成「随便用」。能下载说的是技术上看得到，能不能用、怎么用由许可决定，两件事没有关系。
稍微隐蔽一点的，是只看许可名不看正文。Llama 4 和 Kimi 的许可名听起来都宽松，附加条件一个在命名和展示上，一个在用户规模和收入上，不看正文判断不出来。
出在流程安排上的，是把许可这件事留到最后做。它跟部署方式、可用地域是一组约束，应该在拉候选清单的时候就一起筛，放到上线前再查，返工的代价是三周的测试白跑。
3.10 合规只是底线，适用性是另一条线
许可这一块走完，你应该能说清一条许可里要确认的四件事、三种常见许可各自卡在哪一行，也能说清闭源那一边该向对方问哪四个问题。走到这里，候选清单上剩下的型号多半都是能用、也够用的。许可只回答能不能用，回答不了该不该用。 手上有三四个合法、也够用的候选之后，下一个问题是怎么把它们收到一两个。往下就是这件事：硬条件、榜单、自家的题、成本，四关一关一关过。
4. 从十个候选到最终方案
4.1 从十个候选到一份可交付的选型方案
某财险公司的理赔条款咨询要换一套答法。客服中心有 120 名坐席，柜面铺在 300 多个网点，每天受理的理赔咨询大约 4,000 次，客服、线上、柜面三个渠道答的口径经常对不上，一个月里因为口径不一致被投诉到监管的有 12 起。公司想把《保险条款》300 多份、《理赔作业手册》一份两百来页、监管答复口径 80 多条装进一套问答系统，对外公布一个统一答法。
合规那边压着三条硬要求。结论必须引到条款原文，不能只丢一句「能赔」或「不能赔」；拒赔这类结论要由理赔员复核（Human-in-the-loop），不能直接回给客户；客户保单和健康告知不能出院区。
产品经理手上的候选清单有十个型号：GPT-5.6、Claude 5、Gemini 3.1、DeepSeek-V4-Pro、Qwen3.8-Max、Kimi K3、Qwen3.6-35B-A3B、GLM-5.2、Llama 4 Scout、MiniCPM-V 4.6。方案只能交一个，接下来要做的是减法和分档。
4.2 第一轮筛选：硬条件先行，十个候选剩五个
硬条件的特点是答案只有两个：满足，或者不满足。不满足的直接出局，不看它别的地方多强。
第一条硬条件是数据不能出院区。对应的模型卡栏位是部署方式和可用地域。三个海外闭源型号只能走厂商的公有云接口，保单和健康告知要送出境，这一条过不去，三个一起出局。
第二条硬条件是理赔材料里有大量照片。客户上传的体检报告、出院小结、发票大多是拍的照片，系统要能读进去。清单里有两个型号的模型卡上写的是纯文本输入，这两个出局。
两条过完，十个变成五个：Qwen3.8-Max、Kimi K3、GLM-5.2、Llama 4 Scout、MiniCPM-V 4.6。
4.3 第二轮筛选：用榜单缩小范围
剩下的五个型号，用榜单再筛一次。这一步要翻的是跟这件活对得上的那几类分项：中文长文本理解、条款引用、多步判断；总榜名次在这一关不参与。三个分项上都在前列的留下，有两项排到后面的先放着。
筛完剩三个：Qwen3.8-Max、Kimi K3、GLM-5.2。Llama 4 Scout 和 MiniCPM-V 4.6 也还能用，但中文长条款这一类要靠调提示词硬拉，成本不划算。顺带还发现一件事，Llama 4 Scout 的社区许可要求在对外页面上展示一段英文标识，品牌那边本来就有意见，这一条先记进备注。
榜单只做到这一步就够了。它能告诉你谁大概更强，不能告诉你谁在这 4,000 次咨询里答得准。接下来要看的是自己的题。
十张型号卡，一关一关往下刷
- 十张型号卡每张带「部署」「模态」「许可」三个短标签
- 第一关的判据方案交出去之前先看两条合规线：保单和健康告知不能出院区；理赔材料里的照片要读得进去
- 这一关要翻的分项中文长文本理解、条款引用、多步判断
总榜名次在这一关不参与，先看硬条件。
- 出局的三个三张只能走厂商公有云接口的型号
- 砍掉的理由材料要出境，不合规
- 剩下七张
合规这条线在能力之前，先砍。
- 刚变灰的那三张重新亮起
- 补一句提醒合规放开了出境，但脱敏规则、留存策略、地区节点这三件事要重新过一遍，不能因为这一步放开就跳过
- 剩下十张
口径放开不等于这三件事可以跳过。
- 出局的两个DeepSeek-V4-Pro 和 Qwen3.6-35B-A3B
- 砍掉的理由模型卡上写的是纯文本输入，读不了体检报告照片
- 剩下八张
模态这一栏对不上，能力再强也接不进这条链路。
- 先放着的两个Llama 4 Scout 和 MiniCPM-V 4.6
- 理由中文长条款场景的榜单排位靠后，靠调提示词未必补得回来
- 顺手记进备注的一条Llama 4 Scout 的社区许可要求在对外页面上展示一段英文标识，品牌那边本来就有意见
这一关看的是分项，不看总榜。
- 剩下三个Qwen3.8-Max、Kimi K3、GLM-5.2
从十个收到三个，每一步都留了理由。
每砍掉一个，都要说得出砍的是哪一条标准。
4.4 第三轮筛选：用自建题集实测
评测题从哪来：从客服系统里调出过去半年的真实咨询记录，按四类分层抽 200 条。四类是查条款号、问材料清单、多步判断、资料里没有的情况。每一类都要有，简单的和难的都占一定比例，参考答案由理赔部三位资深理赔员交叉标注。
四类的过线标准不一样。查条款号这一类，条款号对上、结论跟条款一致就算对；问材料清单这一类，少一项就算错；多步判断这一类，处理顺序错了一步就算错；资料里没有这一类，它该回答「现有资料里没有相关规定，建议转理赔员」，硬编一个答案算错。
三个型号在这四类上的得分不一样，合起来看是这样一个分布。
| 型号 | 查条款号 | 问材料清单 | 多步判断 | 资料里没有 | 及格情况 |
|---|---|---|---|---|---|
| Qwen3.8-Max | 92 | 89 | 84 | 88 | 四类都过线 |
| Kimi K3 | 90 | 87 | 78 | 85 | 三类过线，多步判断低于 80 |
| GLM-5.2 | 86 | 84 | 74 | 83 | 三类过线，多步判断低于 80 |
总分看不出这件事，分项看就很清楚：多步判断这一类只有 Qwen3.8-Max 过线，另外三类三个型号都能应付。
4.5 第四轮筛选：成本核算
定档之前还有一笔账。能力是分数，成本是单价乘用量，两个要摆在同一张图上看。
一次问答的账可以粗略算一遍。简单的一问一答，输入大致 1,200 个词元、输出 300 个词元；多步判断那一类，输入 4,000 个、输出 1,200 个。按 Qwen3.8-Max 官网挂的价（输入每百万词元 12 元、输出每百万词元 36 元）算，简单问答一次约 0.025 元，多步判断一次约 0.09 元。
如果 4,000 次咨询全走这一个型号，一天约 365 元，一个月约 1.1 万元。这个数字不吓人，但它把两件事藏起来了：七成的问题本来不需要这么贵的一档；这一个型号的单价，在同类里也不是最低的。
4.6 单型号不够用时的两档配置
回到题型的分布上。简单查条款和问材料清单这两类占全部咨询的七成左右，多步判断占三成。前两类三个型号都能过线，后一类只有 Qwen3.8-Max 过线。分档的依据是分项分数，总分在这一步帮不上忙。
那么方案就清楚了：多步判断这一类固定交给 Qwen3.8-Max；其余三类交给单价更低的 GLM-5.2，它在这三类上的分数都过线。一个问题先进来，先判断它属于哪一类，再决定送哪一个型号，这个动作叫模型路由（Model Routing）。
分档之后，Qwen3.8-Max 只承接三成的问题，七成走便宜那一档，账面上的变化很明显。省下多少，把两档各自的单价和调用量填进选型表就能算出来。
分档带来的两个新问题也要一起写进方案。一个是分类本身可能分错：把一道多步判断题错分给便宜那一档，答案会明显变差。兜底办法是让负责分类的那一层拿不准时往贵的那一档送，宁可多付一点成本，不要漏掉该走的步骤。另一个是两档的答法要对齐：同一个问题分给两个型号，措辞和引用格式要一致，不然客户会发现同一个问题换个人问，答法变了。
多少问题交给便宜那一档，账差多少
- 两档的量便宜档 2,800 次／天，贵档 1,200 次／天
- 一天约 110 元
- 一个月约 3,300 元
- 兜底率100%，分类拿不准的都往贵档送
这是分档之后的基本盘。
- 便宜档3,600 次／天；贵档 400 次／天
- 一天约 76 元
- 兜底率降到 60%
- 提醒多步判断这一类有两成被分了下去，按自家题的历史分数，这两成的答对率会掉到 74 分，低于及格线
省下来的钱是从及格线里抠出来的。
- 一天约 165 元
- 兜底率100%
- 适用的时候上线头三个月的观察期，多出来的成本换稳定
贵档多接一点，账涨上去，出错的机会少一点。
- 单次省成本
- 代价一旦把多步判断分错，客户拿到的是一个引用齐全、结论错的答案，客服和理赔员都要跟着返工
- 这个案例的底数一天约 4,000 次咨询、五类问题、投保人 8 万人
兜底口径写错，账面上省的那点钱在返工里花回去。
先定每一类的及格线，再定比例。
4.7 换模型或换版本后必须重新评测
方案定下来不等于就结束了。模型是会被换掉的，换的时候有三种情形：主动换（发现更便宜或更好的型号）、被动换（原来那个型号下线或者涨价）、版本迭代（同一个接口名背后换了新一代）。
三种情形都指向同一件动作：把自家的 200 条题重跑一遍，重点看四类分项有没有掉。掉分的处理办法也分两种：整体掉，说明这一档要换；某一类掉，说明这一类要单独调整路由，把这类问题的兜底比例调高。
重跑的触发条件要写进方案，别靠人记。三个触发点最常见：版本号变了、价格表调了、业务口径改了。业务口径这一条对保险这类场景尤其要紧，条款一改版，参考答案本身就要重标。
4.8 分档依据：金融看引用，制造看推断
制造行业的设备故障初判，分档依据和上面这个案例不一样。车间里最常见的是「E07 报警是什么原因」这类问题，答案在报警代码表里，一问一答，占九成以上；剩下不到一成是需要把几个现象串起来推断的复杂故障。
前一类交给本机跑的小模型，查表就答，延迟低，也不用把图送到外面；后一类交给云端的能力更强的一档，顺手把图纸一起读进去。两档的分界线画在「要不要跨资料推断」上，不画在「问题长短」上。
同一套动作，在金融里分界线画在「要不要引用条款原文」，在医疗里画在「结论要不要医生签字」，在政务里画在「答的是哪一版政策」。分档的依据跟着行业的那条业务线走。
4.9 提交评审前，自己先过一遍
- 硬条件是哪几条？每条对应模型卡上的哪一栏？
- 榜单我用的是哪几个分项？这几个分项跟这件活对得上吗？
- 200 条题按哪几类分？每一类的过线标准写下来了吗？
- 分项分数里，哪一类只有少数型号过线？那一类是不是要单独定档？
- 两个档的单价、各档的调用量、一个月合计，算出来是多少？
- 分类拿不准的时候往哪一档送？谁负责在下一次换代之后重跑？
4.10 把综合分和价格摆前面，是走偏的起点
综合分是平均值，把四类题揉在一起，看不出多步判断这一类只有少数型号能过；价格低的那一档，多半也扛不住多步判断。分档的依据在分项上。
另一处出在合规放开之后：硬条件一放开就不回头。合规放开了数据出境，不等于脱敏、留存、地区节点这几件事可以跳过；它们要重过一遍，只是不用再把候选砍掉一半。
还有一处落在文档上：分档方案只写在 PPT 里。哪一类走哪一档、拿不准时往哪送、换代之后谁重跑，这三件事要落成文字放进方案，不然上线之后没人执行，分档会慢慢退化成一个型号扛全部。
4.11 保险理赔这个场景最后定下来的方案
这家财险公司最后交出去的方案是这样的：十个候选收到两个档位，多步判断那一类走 Qwen3.8-Max，查条款号和问材料清单这些走 GLM-5.2；拒赔结论由理赔员复核之后才回复；每次问答留下命中的条款编号、生成的答案和复核人。两档的答法用同一套模板对齐，免得客户换个渠道问，措辞变了。
这四关走完，你应该能带着一张十个型号的清单，交出一份能落地、也能解释给评审听的方案。方案里还剩一个空格没填：这套东西跑在哪里，成本具体花在哪。算这笔账之前先看一条边界，哪些场合不该把这类判断交给模型。
5. 不能把判断交给大模型的场合
5.1 能力范围与责任范围不重合
某三甲医院的门诊想让医生少花点时间写病历。一个上午看四十多个号，医生写病历摘要、整理检查结果、把复诊要点写清楚，加起来要占掉不少时间。门诊部想上一套助手：医生和患者对话的时候录下来，助手自动生成结构化摘要，再把要点归到现病史、既往史、检查结果几栏里。
讨论到第二步的时候停了。有人提议再往前一步，让助手顺带给一个诊断方向，医生确认一下就行。医务处不同意，理由很直接：诊断是医生的法定职责，助手给出方向，医生照着点一下，责任算谁的说不清。助手可以做的是把信息整理好、把该看的检查结果摆到医生面前、把常见情况列出来供参考，最后那一下判断必须是医生自己做、自己签字。
同一套模型，放在写摘要这件事上没问题，放到诊断上就不行。这一节讲的就是这条线画在哪里。
5.2 三类场合：模型只承担前半段
判断一个场合能不能上模型，先看它有没有碰到这三类条件。
第一类，错了代价高。人身上、赔付上、法律责任上的错，一旦发生不容易补救。开药、定损、拒赔、审批额度都在这一类。
第二类，必须能追到人。出了问题要能说清是谁决定的、依据是什么。凡是结论要签字、要盖章、要对外公布的场合，都要求有一条能追责的链路。
第三类，数据不能出域。法规或者合同已经写死数据只能在某个范围内流转，比如患者的诊疗信息、客户的保单和健康告知、图纸和工艺参数。
碰到这三类，模型照样能上，前提是先把条件改掉。常见的三种改法：把结论的最后一公里交给人，在流程上加一个确认点；把每一次判断的依据和操作人记下来，做到可追；把模型放到数据不出域的那个环境里跑。改完条件之后，模型仍然可以承担前面那一大段整理、检索、草拟的活。
三条要赶在需求评审之前过，不是赶在上线之前。数据能不能出域、结论要不要人签字，这两条一动，前面选的型号和部署方式可能都要重来；等方案定了才发现数据出不了内网，返工的面积远不止一句话。
同一个场景，三道闸门各碰几条
先自己判一遍，再点开下面的判定
眼前这五个场景和三道闸门
- 场景一整理病历摘要
- 场景二给出诊断方向
- 场景三生成对外病情说明
- 场景四自动核保拒赔
- 场景五整理车间点检记录
- 三道闸门错了代价高不高、必须能追到人、数据不能出域，各分「没碰到」和「碰到了」两档
- 四档结论可以全自动、加人工确认点、换到隔离环境、不建议上
先自己判每个场景碰到哪几条闸门，再看下面那排结论。
看判定
- 整理病历摘要三条全碰，结论「换到隔离环境，并在提交前加人工确认点」；摘要是给医生看的草稿，不直接进病历，风险落在能接受的范围内
- 给出诊断方向三条全碰，结论「不建议上」；结论本身要担责，助手可以列常见情况供参考，不给倾向性判断
- 生成对外病情说明结论「加人工确认点」；内容对外，措辞出错会直接到患者和家属手里
- 自动核保拒赔结论「加人工确认点」；拒赔这类结论必须由理赔员复核，系统只出建议和条款依据
- 整理车间点检记录碰到的是「代价高」和「数据不能出域」两条，结论「换到隔离环境」；记录错了影响不大，也不用对外签字
碰了几条决定加多少手续，碰到哪一条决定能不能上。
三道里碰了几条，决定要加多少道手续。
5.3 五个行业各自的合规红线
同一个场合，在不同的行业里，那条线的位置不一样。五个常用行业，各自最该盯的一条是这样。
| 行业 | 这条线划在哪 | 越线的后果 | 越线之前要补什么 |
|---|---|---|---|
| 金融 | 涉及赔付结论和合规的那一步 | 纠纷、监管处罚 | 结论引原文，拒赔、放款这类动作人工复核 |
| 制造 | 图纸和工艺参数能不能出厂区 | 核心资产外流 | 本机或厂内私有化部署，资料不出网 |
| 医疗 | 诊断和治疗方案由谁定 | 医疗责任说不清 | 结论由医生签字，助手只做整理和参考 |
| 政务 | 政策口径和时效对不对 | 企业群众按错的口径办事 | 按改版日期分版本，答不出来就转人工 |
| 零售电商 | 对外承诺和价格能不能错 | 消费者投诉、平台处罚 | 价格、承诺、活动规则单独校验，不交给模型自拟 |
这条线的位置由「答错之后谁来兜」决定，跟模型答得准不准没有直接关系。能兜住的场合，线可以画得松；兜不住的场合，线要往前挪。
5.4 门诊病历摘要场景中模型可承接的环节
按前面三条对一遍。错了代价高，碰到了，写错摘要会误导医生；必须能追到人，碰到了，病历是医疗文书；数据不能出域，碰到了，诊疗信息属于最敏感的一类。
三条都碰到，做法就定下来了。助手跑在医院自己的环境里，数据不出院区；生成的是给医生看的草稿，进病历前由医生确认；每一次生成记下时间、操作人和用到的资料，出了问题能回查；诊断方向这一类不给倾向性表述，改成把相关的检查结果和既往史按时间顺序摆出来。
改动之后，这件事的评价指标也跟着换。原来想的是「助手替医生省了多少时间」，现在要一起看「医生在草稿上改了多少」和「有多少草稿被直接退回重写」。第一版上线时改动的比例偏高很正常，这一栏数字要按周看，不要按天。
门诊这套助手最后定的是 Kimi K3，跑在院内机房，数据不出院区。生成的是草稿，进病历前由医生确认并签字；诊断方向这个功能从需求里删掉了，改成把检查结果和既往史按时间顺序摆出来。上线头一个月，医生在草稿上的改动比例偏高，第三个月降到三成上下，这个数字每周看一次。
5.5 同一条边界在不同行业中的位置差异
「建议」这两个字，在这五个行业里的处理方式完全不同。
在医疗里，助手不给倾向性建议，只呈现事实和选项，判断由医生做。在金融里，助手可以给出建议，但涉及拒赔、放款这类结论时要附上条款依据，由人复核。在政务里，助手可以给建议，前提是这条建议有对应的政策文件，且标出是哪一版。在制造里，助手可以给排查顺序，但改设备参数这类动作要交给操作工。在零售电商里，助手可以给话术建议，但价格、优惠、承诺这几个字段必须从系统里取，不允许它自己写。
同一个词，位置差得很远。判断的时候不用去记哪个行业能不能用，回到「答错之后谁来兜」这一问就够了。
同一条边界，五个行业停在不同位置
每一条先自己挑一档，再点开下面的判定
医疗
- 四档刻度只呈现事实、可以给建议、给建议并附依据、可以自动执行
- 这个行业停的位置「只呈现事实」
- 具体做法把检查结果和既往史按时间摆出来，不给倾向性表述；诊断由医生写下并签字
金融
- 这个行业停的位置「给建议并附依据」
- 具体做法可以给建议，拒赔、放款这类结论要附条款依据，并交人复核
零售电商
- 这个行业停的位置「给建议并附依据」
- 具体做法话术可以给建议；价格、优惠、承诺三个字段必须从系统里取，不允许模型自拟
制造
- 这个行业停的位置「可以给建议」
- 具体做法可以给排查顺序；改设备参数这类写操作要交回给操作工
政务
- 这个行业停的位置「给建议并附依据」
- 具体做法每条建议要有对应的政策文件，并标出是哪一版；答不出来转人工
- 那条线人工确认线：结论的最后一公里必须留给人
看判定
- 医疗停在「只呈现事实」：结论由医生写，助手只把材料摆出来
- 往右挪一格就越过了人工确认线，这一档在医疗场景不成立。
- 金融停在「给建议并附依据」：结论要担责，就得附条款
- 建议可以给，结论要有人接。
- 零售电商停在「给建议并附依据」：话术可以给，价格不能自拟
- 对外承诺的字段归系统，不归模型。
- 制造停在「可以给建议」：排查顺序能给，写操作交回去
- 给判断可以，动手要留给人。
- 政务停在「给建议并附依据」：建议要能指到政策原文
- 判断时不用去记哪个行业能不能用，回到「答错之后谁来兜」就够了。
判断时不用去记哪个行业能不能用。
5.6 先问责任，再判边界
- 这件事错了，代价落在谁身上？有没有不可逆的部分？
- 出了问题要能追到谁？现有流程里有没有签字或确认的环节，助手接进去之后这个环节还在不在？
- 数据按法规或合同只能留在哪里？模型跑在什么环境里才满足这一条？
- 这个动作是给人当草稿，还是直接对外？对外的部分由谁最后看一眼？
- 涉及赔付结论、涉及人、涉及对外承诺的字段，是从系统里取的，还是模型自己写的？
5.7 「答得准」不等于「能交给它」
有一种错，出在判断对象上：把「模型答得准」当成「这件事能交给它」。答得准是能力问题，能不能交给它担责是另一件事，两件事要分开判断。
另一种错出在确认环节：把人工确认做成一个走过场的按钮。确认界面只给一个「是 / 否」，人没法判断，只能闭眼点。确认点上要把依据、原文、风险提示一起摆出来，人才真的在确认。
还有一种错出在改法上：只改一处就以为解决了。数据不能出域和必须能追到人往往是同时成立的，换到隔离环境解决了前一条，留痕和确认点还漏着，等于没改。
5.8 能力边界确定后的后续工作
边界这一块走完，你应该能拿到一个场景就判断出它碰到哪几条、要补哪几种做法，也能说清五个行业各自那条线画在哪里。候选清单到这一步已经收口：能用、够用、也符合规矩的那一两个型号定了下来。还有最后一个问题没有回答：如果现成的型号就是差一点，自己训一个值不值。这是这份材料的最后一块。
6. 自己训一个模型的判断依据
6.1 模型准确率达标但口径不一致
理赔口径这件事，比条款问答更难。同一类案件，不同的理赔员裁量不完全一样：伤情接近的两个案子，一个按七级赔、一个按八级赔；材料差一份，有的理赔员要求补，有的先受理。公司想把这套裁量口径统一起来，让系统在给出结论之前，先按内部口径对齐一遍。
这件事跟前面那个条款问答不一样。条款问答有原文可依，答案对不对好判断；裁量口径不成文，散在老理赔员的经验里，也散在过去三年的结案记录里。产品经理把这块需求拿回来之后，第一个问题排在选模型之前：这件事该不该自己做。
自己训一个（训练）、买一个现成的、还是先用现成的加内部资料顶上，三条路各有各的代价，选错方向的损失比选错模型大得多。
6.2 市场上现有的四条技术路线
市面上能拿到的东西，比两年前多了一档。按拿到手的形态，可以分成四条路。
第一条，直接用现成的通用型号，配上自家的提示词和资料。改起来最快，缺点是它不会按你们内部不成文的习惯说话，只能靠资料和提示词约束。
第二条，用厂商提供的行业模型。不少厂商在医疗、金融、法律这些方向发布了专门的型号，训练语料里带了这个行业的公开资料和专业表达。拿来就能用，省掉了自己攒语料这一步，代价是它的口径是行业通用的，未必是你们这一家的。
第三条，找厂商或服务商做定制交付。你把标注好的样本交给对方，对方在你的要求下训一版，交付权重或者一套私有化环境。适合数据出不了门、又没有算法团队的单位。
第四条，自己攒数据、自己训、自己部署、自己维护。控制力最强，代价也最大。
这四条路按「你能握住多少」排，跟强弱没关系。每往前一条，你的控制力增加一档，同时你揽到身上的责任也增加一档。
四条路不必一次选到底。常见走法先用第一条跑出一个能用的版本，把业务方真正在意的场景摸清，再决定要不要往上走。往上走之前先把已有的资料和样本攒齐，换路的时候少走一遍回头路。
四个条件换一换，该走的路跟着换
四个条件都不成立
- 自家口径不成文没打开
- 数据出不了内网没打开
- 单位有算法人力没打开
- 愿意长期投维护没打开
- 该走的路第一条，直接用现成的通用型号加提示词和资料
- 补一句口径不成文这件事，先用资料加提示词试一版，跑不出效果再往上走
最省事的一条，先跑起来看效果。
打开「自家口径不成文」
- 该走的路换成第二条，先用厂商的行业模型试
- 补一句行业模型懂这个领域的说法，但不懂你们这一家的习惯，试完还是对不上，再往上走
行业通用口径解决不了这家单位的习惯。
再打开「数据出不了内网」
- 第二条变灰，行业模型这条路断掉
- 该走的路第三条，找厂商定制交付
- 补一句样本交给对方之前要脱敏，交付形式写清是给权重还是给一套私有环境
数据出不了门，只剩定制这一条。
再打开「单位有算法人力」和「愿意长期投维护」
- 第四条自己训亮起并标成建议
- 第三条退成备选
- 补一句有人力也有长期投入的意愿，自己训才划得来；两样缺一样，先把责任留在外面
能自己训的门槛在人和长期投入，不在技术。
关掉「愿意长期投维护」
- 第四条退成暂不考虑
- 补一句训完只是开始，后面每年都要有人跟着口径改，这一条不成立就先别揽
- 这个案例自己的选择数据出不了内网，第二条出局；单位没有算法人力，第四条也走不通；剩下第三条，找厂商定制交付
四条路按条件筛，筛出来只剩一条。
定下来之后的两段交付方式
- 交付这一段厂商按历史结案样本训一版，部署在公司自己的环境里
- 维护这一段每季度看一次分歧率，口径有改动由理赔部出新的样本，厂商重训一版
- 责任分成两半内容和口径归理赔部，训练的技术动作归厂商，两边各出一份书面说明
责任写清楚，项目才养得住。
先看约束，再看能力。
6.3 自建训练前的四项成本核算
微调要准备的样本、标注人和训练预算，那是入门线。真到自己训这一步，账要算得比这三样更宽，一共四笔。
标注的成本，是四笔里最容易被低估的。按条数结一次账不算完，参考口径会变，变一次就要重新标一批；标注的人还得懂业务，不能随便找人代劳。
训练的成本，按平台实际消耗算，一次任务几小时到十几小时，这一笔相对明确。
部署的成本，是长期支出。训完要一直跑着，按月或按小时计费，规模越大越贵；如果把模型放在自己的机房里，换算成显卡、电力和运维人力，也不便宜。
维护的成本，是四笔里最没被算过的。业务口径一年改几次，改一次要重新整理样本、重新标注、重新训一版、重新评一遍；没有人长期盯着这件事，模型会随着口径变化慢慢失准，而且失准的过程没有报错，只有业务同事的口头反馈。
四笔账里，后两笔决定了这条路能不能长期走下去。只看前两笔就开工，是这一类项目最常见的失败方式。
6.4 理赔口径统一场景最终选择厂商定制交付
按四笔账和四条路对一遍。数据出不了内网，第二条路出局；单位没有算法人力，第四条路也走不通；剩下第三条，找厂商做定制交付。
交付方式谈成两段：厂商按公司提供的历史结案样本训一版，部署在公司自己的环境里；上线之后每季度看一次分歧率，口径有改动，由理赔部出新的样本，厂商重训一版。这样一来，维护的责任分成了两半：内容和口径由理赔部负责，训练的技术动作由厂商负责，两边各出一份书面说明。
如果换成另一家单位，条件不同，结论会完全不同。一家互联网保险平台自己有算法团队、数据也能在自有云上跑，它就可能选第四条，把口径完全握在自己手里；一家业务量很小、口径三年没变的公司，第一条路加一份内部资料就够了，不必碰训练。
两条路走到第十二个月，账和准确率各是什么样
- 第 1 个月第 3 个月 · 第 6 个月 · 第 12 个月
- 自己训这一格标注、训练、部署、维护四块投入
- 厂商定制交付这一格一笔交付费，加每季度的维护费
切到不同月份，看两条路的累计投入和准确率。
- 自己训这一行最高标注和训练占大头，部署占一小段
- 厂商这一行只有一笔交付费
- 两行的口径准确率暂无数据
自己训一次性砸进去最多。
- 自己训只新增一小段部署
- 厂商新增第一笔季度维护费
- 两行的准确率同时出现自己训略高一点，差距不大
厂商开始交季度维护费，两边第一次有数可看。
- 自己训新增一段「重新标注」口径改了一版
- 厂商新增第二笔季度维护费
- 两行累计投入的差距缩小准确率基本持平，厂商那一行甚至高一点点
- 这一句要记住第 6 个月口径改动，自己训这条线要重新走一遍标注和训练，厂商那条线只付一笔维护费
口径改一版，两条路各自要重做的事情不一样。
- 两行累计投入接近持平厂商那一行仍略低 · 准确率继续持平
- 这一句要记住一年看下来两条路的累计成本差不多；差别在于自己训把话事权和风险都留在内部，厂商那条线省了事，但每次改口径都要排队等对方
差别落在话事权和风险留在谁手里。
一次性便宜不一定是长期便宜。
6.5 买现成方案，先看合同上的几处
买现成不等于省事，省下来的技术工作会变成合同上的条款。四件事要在签字之前问清。
数据怎么处理。你交出去的样本，对方能不能留下来训练自己的模型，能不能只用于这一单，项目结束之后多久删除。这一条跟前面讲服务条款时问的是同一类问题，只是换成了定制场景。
交付的是什么。是给一份权重文件，还是给一套跑在对方云上的环境，还是交付到你的机房里。三种形态对应三种运维责任，交给你的东西越多，你后面要养的人越多。
口径改了怎么算。改口径是必然发生的，要提前写清是包含在合同期内的年度维护里，还是按次另外计费，响应要多久。
验收按什么标准。不要写「准确率达标」，要写成分项：哪几类问题、每类的及格线、用什么题测、谁来裁定。裁定的人最好是业务方，别交给供应商。
6.6 模型上线后的口径维护责任人
一次微调项目上线之后，有三件事会持续发生，得有明确的人接着。
口径变了。业务规则调整之后，训练样本里的老口径就变成了错的示范，模型会照旧口径答。这一件事的触发点不在技术侧，在业务侧，所以要写进业务方的例行工作。
分数掉了。模型没变，业务变了，评测集（Evaluation Set）上的分数会慢慢下滑。做法是每季度把它重跑一遍，掉了就查是数据的问题还是口径的问题。
版本要换。基础模型换代、部署环境升级、供应商续约，任何一件都会牵动已有版本。每次更换之前，把评测集跑一遍，对比前后分数，再决定换不换。
这三件事凑起来是一份很简单的东西：谁负责、多久看一次、看什么指标、出问题找谁。写下来贴在项目文档里，比写在方案里更有用。
6.7 先分清「不知道」还是「说法不对」
- 这件事的难点是「它不知道」，还是「它说法不对」？不知道靠资料补，说法不对才轮到训。
- 市场上有现成的行业模型吗？试过了没有，试到什么程度？
- 数据能出内网吗？出不去的话，第三条路和第四条路之间只剩一条。
- 单位有算法人力吗？没有的话，自己训这条路怎么走？
- 四笔账算过吗？尤其是部署和维护那两笔，谁算的、算到哪一年？
- 口径改了以后谁重训、多久重训一次，写进谁的工作里了？
- 验收按哪几类问题、哪几条及格线、谁裁定？
6.8 「训出来了」不是终点
最容易犯的一种，是把「训出来了」当成终点。训完只是拿到一个会按当下口径说话的模型，口径一改，它就不准了，而且不会报错。
另一种，只算训练那一笔。训练费用好估，部署和维护难估，而后者才是长期支出。拉到 12 个月看，两条路的账常常是对调的。
还有一种，把「自己训」当成技术能力的证明。自己训要把口径、数据、运维、升级都揽在自己单位身上，揽之前先问一遍这些活有没有人接。
6.9 模型训完之后交接的时机与对象
读完这一份，你应该能说清四条路各自适合什么条件、自己训之前要算哪四笔账、走买现成这条路要在合同里问清哪四件事，也能说清上线之后那三件持续发生的事由谁负责。到这一步，候选清单已经收成一个能落地、能解释、也能长期养住的方案。方案里还剩一笔没有摊开的账：这套东西跑在哪里，成本具体花在哪一段。下一份材料从部署形态讲起，再看一次一个任务的成本怎么拆开算。