1. 证券公司客户经理答一个咨询,需查五处资料
证券公司营业部的客户经理被客户拦住了。客户手里拿着一款理财产品的单子,问两件事:这款产品提前赎回怎么算,我这个风险等级能不能买。
这两句听着简单,答起来要翻五处:产品说明书里找赎回条款;客户的问卷档案里找风险测评结果;公司下发的合规口径里找这类产品对客户等级的要求;历史批复里看这款产品以前有没有被例外放行过;再确认这款现在还在不在售。五处翻完大约五六分钟,客户就站在柜台前等着。
这样的电话,他一天要接十几次。他心里清楚,这些材料系统里都有,只是散在五个地方。于是问题来了:能不能让 AI 直接答?
2. 只有大模型时,无法回答证券公司的咨询
2.1 大模型只能生成文字
把这个问题丢给一个大模型,它会答得很顺,但答不对。
大模型(LLM)做的事是理解你给它的文字,再生成一段回应。它读得懂「提前赎回怎么算」这句话,也知道这类条款一般怎么写。但它有几条硬限制:它看不到这家公司的产品说明书,调不出这个客户的风险测评;它的知识停在训练结束那天,上个月刚改的条款它不知道;它也没有手,点不开任何一个业务系统。
一句话:它只会把话说出来,不会替你把事办了。
2.2 大模型之外的一层:外壳工程
大模型外面要配一整套部件,这套部件的总称是外壳工程(Harness)。配上它之后,模型才看得见资料、动得了手、记得住上一轮说过什么。
智能体(Agent)= 大模型(LLM)+ 外壳工程(Harness)。 这句话是后面所有内容的框架。
外壳工程由八件东西配合着用。八件各管什么、缺了会出什么事,看这张表:
| 部件 | 它管什么 | 缺了会怎样 |
|---|---|---|
| 上下文(Context) | 这一轮模型实际能看到什么 | 看不到客户的风险等级,答得对不上人 |
| 记忆(Memory) | 跨轮次留下来的内容 | 客户下一句问「那它呢」,它不知道「它」指什么 |
| 提示词(Prompt) | 交给模型的那套规矩和任务说明 | 回答的口吻、格式、边界都不受控 |
| 技能(Skills) | 写下来、能反复用的一套做法 | 每来一次都要重新交代一遍怎么干 |
| 工具与协议(Tools & MCP) | 去碰外部系统的那只手 | 查不到在架状态,也提不了工单 |
| 知识库(Knowledge Base) | 需要现查的那批资料 | 条款改了它不知道,还按旧的答 |
| 编排(Orchestration) | 谁先谁后、失败了怎么办 | 多步任务跑不通,卡住也不会停 |
| 运行环境(Runtime) | 它在哪儿跑、能碰到什么 | 权限没有边界,出了事说不清 |
2.3 三种回答方式的差异:外壳工程的配置
同一个问题,用不同配法问出来,结果差得很远:
| 配法 | 能答上什么 | 答不了什么 |
|---|---|---|
| 只有一个大模型 | 泛泛讲赎回的一般规则 | 这家公司的条款、这个客户的等级 |
| 大模型 + 知识库 | 条款原文查得到,还能标出处 | 客户的风险测评调不出来,它不动业务系统 |
| 大模型 + 外壳工程八件 | 条款、客户等级、在架状态一次查齐 | 涉及例外放行这类判断,仍然要人来定 |
下面这张图把大模型和这八件摆在一起,看清楚谁在里、谁在外。
3. 智能体的逐轮运行
3.1 智能体单轮运行的三个步骤
智能体不是一次调用就完事。它做的事是一轮一轮往前推,每一轮三步:
**思考(Reasoning)**看手上的信息,判断下一步该做什么;**行动(Action)**去调一个工具,或者查一份资料;**观察(Observation)**拿到真实结果,看它对不对、够不够。三步走完,再进下一轮。
拿那通电话走一遍:第一轮,模型看到客户问提前赎回,判断该查条款,去查知识库;观察结果是赎回条款原文,但缺客户等级。第二轮,判断该查客户档案,去调风险测评工具;观察结果是这个客户属于稳健型。第三轮,判断该比对产品要求,把两边的条件放在一起比;观察结果是不匹配,这只产品要求进取型客户。三轮走完,可以给结论了。
要查几轮,是它在前一轮的结果上临时定的,不是事先排好的。这是它和工作流(Workflow)最本质的差别。
3.2 智能体运行循环的四种终止条件
停有四种情况:答案拿到了;同一类动作连着几次都没进展;碰到必须由人拍板的地方;到了事先定好的轮数或者费用上限。前两种是正常结束,第三种是设计好的交接,第四种是兜底。四种里少了任何一种,它都可能一直转下去。
3.3 智能体运行循环的成本
每转一轮,上一轮的思考和工具返回的结果都会留在上下文里,这一轮要带着它们一起发出去。轮数一多,上下文越来越长,费用跟着涨,早期那些没用的过程还会把重点冲淡。所以轮数不是越多越好,能把事办完就收。
一轮一轮转下去,带上去的内容和费用怎么涨
- 手上信息系统规则,加客户这一句「提前赎回怎么算,我这个等级能不能买」
- 这一轮的动作查知识库
- 拿回来的结果赎回条款原文,缺客户等级
- 这一轮带进窗口的输入约 1400 词元
第一轮窗口最短,只有规则和这一句提问。
- 带上去的内容第一轮的条款原文、第二轮的测评结果,以及两次判断过程
- 这一轮的动作把两边条件放在一起比
- 结果不匹配,这只产品要求进取型客户
- 累计输入约 6800 词元
前三轮加起来,输入比第一轮翻了四倍多。
- 累计输入约 3.1 万词元
- 单次费用按输入每百万词元 4 元算,约 0.12 元
- 一天按 800 通电话算约 99 元
- 混进来的内容中间几轮试查过的记录,跟这次咨询无关,仍然留在窗口里
轮数越多越贵,早期没用的过程还占着位置。
轮数不是越多越好,能把事办完就收。
4. 智能体的自主程度与权限范围
4.1 智能体自主程度的三个档位
同一件活,可以让它自己走的程度分三档:
| 档 | 它是怎么走的 | 适合什么活 |
|---|---|---|
| 每一步都等人点 | 每做一步都停下来等确认 | 动到钱、动到对外承诺、动到客户资料 |
| 关键节点停下来问 | 常规步骤自己走,碰到约定好的节点才问 | 客服答复、资料核对、内部流程发起 |
| 一路走完再交回 | 从头做到尾,只把结果交出来 | 查资料、做汇总、写草稿、跑检查 |
三档说的是同一件活可以选的三种做法。档位定得对不对,看一件事:这一步做错了,能不能撤回。
4.2 自主程度与权限范围是两个独立维度
自主程度说的是「允不允许它自己决定下一步」;权限说的是「它能不能碰这个东西」。两件事要分开设:可以给它一路走完的自主程度,同时只给它只读的权限;也可以让它在只读范围内每一步都等人点。
最危险的一种组合是「高度自主 + 读写权限」,也就是它既能自己决定要做这件事,又真的能改数据、能对外发送。这种组合只在后果可控、随时能撤的场景里用。
4.3 智能体自主程度的定档依据
先按后果定档,再按后果定期望:后果能撤回的活,档位放宽;后果不可逆的活,收一档,并且把确认点写进流程里。权限那一边同理,写权限收得比读权限紧,对外发送单独再收一道。
同一件活,三档各要人出手几次
每一条先自己挑一档,再点开下面的判定
读产品资料
- 这件活把这批客户的赎回条款答复出来
- 五个动作里的第一个读产品资料
读客户测评
- 五个动作里的第二个读客户测评
查在架状态
- 五个动作里的第三个查在架状态
- 停下来问的那一步查出来的结果先给客户经理看一眼
组织答复
- 五个动作里的第四个组织答复
- 后面还有一道发出去之前的那一次确认
发出答复
- 五个动作里的第五个发出答复
- 客户这边已经看到了
- 三档的代价每一步都等人点,出手 4 次约 6 分钟;只在两处停,出手 1 次约 2 分钟;一路走完再交回,出手 0 次约 40 秒
看判定
- 读产品资料停在「一路走完再交回」:读错了可以重读,出错能收回来
- 能撤回的动作不值得停下来等人。
- 读客户测评停在「一路走完再交回」:重读一遍就行
- 同上,读错了不影响任何东西。
- 查在架状态停在「关键节点停下来问」:它是答复的依据,客户经理要过目
- 不撤回也得让人看,因为后面全靠它。
- 组织答复停在「一路走完再交回」:答复组织错了可以直接改
- 改动成本低的动作交给它自己走。
- 发出答复停在「关键节点停下来问」:发出去撤不回来
- 撤不回来的地方才值得停下来等人。
撤不回来的地方才值得停下来等人。
5. 会话式问答、工作流、智能体三种形态的选择顺序
定自主程度之前,还有一个更靠前的问题:这活要不要做成智能体。同一件活有三种做法,做法选错了,后面配哪个模型、给多大权限、在哪留确认点,全都得推倒重来。
5.1 会话式问答、工作流、智能体的差别:下一步由谁定
| 对照项 | 会话式问答 | 工作流(Workflow) | 智能体(Agent) |
|---|---|---|---|
| 下一步谁定 | 没有下一步,一问一答 | 画流程图的时候由人定死 | 由模型看着上一步的结果临时定 |
| 一次任务里模型被叫几次 | 一次 | 画了几步就是几次 | 不固定,转几轮要看情况 |
| 同一个问题问两遍 | 答案大同小异 | 走的路径一模一样 | 可能走两条不同的路 |
| 出错了从哪查 | 看那一句答得对不对 | 看卡在哪一步 | 看它每一步想了什么 |
会话式问答是最短的一种。用户问一句,模型答一句,这件事就结束了。它没有循环,也用不上工具,顶多接一个知识库把资料挂上去。
工作流是把一条路径先画出来。谁在第一步、谁在第二步、上一步吐出来的东西怎么交给下一步,画图的时候就定下了。模型在里面只当一个处理节点:这一步让它分类,那一步让它抽字段,再下一步让它按模板写一段话。路径本身是死的,画了几步就走几步。
智能体把这层图省掉了。它手上有一个目标,下一步做什么由它自己看着办,做完一轮看结果,再决定下一轮。
5.2 判断形态的方法:先写一遍业务步骤
判断的办法很土:把这件事的步骤一条一条写下来。写到某一步写不下去了,那一步就是必须交给模型临时判断的地方。
写完大致落进三种情况。整套步骤都能写下来,走工作流最省也最稳。一步都写不出来,比如「把这几家供应商近半年的舆情过一遍」,那就得交给智能体。最常见的其实是第三种:主干写得出,中间夹着一两步写不死。这种情况主干走工作流,把那一两步包成一个智能体节点嵌进去,整件事仍然算工作流。
零售电商的售后工单分流就是主干清楚的那种活。工单进来先判类型,退货、换货、催发货、投诉各走各的处理流程,最后回一句话给客户。类型判断和回话这两步可以交给模型,中间的审批流转和系统操作按流程走死。这件事里模型出现好几次,但它仍然是工作流。
同一张售后工单,三种做法各走一遍
会话式问答
- 两个节点客户提问、模型作答
- 模型被叫1 次
- 这张工单客户收到货第三天,说包装破损,要求换货
两次问下来说法略有出入,出错先看那句话答得对不对。
工作流
- 六个节点判类型·模型、查订单·系统、生成处理建议·模型、组长审批·人工、改工单状态·系统、回复客户·模型
- 模型被叫3 次
两次跑下来路径一模一样,出错先看卡在哪个节点。
智能体
- 先「读取工单模型」,后面分出三条 · 查订单状态、查退换规则、查历史工单,走哪条由它当轮判断
- 汇合后生成回复·模型、回复客户·模型
- 模型被叫4 到 7 次,每次不一样
走哪条分支当轮才定,出错先看它每一步的判断记录。
步骤说得清、每次都一样的,写工作流;要按现场情况临场判断的,才交给它自己走。
6. 智能体技术的发展脉络:从符号规则到大模型驱动
要不要把步骤交给它自己判断,这个选择不是今天才有的。智能体这个词比大模型早出现几十年,中间换过好几代做法,每一代都在补上一代卡住的地方。
6.1 智能体技术的五个发展阶段
最早一代靠符号和规则。人把专家的判断写成一条条「如果这样,就那样」。规则覆盖到的地方它比人快,也不会累;没写进规则的情况,它一点办法没有。规则一多还会互相打架,加一条新的要回头检查跟前头几百条冲不冲突。
第二代是专家系统(Expert System),把知识单独存成一个库,再用一个推理机去查、去推。这一代卡在知识从哪来:专家的判断很多时候是手上的感觉,让他一条条讲清楚很难,把一家医院的诊疗经验整理成规则,几年的活。这件事后来被叫作知识获取瓶颈。
第三代换成让它自己试错,做对了给奖励,做错了扣分,这就是强化学习(Reinforcement Learning)。它在规则明确、能反复试的环境里很能打。搬到业务里就卡住了:真实的工单不会让你试错几百遍。
第四代是预训练(Pre-training)。把海量文本喂进去,让它先学会语言本身,连同语言里带的常识一起学。学完之后,一个模型能应付很多种任务,不用为每件事单独写规则。
第五代就是今天这种:模型还是那个预训练出来的模型,外面配上外壳工程,把资料、工具、记忆接上,让它能查、能动、能记。
旧做法的思路没有消失。今天工作流里那些「金额超过五万就走审批」的分支,用的还是第一代的写法,只是换了个地方放。
6.2 当前做智能体的两条技术路线
今天做智能体,主流是两条路线。
一条是把步骤先排好,模型只当其中一个处理节点。Coze、Dify、n8n 这些平台走的是这条。它的运行状态在画布上,谁走到哪一步、上一步吐出了什么,画布上看得见。同一个输入进来两次,走的路一模一样,出问题顺着节点往回查就行。
另一条是让模型自己决定下一步。Cursor、Codex 这类 AI 原生工具走的是这条。它的运行状态在模型的上下文里,不在一张图上,所以同一句话问两遍,它可能走两条不同的路。这条路应付没列过步骤的活更顺手,代价是过程不好复现。
| 对照项 | 人先排步骤 | 模型定步骤 |
|---|---|---|
| 步骤谁定 | 人在画布上定死 | 模型运行时临时定 |
| 运行状态存在哪 | 画布上,看得见 | 模型的上下文里 |
| 换一种流程怎么办 | 改图 | 改提示词,或者换一个技能 |
| 同一个输入进两次 | 路径一样 | 路径可能不同 |
| 出错查什么 | 查出在哪个节点 | 查它每一步想了什么 |
两条路线不是谁替掉谁。同一件活常常两条都能做,区别在你要的是「每次都一样」,还是「能随机应变」。
6.3 智能体的两种定位:工具与同事的差别
同一个智能体,摆在工作里的位置也不一样。
当工具用,它在人排好的流程里干一段活,人一直在场,它交出来的东西要先过人这一关。给客户回那句话的智能体就属于这一类:它把话和风险提示准备好,客户经理点过确认才发出去。
当同事用,它领一个目标,自己安排怎么干,人只在约定好的节点上看一眼。让它把一份行业调研整理出来,属于这一类。
两者的差别落在三件事上。任务边界谁定:当工具用,边界写在流程和需求文档里;当同事用,边界要它自己在目标下判断。人什么时候进场:当工具用,人几乎每一步都在;当同事用,人只在关键节点进场。权限给多大:当工具用,只给这一段活要的权限;当同事用,权限范围得覆盖它可能挑到的所有动作,这类给法风险高出一截。
7. 证券公司这个咨询场景最后定下的方案
前面讲的这些,落回那通咨询,是三个决定。
第一个决定是它要接哪几件。产品说明书、合规口径、历史批复这些要现查的,接知识库(Knowledge Base);客户的风险测评要现调,接工具与协议(Tools & MCP);「这款现在还能不能买」每天在变,靠查在架状态这一步解决。这三件缺一件,这活就答不齐。
第二个决定是做法。读资料、读测评、查在架状态、组织答复、发答复这几步写进流程;中间「这款现在还能不能买」「这个客户的等级够不够」两处,交给它看着当轮的资料判断。这样主干稳,临场判断的那两处也不用写成死规则。
第三个决定是能放手到哪一档。发出答复撤不回来,查在架状态只是看一眼,所以档位定在「关键节点停下来问」:查在架状态和发出答复两处停下来,客户经理点过再往下走,其余步骤自己跑完。
权限跟着这个档位收。产品说明书、合规口径、客户问卷一律只读;发出答复单独再收一道,客户经理确认之后才允许发。
按这个方案走下来,一次咨询大约 2 分钟,人工出手 1 次。原来翻完那五处要五六分钟,省下来的时间主要是来回找资料和对口径。
8. 不同行业的 AI 需求,判断标准不一样
同一个问题「这件事能不能做成智能体」,放到不同行业,答案和依据都不一样。差别来自行业最怕什么,跟技术关系不大。
券商给客户回一句话,说错了要担责、要挨罚。所以金融行业的每句结论都得追到依据,人工确认那一步省不掉。
制造厂最在意数据别流出去。图纸、工艺参数、良品率是核心资产,不少厂里规定不能出院区,模型只能在本地或者私有化环境里跑,能力弱一点也得认。
医疗的麻烦在责任。病历摘要、辅助判断这类活,结论要医生签字才生效。智能体能替医生省时间,替不了医生做决定。
政务最怕口径不统一。办事指南在不同区县有细微差别,答错会让人白跑一趟,所以得跟最新版本的指南对齐,答出来的内容还要让人查得到出处。
零售电商的规则改得勤。售后话术、退换规则、活动政策换得快,知识库的更新和下线要跟得上,不然它会拿去年的规则回答今天的客户。
行业不止这几个。判断的路子是一样的:先问这个行业最怕什么,再定这件事该不该做、能放手到哪一档。
9. 新手做 AI 应用最容易犯的三个错
真做起来之后,有三处特别容易错。
最常见的是效果不好先换模型。表现差的智能体,多数是资料没给对、工具没接好,跟模型强弱关系不大。先查知识库和工具,再考虑换模型。
另一个是把智能体当聊天机器人。两者的差别在能不能动手。只会陪聊的那个用不上外壳工程里的一大半东西,别为了「智能体」这个名字多花预算。
还有一种是把演示当成能上线。演示用的是准备好的数据、开好权限的账号、有人在旁边盯着的流程;上线要面对脏数据、没开的权限、半夜没人管。为了跑通临时给的管理员账号,跑通之后记得收回来,验收清单里留一条查这个。
10. AI 产品经理入门课后面要讲的内容
10.1 后面每一份材料在全景图上的位置
把前面讲的东西摞成一张图,是这样的:最底下是大模型,负责理解和生成;它上面是外壳工程,前面那八件东西都在这层;八件是主干,另外还有三块配着主干一起用,主代理与专家团管多个智能体怎么分工,人机分工管哪些环节要人点头,高质量数据集管喂进去的资料从哪来。数据与权限安全本来属于运行环境那一件,因为它牵扯的场面多,单独拎出来讲。
| 这块讲什么 | 它解决什么问题 |
|---|---|
| 大模型 | 它怎么训出来的、有哪些类型、怎么选、跑在哪、一次大概多少成本 |
| 上下文、记忆与提示词 | 它一次能看见多少、记得住什么、话该怎么说 |
| 技能(Skills) | 把一套已经跑通的做法存下来,反复用 |
| 工具调用与 MCP | 它怎么去动别的系统,接一次能不能到处用 |
| 知识库 | 资料怎么进去、怎么找回来,答不准时先怀疑哪一环 |
| 运行环境与隔离 | 它跑在本机、云上还是隔离环境里,跑坏了能不能退回来 |
| 主代理、专家与专家团 | 一件活该一个人干,还是几个人分开干 |
| 工作流编排 | 哪些步骤写死,哪些留给它自己判断 |
| 人机分工 | 哪些活全自动、哪些要人点头、写操作怎么不闯祸 |
| 高质量数据集 | 三类数据各干什么、什么算高质量、谁来标 |
| 数据与权限安全 | 权限别乱给、数据别漏、内容出事能查到人 |
| 内部协作分工、体验设计、PRD 与评审、测评、上线 | 从需求到上线,产品经理在这条链路上负责哪几块 |
10.2 判断清单:六个问题
这一份讲的东西,回到工位上能压成六个问题。
- 这件活的步骤能不能写下来?全是断点的,别急着上智能体。
- 它要动手吗?动的是只读的,还是要写数据、要对外发送的?
- 这一步做错了能不能撤回?不能撤回的,把确认点留在流程里。
- 它要用的资料在哪,拿得到吗?拿不到,先解决资料,别先挑模型。
- 你要的是工具还是同事?当同事用的,权限范围和验收标准都得跟着放大。
- 干完之后谁来验收?没有验收人的,先别上线。
六个问题里有一个答不上来,这件事还没到能开工的程度。
10.3 这一份学完,三个问题能自己答
一件事是分清需求缺什么。真正卡住的地方是大模型看不到你们的资料,还是它动不了你们的系统,这两件事的解法不一样。
二件事是说出一个智能体由哪两部分拼成,外壳工程里那八件各管什么,缺了哪一件会出什么现象。
这一份给出的是三个判断:这活该做成会话式问答、工作流还是智能体,能放手到哪一档,哪些动作必须留人点头。
下一份材料从大模型讲起,看它是怎么造出来的、能力从哪来、想改它一个说法要动哪一部分。这些结论决定了后面能搭出什么样的智能体,也决定了有些需求根本轮不到智能体上场。