首页
课程
术语
工具
更新
GitHub
首页
课程
术语
工具
更新
AI
264
大模型原理
24
模型训练与定制
23
模型选型与许可
7
模型接入与费用
13
提示词与提示词工程
14
上下文与记忆
13
智能体与经典范式
18
技能、工具与协议
17
知识库与检索
26
编排与协作
21
运行环境与部署
15
权限与安全
24
评测与观测
30
交互与输出形态
13
应用形态与平台
6
大模型原理
24
01
大模型
Large Language Model
大模型指的是参数以十亿计的语言模型。
02
词元
Token
词元是模型处理文字时的最小单位
03
多模态
Multimodal
多模态说的是模型能处理的输入类型不止一种。
04
视觉语言模型
VLM(Vision Language Model)
视觉语言模型是把看图这件事接进语言模型的那一类模型。
05
推理模型
Reasoning Model
推理模型是在给答案之前先自己在内部走一遍解题过程的模型。
06
稠密模型
Dense Model
稠密模型说的是模型的用法:每生成一个词元,整套参数都要过一遍。
07
混合专家
MoE
混合专家是一种模型架构
08
小语言模型
SLM
小语言模型指规模和范围都比大模型小一档的语言模型。
09
知识截止
Knowledge Cutoff
知识截止是模型这一版用来训练的数据里最新样本的时间点,业内也叫知识截止日期。
10
AI 幻觉
AI Hallucination
AI幻觉指的是模型生成了看起来合理、其实错误的内容。
11
缩放定律
Scaling Law
缩放定律是大模型训练里的一条经验规律
12
温度
Temperature
温度是调用模型时给的一个参数,管的是模型挑下一个词时有多随机。
13
核采样
Nucleus Sampling(top-p)
核采样是模型挑下一个词时的一种挑选办法。
14
Transformer 架构
Transformer
Transformer架构是一套网络结构,现在几乎所有大模型都用这一套结构。
15
注意力机制
Attention
注意力机制管的是「看谁」这件事
16
分词
Tokenization
分词是把文字切成词元的那一步。
17
嵌入
Embedding
嵌入是把文字变成一串数字的过程,业内也常叫向量化。
18
基座模型
Foundation Model
基座模型指用海量文本预训练过、具备理解和生成自然语言能力、还没针对具体业务改过的那一版模型
19
上下文学习
In-context Learning
上下文学习指的是
20
涌现能力
Emergent Abilities
涌现能力说的是这样一类现象:某些本事在小模型身上看不到,模型规模涨到某一档之后突然出现。
21
困惑度
Perplexity
困惑度是信息论里的一个指标
22
位置编码
Positional Encoding
位置编码是加在词元上的一层顺序信息。
23
键值缓存
KV Cache
键值缓存是模型生成答案时留下的一份中间结果
24
序列长度
Sequence Length
序列长度指的是这一次调用里实际送进模型的词元个数。
模型训练与定制
23
01
训练
Training
训练指的是让模型从数据里学本事的过程。
02
预训练
Pre-training
预训练是大模型训练的第一步:把海量文本一批批喂给模型,反复做同一道题——猜下一个词元是什么。
03
后训练
Post-training
后训练指的是预训练之后的那一整段训练。
04
监督微调
SFT(Supervised Fine-Tuning)
监督微调是后训练里最常用的一步:准备一批「问题+标准答案」的样本,让模型照着一遍遍学。
05
微调
Fine-tuning
微调是深度学习中迁移学习的一种方法
06
全量微调
Full Fine-tuning
全量微调指的是训练时把模型里所有参数都动一遍。
07
参数高效微调
PEFT(Parameter-Efficient Fine-Tuning)
参数高效微调指的是只训练一小部分参数的微调。
08
LoRA
LoRA
LoRA是一种低秩适配的做法
09
蒸馏
Distillation
蒸馏是一种模型训练技术
10
量化
Quantization
量化是把模型里的数从高精度换成低精度的过程。
11
精度
Precision
精度指的是模型里的每个数用多少位来存,业内按两族分:浮点家族和整数家族。
12
强化学习
Reinforcement Learning
强化学习是和监督学习、无监督学习并列的第三种基本方法:在环境里行动、争取最大的预期收益。
13
奖励模型
Reward Model
奖励模型是一个专门给回答打分的模型。
14
人类反馈强化学习
RLHF
人类反馈强化学习是把人的偏好变成训练信号的做法,标准走法分三步。
15
AI 反馈强化学习
RLAIF(Reinforcement Learning from AI Feedback)
AI反馈强化学习把偏好判断这件事从人换成一个模型,其余流程照旧。
16
直接偏好优化
DPO(Direct Preference Optimization)
直接偏好优化是偏好训练里的一条近路。
17
强化微调
RFT(Reinforcement Fine-Tuning)
强化微调是拿一批自带标准答案的题做强化学习
18
过程监督
Process Supervision
打分方式上有个分岔:只看最后答案对不对,还是把中间每一步都标出来。
19
奖励作弊
Reward Hacking
奖励作弊指的是模型为了拿到更高的分数,去钻研打分标准的漏洞,而不是真的把任务做好。
20
对齐
Alignment
对齐说的是让模型的行为跟人的意图、口径和边界保持一致。
21
高质量数据集
High-quality Dataset
「高质量」说的不是数据好看,而是这批数据在训练里真起作用、训出来的模型经得起验收。
22
合成数据
Synthetic Data
不是真实业务里发生过的,而是由程序或模型生成出来的——这类数据叫合成数据。
23
数据集划分
Train / Validation / Test Split
数据集划分指的是训练前把手上这批数据切成三份
模型选型与许可
7
01
开源模型与闭源模型
Open-weight / Closed Model
模型按「东西在谁手上」分成两类
02
模型卡
Model Card
模型卡是随模型一起发布的一份说明文档
03
榜单
Leaderboard
榜单是把一批模型放在同一套题上比出来、再按成绩排出名次的那张表。
04
基准测试
Benchmark
基准测试是一套固定的题目加一套固定的算分办法,用来给模型的能力打分,分数可以横向比。
05
许可证
License
许可证是权利方给的一份书面许可,写清你能拿被授权的东西做什么、必须做什么、不能做什么。
06
社区许可
Community License
社区许可是厂商给自家开放权重模型单独写的一份许可,不是标准开源许可证。
07
服务条款
Terms of Service
服务条款是服务方单方面拟好、你用之前必须点同意的那份契约。
模型接入与费用
13
01
模型提供方
Provider
模型提供方是把模型能力通过接口卖给你用的那一方:你把请求发过去,按约定付费。
02
服务基准地址
Base URL
服务基准地址是调用接口时地址里固定不变的那一段前缀。
03
API 密钥
API Key
API密钥是调用接口用的凭据。
04
OpenAI 兼容 API
OpenAI-Compatible API
OpenAI兼容API指的是别家把自己的接口做成跟OpenAI那一套一样
05
API 代理/中转站
API Proxy
API代理是夹在你和提供方之间的一层
06
LLM 网关
LLM Gateway
LLM网关是架在自己应用和各提供方之间的统一入口
07
模型路由
Model Routing
模型路由是给请求选模型的那套规则:一个问题进来,先判断属于哪一类,再决定交给哪个模型。
08
模型回退
Fallback
模型回退是主路走不通时自动换备用的机制
09
配额
Quota
配额是你在一个周期内被允许用掉的总量:按天或按月,按词元或者按请求次数算。
10
速率限制
Rate Limit
速率限制是服务方对单位时间内用量的限制
11
TTFT/TPS
TTFT / TPS
TTFT是从发出请求到第一个词元返回的时间
12
词元用量与成本
Token Usage & Cost
词元用量与成本说的是同一条账:一次调用用掉多少词元,就按单价折成多少钱。
13
提示词缓存
Prompt Caching
提示词缓存是服务方提供的一种省重复劳动的做法
提示词与提示词工程
14
01
提示词
Prompt
提示词是发给模型的那段输入,模型照着这段输入往下接。
02
系统提示词
System Prompt
系统提示词是产品方写好、随每次请求一起发过去的那段指令,位置在用户消息之前,单独占一栏。
03
提示词工程
Prompt Engineering
提示词工程是把要模型做的事写成提示词的一整套做法
04
指令遵循
Instruction Following
指令遵循说的是模型能不能把提示词里写明的条件逐条办到
05
零样本
Zero-shot
零样本指的是提示词里只写任务和材料、不给示例的做法。
06
少样本示例
Few-shot
少样本示例是在提示词里放几条已经配好答案的例子,让模型照着这个路子处理新的输入。
07
角色提示
Role Prompting
角色提示是在提示词里先给模型一个身份
08
思维链
Chain of Thought
思维链是让模型先把中间推理步骤写出来、再给结论的一种写法。
09
引导式思维链
Guided CoT
引导式思维链是在思维链的基础上
10
思维树
Tree of Thoughts
思维树是在推理过程中同时保留多条候选思路、边走边评估、走不通就退回去换一条的做法。
11
自洽性
Self-Consistency
自洽性是把同一个问题让模型多算几遍
12
提示词链
Prompt Chaining
提示词链是把一件事拆成几段提示词
13
程序辅助语言模型
PAL(Program-Aided Language Models)
程序辅助语言模型的做法是把一件事分成两半
14
元提示
Meta-prompting
元提示是把「怎么干」也交给模型的一种写法
上下文与记忆
13
01
上下文
Context
上下文指的是模型处理这一次请求时能看到的全部内容
02
上下文窗口
Context Window
上下文窗口是一次请求能装下的内容总量,按词元算。
03
消息角色
Message Roles
消息角色是接口里给每条消息贴的标记
04
对话历史
Conversation History
对话历史是把这一段对话里已经发生过的消息按顺序存下来,下一次请求时一起发过去。
05
无状态请求
Stateless Request
无状态请求指的是接口每收到一次调用都是独立处理,服务端不保留上一次的对话。
06
上下文工程
Context Engineering
上下文工程解决的是「这一轮到底让模型看到什么」
07
上下文压缩
Context Compaction
上下文压缩是在对话快到窗口上限时
08
上下文腐化
Context Rot
上下文腐化说的是内容一多
09
上下文编辑
Context Editing
上下文编辑是不整段摘要、只针对某几条内容动手的做法
10
渐进式披露
Progressive Disclosure
渐进式披露是给智能体准备资料时的一条排法
11
智能体记忆
Agent Memory
智能体记忆是把需要跨轮次、跨会话留下去的内容存到上下文之外,下一次要用时再取回来放进上下文。
12
工作记忆
Working Memory
工作记忆借的是认知心理学的说法:人在做事时临时记住的那点信息,容量有限,事情办完就放下。
13
结构化笔记
Structured Note-taking
结构化笔记是让智能体做长任务的过程里
智能体与经典范式
18
01
智能体
Agent
智能体指的是让模型自主推进一件事的系统
02
外壳工程
Harness Engineering
外壳工程指的是模型外面那一层把智能体跑起来的工程
03
智能体类型
Agent Types
智能体类型是按能力和自主程度给智能体分的档。
04
自主程度
Autonomy
自主程度说的是在一件事里机器能自己做多少决定。
05
智能体循环
Agent Loop
智能体循环是智能体干活的基本节奏
06
ReAct
ReAct
ReAct是让推理和行动交替出现的写法
07
规划与执行
Plan-and-Execute
规划与执行把「想」和「做」分成两个阶段
08
反思
Reflection
反思是让模型在拿到结果之后回头检查自己的做法
09
多智能体
Multi-Agent
多智能体是用多个智能体分工做一件事的组合。
10
规划
Planning
规划是智能体动手之前先把要做的事排成一份有先后的安排
11
任务分解
Task Decomposition
任务分解是把一件含糊的大任务切成几件边界清楚、能单独交付的小任务。
12
停止条件
Termination
停止条件说的是智能体什么时候停下来。
13
中断与恢复
Interrupts
中断与恢复是让智能体在关键位置停下来等人处理、处理完再接着跑的机制。
14
澄清提问
Clarification
澄清提问是智能体在动手之前先问清缺的信息
15
元认知
Metacognition
元认知借的是心理学的说法
16
自我改进
Self-Improvement
自我改进说的是让智能体把运行中暴露出来的问题沉淀下来
17
感知与行动
Perception / Action
感知与行动说的是智能体的两端能力。
18
专家系统
Expert System
专家系统是把领域里的专家经验整理成规则、由程序按规则推理的系统。
技能、工具与协议
17
01
技能
Skill
技能是把一类活的做事方法写成文档,用的时候读进来照着做。
02
工具调用
Tool Calling
工具调用说的是一条完整的回路
03
工具定义
Tool Definition
工具定义是交给模型看的那份说明书
04
工具检索
Tool Search
工具检索是先在工具库里搜一遍
05
MCP
Model Context Protocol
MCP是一套开放格式
06
插件
Plugin
插件是把若干样东西打成一个包,装一次一起用上。
07
项目规则
Project Rules
项目规则是写在代码库里的那份说明
08
生命周期钩子
Hook
生命周期钩子是在助手运行过程的固定时点自动跑一段事先写好的动作。
09
配置文件
Configuration File
配置文件是那个存设置的文本文件
10
配置档案
Profile
配置档案是给一套配置起个名字存起来,用的时候整体换掉。
11
代码执行
Code Execution
代码执行是让模型在隔离环境里写一段代码并跑起来,用算的方式拿结果,而不是靠模型自己心算。
12
浏览器操作
Browser Use
浏览器操作是让助手在浏览器里打开网页、读页面、点按钮、填表单、切标签页。
13
计算机操作
Computer Use
计算机操作是让助手看屏幕截图、动鼠标键盘
14
联网检索
Web Search / Web Fetch
联网检索是让助手在回答前先去公开网络上查,再把查到的内容带回来用。
15
代理对代理
A2A(Agent-to-Agent Protocol)
代理对代理是一套让两个智能体互相派活、报进度、交回结果的约定
16
智能体网络协议
ANP(Agent Network Protocol)
智能体网络协议是一套面向开放网络的智能体通信约定
17
智能体名片
Agent Card
智能体名片是一份对外的自我介绍
知识库与检索
26
01
知识库
Knowledge Base
知识库是把自家资料整理成能被检索的一份库
02
RAG
Retrieval-Augmented Generation
RAG是一套固定的配合方式
03
数据准备与治理
Data Governance
数据准备与治理管的是资料进库前后的那套规矩,让库里的内容一直是可用的那一份。
04
文档解析
Document Parsing
文档解析是把各种格式的文件转换成机器能读、能检索的文字。
05
分块
Chunking
分块是把长文档切成一段段小块,检索时以块为单位去找。
06
元数据
Metadata
元数据是贴在每段内容上的标签
07
知识流水线
Knowledge Pipeline
知识流水线是把资料处理的几道工序串成一条固定的线
08
关键词检索
Keyword Search(BM25)
关键词检索是按字面找内容:把问题和文档都看成一堆词,看哪些文档里出现了问题中的词。
09
向量检索
Vector Search
向量检索是把要查的问题和库里的每段内容都算成一串数字
10
语义搜索
Semantic Search
语义搜索指的是搜索系统按意思去找
11
余弦相似度
Cosine Similarity
余弦相似度是比较两组数字也就是两个向量像不像的算法:算两个向量夹角的余弦值。
12
混合检索
Hybrid Search
混合检索是让关键词检索和向量检索各跑一遍,再把两份结果合成一份名单。
13
召回
Retrieval
召回指的是从库里先捞出一批候选内容的这一步。
14
精确率与召回率
Precision / Recall
精确率与召回率是评价「找得准不准、全不全」的一对指标。
15
查询改写
Query Rewriting
查询改写是在检索之前,先用模型把用户那句话改成更适合检索的表述。
16
多查询扩展
MQE(Multi-Query Expansion)
多查询扩展是把用户的一句话用模型改写成几种不同的问法
17
假设文档嵌入
HyDE(Hypothetical Document Embeddings)
假设文档嵌入是先把用户的问题交给模型
18
上下文检索
Contextual Retrieval
上下文检索是一套提升检索命中率的做法
19
父子分块
Parent-child Chunking
父子分块把资料切成两层:小的叫子块,大的叫父块。
20
重排序
Rerank
重排序是在召回之后加的一道精挑
21
引用溯源
Citation
引用溯源是让答复里带出来的结论能点回到原文
22
兜底拒答
Fallback
兜底拒答是给助手留的一条正式出口
23
向量数据库
Vector Database
向量数据库是专门用来存向量、按相似度查找的数据库。
24
智能体检索
Agentic RAG
智能体检索是把检索交给智能体自己调度
25
知识图谱
Knowledge Graph
知识图谱是把资料里出现的对象抽成一个个点、把对象之间的关系连成线的数据结构。
26
图谱增强检索
GraphRAG
图谱增强检索是把知识图谱和检索结合起来的一套做法
编排与协作
21
01
工作流
Workflow
工作流是把一件活的步骤事先排好、按固定顺序跑完的做法。
02
编排
Orchestration
编排是让一个智能体或者一条流程跑起来的那套调度机制。
03
对话流
Chatflow
对话流是每条用户消息触发一轮流程、跑完把回答发回去的做法。
04
触发器
Trigger
触发器是让流程自己开始的机制,不用人点一下才跑。
05
路由
Routing
路由是先把进来的事判断成哪一类,再按类别走不同的处理路径,管的是这件事该谁办。
06
问题分类器
Question Classifier
问题分类器是流程里判断这句话属于哪一类的节点,判断结果决定后面走哪条路。
07
参数提取器
Parameter Extractor
参数提取器是流程里把用户那句话拆成结构化字段的那个节点。
08
条件分支
If-Else
条件分支是流程走到某一步时,按一个条件决定往哪边走的机制。
09
循环与迭代
Loop / Iteration
循环是把一段活反复做,直到满足停止条件。
10
并行
Parallelization
并行是智能体把几件互不依赖的事同时开工,都完了再合起来。
11
串行协作
Sequential
串行协作是几个角色按固定顺序接力:前一个做完交给后一个,一步接一步,中间不跳步。
12
并行协作
Parallel Collaboration
并行协作是几个角色同时干同一件事的不同部分,做完把结果合起来。
13
交接
Handoffs
交接是把一件事从一个角色手上转到另一个角色手上,并把已经掌握的信息一起带过去。
14
共享状态
Shared State
共享状态是几个角色共同读写的一份进展表,用来记录做到哪一步、已经定了什么。
15
子代理
Sub-agent
子代理是主代理派出去干一件具体子任务的帮手,跟主代理是分工关系,不是上下级。
16
主从编排
Orchestrator-Workers
主从编排是让一个主智能体当场判断任务该怎么拆,再分下去做,做完把结果收回汇总。
17
智能体团
Expert Team
智能体团是一批各有分工的角色凑在一起,共同完成一件单个角色办不了的事。
18
群聊
Group Chat
群聊是让几个角色在一个共享的对话里轮流发言,每个人都能看到前面所有人说了什么。
19
评估者角色
Critic / Reviewer
评估者角色是团队里专门负责挑错和把关的那一个
20
评审-优化
Evaluator-Optimizer
评审-优化是先产出一版,再让另一个角色挑毛病,按意见改,改完再评,直到达标为止。
21
图编排
Graph / DAG
图编排是把流程画成一张图,节点是步骤,连线是走向。
运行环境与部署
15
01
沙箱
Sandbox
沙箱是一个隔离出来的运行环境,智能体在里面跑,能碰到的只有放进去的那一份东西。
02
代码执行环境
Code Interpreter
代码执行环境是让智能体真的跑一段代码的地方,用来算数、处理表格、生成图表。
03
本地运行
Local
本地运行是把模型放在用户自己的机器上跑,请求不出这台设备。
04
端侧运行
On-device
端侧运行是把模型直接放在手机、车机、工控机这类设备上跑。
05
云端运行
Cloud
云端运行是把模型放在服务商的机房里跑,用户的设备只负责发请求、收结果。
06
私有化部署
On-premises
私有化部署是把模型和应用装进企业自己的机房或专有环境里,请求和数据都不出内网。
07
自托管
Self-hosted
自托管指的是那套服务由你自己架起来,包括平台、数据库和文件存储这些配套。
08
混合部署
Hybrid
混合部署是两套一起用:一部分放本地,一部分走云端,按规则分流。
09
部署地域
Region
部署地域指数据存在哪个国家或地区的机房里,以及请求实际在哪里算。
10
在线推理
Inference
在线推理指模型在用户等待的那几秒里实时算出结果。
11
断点续跑
Checkpointing
断点续跑是把长任务的中间状态存下来,中断之后能接着跑。
12
长任务
Long-horizon Task
长任务指一次要跑很久、中间要很多步的活儿,可能几十分钟,也可能几小时。
13
预热池
Warm Pool
预热池是提前把模型实例起好待命,用户来了直接接上,不用等它启动。
14
伸缩
Scaling
伸缩是按用量自动增减机器实例:量上来多开几台,量下去关掉几台。
15
中间件
Middleware
中间件是夹在应用和模型之间的那层通用组件。
权限与安全
24
01
权限模式
Permission Mode
权限模式是提前定好的一组范围:智能体能碰哪些东西,哪些动作要先问。
02
护栏
Guardrails
护栏是在模型外面加的一层检查,管输入和输出两头。
03
人工确认
Human-in-the-loop
人工确认是在流程里设一个必须由人点头的节点,智能体走到这里要停下来等人。
04
人工授权
Human Approval
人工授权是在智能体要做一件有后果的事之前,先停下来等人点同意。
05
智能体身份
Agent Identity
智能体身份指的是这个智能体在系统里以谁的名义干活,这决定了它能做到什么。
06
角色与权限模型
RBAC / ABAC
角色与权限模型规定谁能在什么条件下做什么事。
07
凭据与密钥管理
Secrets Management
凭据与密钥管理管的是那些「拿到就能用」的东西:接口密钥、数据库口令、证书。
08
多租户隔离
Multi-tenant
多租户隔离指的是一套系统同时服务多个客户,彼此的数据看不到,每个客户算一个租户。
09
按权限过滤的检索
Permission-aware Retrieval
按权限过滤的检索是在把内容捞出来之前,先按提问人的权限把不该看的部分排除掉。
10
脱敏
Masking
脱敏是把敏感信息里能认出人的部分藏起来,让数据还能用,但认不出是谁的。
11
数据留存
Retention
数据留存规定的是各类数据存多久、到期之后怎么处理。
12
内容过滤
Content Filtering
内容过滤是在输入和输出两头拦掉不该出现的内容。
13
误伤率
False Refusal Rate
误伤率指的是在安全把关这一层,本该放行的正常内容被拦下来的比例。
14
提示词注入
Prompt Injection
提示词注入是一种针对大模型应用的攻击手法
15
间接提示词注入
Indirect Prompt Injection
间接提示词注入指的是攻击者不直接跟模型说话
16
对抗式提示
Adversarial Prompting
对抗式提示是刻意试探模型防线的那类提问。
17
越狱
Jailbreak
越狱是指用各种话术让模型绕开自己的安全限制,说出本来不该说的内容,就是越狱得手。
18
越权操作
Prohibited Actions
越权操作指智能体做了超出它该做的事。
19
敏感数据泄露
Sensitive Data Leakage
敏感数据泄露指不该外传的信息通过智能体这条路流出去了。
20
代码漏洞
Code Vulnerability
代码漏洞在这里指智能体写出的代码自身带缺陷,以及它执行之后带来的风险。
21
红队与对抗测试
Red Teaming
红队与对抗测试是专门组织一批人或一批模型去设法搞坏你的智能体
22
偏见与公平
Bias & Fairness
偏见指模型在输出里对某些群体表现出系统性的偏向
23
可信 AI
Trustworthy AI
可信AI是一组要求的合称,这个系统要能被信任地使用,靠的是几条能检查的底线。
24
加密会话
Encrypted Session
加密会话指用户和系统之间的往来在传输和存储两段都是加密的,别人拿到也读不出来。
评测与观测
30
01
评测集
Evaluation Set
评测集是一批带标准答案的真实业务问题。
02
数据污染
Data Contamination
数据污染是公开考题和答案流传到网上、被收进训练数据。
03
标注
Annotation
标注是给样本补上标准答案。
04
评分量表
Rubric
评分量表是把好拆成几条能对照的项,每一档写清楚长什么样。
05
相关性
Relevance
相关性衡量的是检索出来的这批材料,跟用户的问题挨不挨得着。
06
有据可依
Groundedness
有据可依衡量的是答案里的每句话有没有出处。
07
完整性
Completeness
完整性看的是该说的有没有都说全。
08
意图识别准确率
Intent Resolution
意图识别准确率看的是系统有没有听懂用户这一次想办的是哪类事。
09
工具选择
Tool Selection
工具选择看的是智能体在一步里挑的工具对不对。
10
工具参数准确性
Tool Input Accuracy
工具参数准确性看的是智能体往工具里填的参数对不对。
11
工具输出利用
Tool Output Utilization
工具输出利用看的是工具返回来的东西有没有真被用进答复或下一步动作里。
12
工具调用成功率
Tool Call Success
工具调用成功率只统计发出去的调用有没有正常返回。
13
工具调用准确率
Tool Call Accuracy
工具调用准确率把智能体调工具这件事整个量一遍,三项合起来给一个分数。
14
任务完成率
Task Completion
任务完成率是一批测试任务里最终办成了的占多大比例。
15
任务遵循度
Task Adherence
任务遵循度看的是智能体有没有按事先交代的规矩办。
16
步骤效率
Task Navigation Efficiency
步骤效率看的是智能体把一件事办完用了多少步。
17
轨迹评测
Trajectory Evaluation
轨迹评测看的是智能体走的那条路对不对,不只看终点落在哪。
18
人工评估
Human Eval
人工评估是让人按事先定好的标准,给智能体的产出逐条打分。
19
模型即裁判
LLM-as-a-Judge
模型即裁判是让一个模型来给另一个模型的答复打分。
20
配对评测
Pairwise Evaluation
配对评测是把两个版本的答复摆在一起,让人或者模型判哪份更好。
21
复合评测器
Composite Evaluators
复合评测器把好几项分数按事先定好的权重合成一个总分。
22
鲁棒性
Robustness
鲁棒性看的是输入一变,智能体的表现掉不掉。
23
模拟用户
User Simulation
模拟用户是拿另一个模型来扮演用户,照着事先写好的脾气和目的跟被测智能体对话。
24
模拟环境
Environment Simulation
模拟环境是把智能体要碰的工具和外部系统换成一比一的替身。
25
链路追踪
Tracing
链路追踪是把一次问答从头到尾走过的每一步都记下来,串成一条能回看的链。
26
可观测性
Observability
可观测性指的是不用改代码、不用重现问题,靠系统报出来的东西看懂里面在发生什么。
27
追踪与跨度
Trace / Span
追踪和跨度是一次任务从开始到结束的那套记录结构,一层套一层。
28
成本追踪
Cost Tracking
成本追踪是把每次运行的费用算清楚,还能按对话、按功能、按人拆开看。
29
模型漂移
Model Drift
模型漂移指效果随着时间慢慢往下走。
30
自动优化
Agent Optimizer
自动优化是拿评测结果反过来改提示词,让模型自己提出修改建议。
交互与输出形态
13
01
结果与产物
Artifacts
结果与产物指的是智能体干完一件事之后留下的东西。
02
结构化输出
Structured Output
结构化输出是要求模型按事先约好的栏目和格式返回结果。
03
流式响应
Streaming Response
流式响应是模型一边生成、界面一边往外显示的做法。
04
实时交互
Realtime
实时交互是两边同时在线、你一句我一句不用干等。
05
生成式界面
Generative UI
生成式界面指模型按当前对话的需要直接画出一个能看能点的界面。
06
组件目录
Catalog
组件目录是把这套助手能画出来的界面列成一张清单,每个组件一个名字。
07
数据绑定
Data Binding
数据绑定说的是界面上的位置是怎么跟后台的数据对上的。
08
双向数据流
Bidirectional Data Flow
双向数据流指的是界面上发生的事能传回后台,后台的变化也能推到界面。
09
渲染器
Renderer
渲染器是前端把一段界面描述画成真实界面的那部分代码。
10
事件流
Event Streaming
事件流是把智能体运行途中的中间状态一条条实时推给界面的做法。
11
语音识别与合成
STT / TTS
语音识别把用户说的话转成文字,语音合成把模型的回答转成声音。
12
语音管道
Voice Pipeline
语音管道是把听、想、说三步接起来的一整条链路。
13
嵌入式助手
Embedded Assistant
嵌入式助手是把智能体直接嵌进业务系统,用户在自己天天用的系统里就能用上。
应用形态与平台
6
01
AI 应用
AI Application
AI应用是把大模型接进自己的产品、让用户能提问也能派活的软件。
02
Vibe Coding
Vibe Coding
VibeCoding是用大白话把需求说给AI,让它写代码。
03
低代码智能体平台
Low-code Agent Platform
低代码智能体平台是不写代码、在界面上拖拽就能把智能体搭出来的工具。
04
智能体框架
Agent Framework
智能体框架是给开发用的一套零件箱,循环、工具注册、多轮对话都有现成做法。
05
编程智能体
Coding Agent
编程智能体是专干写代码这类活的智能体。
06
深度研究智能体
Deep Research Agent
深度研究智能体是专干调研的一类智能体,自己定路线、一轮轮找资料。