面向 Agent 训练的数据集与强化学习环境

1引言

1.1研究背景

大语言模型的后训练正在从“给模型看示范”转向“让模型在环境里做事并被判分”。已有综述从不同侧面记录了这个变化。Zhang 等把面向 Agent 的强化学习形式化为部分可观测的多步决策，和单步的偏好对齐区分开，并汇总了 500 多篇文献里的环境、基准和框架^⁠[E1°]。Du 等按“调参数”和“不调参数”两类梳理 Agent 的优化方法，轨迹数据构造和奖励设计是其中的主线^⁠[E4°]。评测方向的综述指出基准在向更真实、更难、持续更新的方向走^⁠[E3°]。2026 年出现了专门讲环境的综述，把环境的建模、合成、评测和应用当作一个工程生命周期来写^⁠[E2]。中文文献里，张瑞、奚雪峰等提出“目标、状态、行动、验证”的分析框架^⁠[C1°]，张顺杰等把垂直领域大模型的后训练概括为数据、目标、更新、治理四个闭环^⁠[C15°]。

这些综述留下一个空缺：环境和任务从哪里来。从摘要看，两篇总体综述分别按 Agent 的能力和优化方法组织，环境以资源清单的形式出现^{⁠[E1°, E4°]}。专讲环境的综述讨论了三类符号合成（封装已有数据集、把真实网站和软件投影成简化环境、从零生成），没有讨论从真实业务日志或人际消息里得到任务^⁠[E2]。对手里有真实办公数据的团队，这正是最先要回答的问题。

1.2研究目的与范围

本文为一个具体的读者而写：一个手里有真实办公数据（主要是人与人之间的消息往来）、想把它变成 Agent 训练环境的团队。这个团队的方案有三个要点。第一，先用模型从消息流里筛出“这里有一件事”的片段，再沿时间线找出这件事后来的结果，把“起点加结果”当作一条候选任务。下文把这个想法叫作“时间线就是标注”。第二，原文不进入成品，只保留任务的类型和交互方式，内容在一家合成的公司里重写。下文叫作“只取模式”。第三，任务最后放进一个带数据库、工具、模拟用户和状态验证器的环境里，按标准动作做应得满分，什么都不做应得 0 分。

本文按这条流水线的七个环节组织文献：原始数据怎样变成任务，怎样脱敏，任务和轨迹怎样合成，环境怎样搭，用户怎样模拟，验证器怎样写和检验，最后在环境里训练能得到什么。每一节回答同样三个问题：现有工作怎么做，证据有多强，哪里没有人做过。范围以工具调用和办公场景为主，浏览器和桌面操作只作对照。

几个术语先说明。轨迹指一次任务执行的完整记录。验证器指判定任务是否完成的程序或模型。SFT 是监督微调，RL 是强化学习。MCP 是一种把外部应用的功能以工具形式提供给模型的接口协议。pass^k 指同一个任务连续跑 k 次全部通过的比例，用来衡量一致性。

1.3文献检索策略

检索在 2026 年 10 月 10 日完成。英文文献以 arXiv 为主，分三路：35 条按环节分组的布尔检索式，加 12 条定向补检；一份已有调研笔记里的 118 个 arXiv 编号，全部重新取回元数据；另有 51 篇按已知编号直接取回，编号由执行检索的人工智能助手凭已有知识列出，标题和作者以 arXiv 接口返回为准。不在 arXiv 上的早期语料论文用 Crossref 取出处。中文文献在中国知网上用 35 个主题词检索，只收期刊论文。Web of Science 需要机构登录，ScienceDirect 出现人机验证，Google Scholar 加载超时，这三个库没有检索；PubMed 命中 3 条，都不相关。

各来源合计 1,215 条记录，去重后 1,003 条，读摘要筛选后入选 121 篇：英文 105 篇，中文 16 篇。按合并时记下的来源算，arXiv 检索式 61 篇，种子清单 23 篇，已知编号 17 篇，知网 17 篇（含一篇刊在中国期刊上的英文综述），Crossref 3 篇。这个口径会低估对既有清单的依赖，因为同一篇被多路命中时记在检索式名下。按清单重合算，入选的 101 篇 arXiv 文献里有 52 篇在种子清单或已知编号清单里，只由检索式命中的是 49 篇。入选标准是和流水线的某个环节直接相关，并且提供了数据、环境、方法或实测结果之一。

121 篇里 30 篇读了全文，88 篇只依据摘要，3 篇只有题录。正文里编号后带 ° 的引用只读了摘要，带 ‡ 的只有题录。凡是“没有看到”“没有检到”这类否定性的说法，范围都限于读到的摘要和全文。文中的数字都出自所引文献自己的报告，除特别说明外没有第三方复现。三个库没有检索，流程挖掘、计算机支持的协同工作和任务型对话方向的会议与期刊文献可能有遗漏，这对 3.1 节和 10.2 节里“没有先例”一类判断的影响最大。

2概念框架

2.1三种数据形态：轨迹、任务、环境

训练 Agent 的数据有三种形态。轨迹用来做 SFT。AgentTuning 把交互轨迹和通用指令数据混在一起微调，以免通用能力退化^⁠[E39°]；Agent Data Protocol 把 13 个轨迹数据集统一成一种中间格式，作者认为瓶颈在格式碎片化，数据源本身并不缺^⁠[E40°]。任务比轨迹多一个判分办法。环境再多一份可以重置的状态，同一个环境能反复出题并给反馈。Terminal-Universe 的作者把这个区别说得很直接：一条轨迹只是一次冻结的示范，一个环境可以被反复提问^⁠[E21]。环境综述用八对属性描述环境，并提出正确性、多样性、复杂度、保真度四个质量维度^⁠[E2]。

2.2一条流水线的七个环节

把各篇文献的做法叠在一起，可以归纳出七个环节（表 1）。中文综述里“目标、状态、行动、验证”框架中的“验证”，和本文的验证器环节在概念上对应^⁠[C1°]。Agent 评测的三层有效性模型把任务生成、用户模拟校准、自动判分三处的误差看作连乘关系：每层保留七成有效性时，整体最多三成四^⁠[E92°]。这个数是靠假设算出的上界，各层怎样独立度量，摘要没有给出办法。它提示三个环节要分别对人工做校准，不能只看最后的分数。

2.3学习范式

训练方法分 SFT 和 RL 两类。GRPO 出自一篇数学推理模型的论文，它对同一道题采多条轨迹，按组内相对好坏更新^⁠[E93°]。把它搬到多轮环境后，效果并不一致。一项系统对照里，GRPO 在文字游戏环境 TextWorld 上几乎不涨（小模型从 0.15 到 0.18），低于同一实验里的另外两种算法^⁠[E5]；几项用更大模型的工作则用 GRPO 或它的同族算法 GSPO 报告了涨分^{⁠[E94°, E103, E101]}。

同一项对照还有两个发现。先用 60 条示范做 SFT 再做 400 个回合的 RL，在更难任务上的成功率是 59%，纯 RL 用 5,000 个回合只有 12%。在代码修复任务上，按单元测试通过比例给的部分分把成功率提到 22%，二值的测试通过奖励只有 4.2%（基座是 4%），两种模型评审奖励是 7.2% 和 9.3%。这组奖励实验只用了 90 条训练、25 条评测，没有重复运行^⁠[E5]。中文综述梳理了自我进化 Agent 在推理阶段和训练阶段的两类学习方式^⁠[C16°]。

3从原始数据到任务

3.1人际通信语料里的任务信号

人与人之间的邮件、会议、群聊和客服对话，是最早被研究的办公数据。Enron 邮件语料 2004 年被引入邮件分类研究^⁠[E6‡]，二十年后仍是公开邮件研究的底座：EnronQA 包含 103,638 封邮件和 528,304 个问答对，按 150 个用户收件箱组织^⁠[E15°]。在这类语料上找“这里有一件事”的工作，按标注对象可以分三层。

第一层是消息之间的关系。群聊里多个话题混在一条消息流里，要先解缠。Kummerfeld 等人工标注了 77,563 条消息的回复结构，并发现一个被广泛使用的对话语料里八成的对话缺消息或多出消息^⁠[E9°]；Chatterjee 等发布了解缠后的软件开发 Slack 聊天^⁠[E10‡]。第二层是一句话或一段话里的承诺和行动项。2007 年已有针对多方对话的行动项检测研究^⁠[E7‡]；Smart To-Do 从含承诺的邮件生成待办事项^⁠[E8°]；MUG 基准包含 654 场普通话会议，带行动项检测任务，是本文检到的唯一明确使用中文数据的语料^⁠[E11°]。第三层是整段对话对应的动作序列。ABCD 收集了 10,042 段客服对话，55 种用户意图各对应政策手册里的一条动作序列，客服点的按钮被记成动作^⁠[E12]。工作流发现任务要求从对话里找出实际采取了哪些动作^⁠[E13°]；后续工作从历史对话抽取成文的工作流，并用模拟的客服和客户检验抽得对不对^⁠[E14]。

中文期刊上和这一步最接近的是张瑞、刘海洲等的事件日志抽取：从企业即时消息文本里抽取流程挖掘所需的事件，摘要报告在三个即时消息数据集上 F1 超过 0.95，没有交代数据的语言、来源和规模^⁠[C3°]。赵海燕等综述了大语言模型在业务流程管理里的应用，其中的输入是文档和业务描述^⁠[C4°]。

这一组文献有三点共同的限制。其一，在读到的摘要和全文里，没有看到把“对话之后系统里实际发生的操作”当作标签的工作；这一组有三篇只有题录、多篇只读了摘要，这个判断的依据偏弱。最接近的 ABCD 记录的是对话进行中的按钮点击，而且对话是众包人员按提示扮演的^⁠[E12]。其二，标准动作和实际做法有偏差：用模型检查 ABCD 的验证集，28.57% 的对话至少有一步没有照手册走（由模型判定，没有人工复核的记录）；只选 25 到 100 段典型对话来抽工作流，效果好于用上全部对话^⁠[E14]。其三，产出都是文本或动作标签，离可以执行和自动判分的任务还缺初始状态、工具动作和终态断言。

3.2从真实使用记录重建任务和环境

第二组工作从带操作痕迹的记录出发。代码领域最成熟：SWE-bench 从 12 个仓库的 2,294 个真实 issue 和对应的合并请求里取任务，issue 是诉求，合并的修改是当事人给的答案^⁠[E16°]。SWE-Gym 沿同一思路做成 2,438 个可训练的任务实例，每个实例带可执行的运行环境和单元测试^⁠[E67°]。王焱林把软件工程数据构建的经验概括为可溯源、系统化验证、对齐人的偏好三条标准^⁠[C5°]；董益宏等的综述整理了代码 Agent 的评估基准^⁠[C2°]。

代码仓库之外，2026 年出现了三项从会话重建任务的工作，起点都是人对 Agent 发起的会话。EnterpriseClawBench 从一家企业的内部 Agent 会话存档做出 852 个任务，配硬规则和语义评分标准，数据不公开^⁠[E17°]。DuMateBench 从线上 Agent 平台的会话重建 200 个任务，把求解之前的交互历史和工作区状态整体当作初始状态^⁠[E18°]。RealClawBench 的会话来自开发者用户，它给出了目前最完整的漏斗：450,766 次原始调用，76,155 个用到工具的会话，最后留下 281 个任务；最终任务集和原始会话在任务类型、轮数、工具数、调用数四个维度上的分布差异不超过 0.0448 比特（用 JS 散度衡量，0 表示两个分布相同）^⁠[E19]。

Terminal-Universe 的起点不同。它用的是 6 个公开的 Agent 轨迹语料，领域是代码和终端，没有真实用户会话。它按时间顺序重放轨迹里的文件读写记录来恢复环境，缺的文件由模型补全，359,593 条轨迹重建出 37,273 个可用环境。直接拿源轨迹做 SFT 的平均分是 36.7，低于基座的 47.0；在重建的环境里重新求解是 52.1。但两臂的教师模型不同，作者把差别归因于教师策略统一，这组对照不能读成“环境优于轨迹”^⁠[E21]。

另有两种更保守的用法。一种只取真实数据的选题：EmailBench 的场景选题参考了一个产品原型的聚合意图统计，邮件内容是仿 Enron 的合成语料^⁠[E27°]。另一种记录真人的活动流：ProAgentBench 以每秒一帧截屏记录志愿者一个月的电脑使用，把“用户随后实际发出的求助”当作标签^⁠[E20]。Workspace-Bench 构建了五个职业画像的工作区和 388 个任务，文件和任务的来源摘要没有说明^⁠[E26°]。

这些流程的共同步骤是清洗、判断任务能否脱离原始上下文、处理隐私、改写指令、重建环境、配验证器、人工复核。留存率很低，从用到工具的会话到最终任务，RealClawBench 约为 0.37%^⁠[E19]。验证器都是事后补的，办法有确定性脚本^⁠[E19]、可执行测试^⁠[E21]、硬规则加评分标准^⁠[E17°]和确定性检查加模型评审^⁠[E18°]。在是否让模型评审进入正式打分上，各家取向不同：RealClawBench 报告只看输出的模型评审和人工的完全一致率只有 0.317，加上执行证据后是 0.815，它的排行榜只用确定性验证器^⁠[E19]。

3.3结果先于任务：事后重标注

“先有结果，再倒推任务”是另一条思路。AgentBrew 面对没有预定义任务和验证器的应用，让模型只看工具调用和返回，反推一条轨迹实际做成了什么，把它当作新的指令，再按每一步对达成这个结果的信息量加权训练。平均准确率从 9.5 升到 18.2，只保留评审通过轨迹的做法是 12.3；测试集很小，原文没有给题数，按分数步长反推每个应用约二三十道题，也没有报告方差^⁠[E22]。AgentHER 把失败轨迹重新标注成它实际达成的另一个目标，人工评定的重标注精度在 96% 以上^⁠[E24°]。这两种做法和 3.2 节的重建在逻辑上相通：轨迹里已经发生的结果是确定的，任务描述是后配的。两篇的原始材料都是 Agent 轨迹，AgentBrew 的作者把用于真实用户日志列为未来工作^⁠[E22]。

不完美的轨迹要不要过滤，两篇的结论不同。AgentBrew 用模型评审做过滤，在一个应用上把准确率降到 0^⁠[E22]；Terminal-Universe 用可执行测试做过滤，在较难的任务上有 2.2 分收益，在较容易的任务上几乎没有^⁠[E21]。分歧点在过滤器本身可不可靠。

GEM 走的是另一条路，从文本取流程。它发现公开网页文本里约 14% 的片段描述了多步操作流程，把这些片段转成多轮工具调用轨迹。工具定义和工具返回都由模型生成，没有执行验证，所以它不属于“结果先于任务”^⁠[E23]。

3.4不看原文的大规模分析

真实数据往往不能让人逐条阅读。Clio 给出了一种做法：模型先给每段对话写一两句不含个人信息和专有名词的摘要，再聚类，只有达到最小账号数的簇才对分析者可见。在合成数据上，它重建高层类别的准确率是 94%；含私有信息的比例从原始对话的约 10% 降到摘要后的约 1.5%，这两个比例由同系列模型的审计器打分得出^⁠[E25]。作者说明这套做法没有差分隐私之类的形式化保证，靠的是经验验证。它的分析对象是消费者的人机对话，不含企业客户，没有在多人协作数据上验证过。它适合回答“数据里有哪些类型的事、各占多少”，不产出任务。

3.5从两个人的对话到“用户和 Agent”

把一段两个人的往来变成 Agent 任务，要决定谁变成模拟用户，谁的动作变成 Agent 的标准动作，用户一侧有没有工具。检到的文献里没有专门讨论这个映射的，有三处可以借鉴。ABCD 的数据结构是“意图、政策手册、动作序列”，办理方的按钮点击是动作，请求方只提供信息^⁠[E12]，对应“请求方当用户、办理方当 Agent”的映射。τ²-Bench 的电信领域让用户也有工具，各自操作自己一侧的状态；把同一批任务从 Agent 独自操作全部工具改成指导用户操作后，两个模型的通过率下降 18% 和 25%^⁠[E49]，可见“谁动手”会明显改变任务的难度。工作流发现的方法以一份可选动作清单为条件^⁠[E13°]，真实办公数据里这份清单要先自己定义。

4隐私与脱敏

4.1授权和公开策略

脱敏之前先有授权。几项使用真实数据的工作交代了各自的做法。RealClawBench 的数据是员工使用内部 Agent 的会话，采集和研究用途事先按组织的员工数据治理流程授权，不含外部客户数据；依赖私有服务的任务能用替身数据替代就替代，否则丢弃；做不到在不改变原意的前提下脱敏的任务也直接丢弃，不做改写，这和“内容重写”的路线取向相反^⁠[E19]。ProAgentBench 的参与者签了知情同意，可以随时退出并要求删除数据；隐私处理分三段，模型初筛并给出风险等级，志愿者逐图决定保留、打码或删除，规则过滤兜底。作者也承认，激进的隐私过滤可能系统性地排除含敏感内容的交互，让数据偏向不敏感的工作流^⁠[E20]。

公开策略有两类。一类是数据不出门：EnterpriseClawBench 只公开构建和评测协议^⁠[E17°]。另一类是脱敏后公开：RealClawBench 公开脱敏后的任务包，原始日志不公开^⁠[E19]；DuMateBench 称会话经过匿名化和隐私筛查后公开了代码和数据^⁠[E18°]。两类选择对应不同的风险取舍，检到的文献没有给出判断标准。

4.2评测口径：评什么

文本匿名化的评测按“评什么”可以分三类。

第一类评标识符有没有遮全。TAB 在 1,268 篇法院判例上标出为隐藏当事人必须遮掉的片段^⁠[E30°]。PII-TRACE 考察检测器能否在多轮对话里找全同一标识符的每次出现，只读一遍的检测器在长对话上漏掉三分之一的标注字符^⁠[E33°]。

第二类评攻击者能推断出什么。Staab 等显示模型能从 Reddit 发帖推断地点、收入、性别等属性，前一位准确率最高 85%，并称当时常见的匿名化工具挡不住^⁠[E28°]。他们随后提出让攻击模型和匿名化模型对抗的做法，摘要称在效用和隐私两方面都优于商用匿名器^⁠[E29°]。RAT-Bench 把攻击者能推出的属性折算成在人群中的重识别风险，结论是最好的工具也远不完美，其中基于大模型的匿名器在隐私和效用之间折中得更好^⁠[E31°]。张宁徽等的中文综述梳理了用推理攻击评估生成模型隐私风险的文献^⁠[C8°]。

第三类评带联网搜索的攻击者能否点名到人。AgentDoxx 用 822 篇以真实公开人物为底的合成访谈来测：15 个模型配置里最强的 5 个，把访谈连回本人的准确率在 47.0% 到 48.3% 之间。防御实验在其中 143 篇分层子样本、12 个配置上做，这个子样本不处理时的平均准确率是 75.1%，实体打码后是 62.0%，把属性换成假值后是 34.2%，按模型定位的高风险片段涂黑后是 35.1%。实体打码后仍有 85.3% 的访谈被至少一个配置认出^⁠[E32]。样本是主动公开身份、网上信息多的人，这些数字对普通员工更像上界。按不带工具的攻击者测出的防护水平可能偏乐观，不过这项研究没有直接测基于大模型的匿名器^{⁠[E32, E29°]}。

4.3匿名化的代价

匿名化会损害下游任务。一项覆盖 11 个基准、5 个模型的研究显示，一般推理任务下降不到 5 个百分点，检索增强类任务掉得最多（一个模型从 0.80 降到 0.32），也有一个基准反而上升。五种方法的比较只在一个模型和三个基准上做，结果是保持实体唯一性的化名替换好于直接涂黑和泛化。有两点限定：匿名化工具把一些非个人信息（地名、金额）也换掉了，测到的下降有一部分来自过度替换；这项研究只测了推理阶段，没有测在匿名化数据上训练的效果，也没有测各方法剩余的重识别风险^⁠[E34]。

有几项研究同时报告了隐私和效用^{⁠[E29°, E30°, E31°]}。但联网攻击者下的重识别风险和下游 Agent 任务的损失，没有在同一项研究里一起测过。

4.4中文实践和合成替代

中文期刊上检到一篇实测、一篇方法。张志立等用本地部署的开源模型给医疗文书脱敏，单份文书耗时 52 到 123 秒^⁠[C6°]；董伟等提出用模型辅助识别结构化记录里的准标识符，摘要没有给数字^⁠[C7°]。没有检到针对办公通信或中文消息的匿名化评测。

另一条路线是只保留分布、内容重写。Aug-PE 只通过模型接口就能生成带差分隐私保证的合成文本^⁠[E35°]，但它保的是整体分布，一条时间线里起点、诉求和结果的对应关系能否保住没有证据。EmailBench 是只取选题的例子，场景选题参考聚合的意图统计，邮件内容是合成的^⁠[E27°]。

综合这一节：“脱敏后直接用”同时面对联网重识别和任务受损两方面的压力。“只取模式、内容重写”避开了逐条打码，但这条路线本身没有被攻击评测过，两条路线也没有被放在同一套度量下比较。

5任务与轨迹合成

5.1工具调用数据的合成

中文综述梳理了工具使用的数据集和方法^{⁠[C9°, C10°]}，以及用模型做数据增强的一般方法^⁠[C11°]。英文文献里，各数据集对“这条数据对不对”的验证强弱不一，也不随时间单调加强（表 2）。2023 年的 ToolLLM 收集 16,464 个真实接口，让模型出题、再让模型搜索调用路径，摘要没有提到独立校验^⁠[E36°]。2024 年的 APIGen 给每条数据加上格式、执行、语义三级验证^⁠[E37°]。APIGen-MT 先生成带标准动作的任务蓝图，经评审后再用模拟的用户对话展开成轨迹^⁠[E38°]。2025 年的 TOUCAN 在近 500 个真实 MCP 服务上合成了 150 万条轨迹，轨迹是真实执行出来的，但请求事先没有标准答案，验证反而弱于前两项^⁠[E41°]。Kimi K2 的技术报告把大规模合成流水线和环境内的 RL 一起列为后训练的主线^⁠[E42°]。

5.2正确性从哪里来

合成任务的难点是保证标准答案是对的，现有做法分三类。第一类先出题再求解，靠评审过滤。AReaL-SEA（摘要里用的是旧名 EigenData）让每条任务带一个可执行的校验函数，并用失败样本反过来改写出题计划^⁠[E45]。第二类把规则编译进环境。LOGIGEN 把自然语言政策编译成数据库的表和触发器，违规操作在环境层被拒绝；初始状态故意放在约束边界旁边；探索执行结束时的数据库快照就是标准终态，判分只看终态是否全等。它产出 2,000 多个环境、20,000 多个任务，把一个 32B 模型在 τ²-Bench 上的成绩从 40.7 提到 79.5，其中只做 SFT 的版本已经到 77.5^⁠[E46]。第三类先执行再倒推。FireFly 先让模型在真实服务上探索，再从观察到的输出倒推任务，标准答案取自真实返回^⁠[E47]。界面操作方向，OS-Genesis 先交互、再从交互里推导任务^⁠[E44°]；AutoPlay 也先探索环境，但探索只为出题提供信息，标准答案不取自已执行的轨迹^⁠[E43°]。

第二、三类和 3.3 节的事后重标注同属“结果先于任务”。争论在于这样得到的任务是否偏向顺利路径：LOGIGEN 的作者批评从成功调用倒推的任务缺少被规则拒绝后再纠正的情形^⁠[E46]，FireFly 则认为这是让标签正确的唯一办法^⁠[E47]。两者的实际差别是执行发生在什么样的环境里。第一类并没有因此被否定，AReaL-SEA 同样报告了涨分^⁠[E45]。奖励设计上也有分歧：AReaL-SEA 用稀疏的二值终态奖励，LOGIGEN 认为这会奖励成功轨迹里的错误步骤，改用逐步的状态进度奖励；两篇都在 τ²-Bench 上报告 RL 有增益，没有互相对照^{⁠[E45, E46]}。

还有一点值得注意：各篇报告的流水线自身成功率并不高。LOGIGEN 的教师模型重新求解只有 74.2% 成功，FireFly 的候选淘汰了约一半^{⁠[E46, E47]}。读了全文的这三篇都没有报告人工抽检合成任务的结果^{⁠[E45, E46, E47]}。

6环境构建

6.1人工搭建的环境：状态后端和判分

人工搭建的环境是评测的主体，也是自动生成的参照（表 3）。τ-bench 让模型扮演用户，和拿着工具与政策的 Agent 对话，结束时比较数据库终态，并提出 pass^k^⁠[E48°]。τ²-Bench 加入双向控制，在新增的电信领域里用户也有工具，各自操作自己一侧的状态；这个领域的任务由 15 组原子子任务程序化组合，并自动验证“全做才过、少做不过”^⁠[E49]。AppWorld 用基于状态的单元测试判分，同时检查有没有意外改动^⁠[E50°]。Gaia2 和它的平台 ARE 让环境独立于 Agent 自行变化，判分看写操作^{⁠[E51°, E52°]}。TheAgentCompany 搭了一个自包含的环境来模拟一家小型软件公司^⁠[E53°]。EnterpriseOps-Gym 是和办公场景最接近的一个：164 张表、512 个工具、1,150 个专家编写的任务，判分用手写的 SQL 脚本检查目标达成、完整性约束、权限合规和副作用四类条件，最好的模型完成 37.4%；30 个不可行任务上，最好的模型也只有 53.9% 能拒绝并且不留副作用^⁠[E54]。MCP-Persona 是检到的唯一覆盖飞书工具的评测^⁠[E55°]。

这些环境在两处有分歧。状态后端上，一派自建数据库加工具^{⁠[E48°, E49, E54]}，一派让 Agent 操作真实的网站、桌面应用或整套软件环境^{⁠[E53°, E56°, E57°]}。判分上，多数以终态为主^{⁠[E48°, E49, E50°, E54]}，Gaia2 看写操作并称可以直接用于 RL^⁠[E51°]。种子数据方面，说明了来源的几篇都是合成或专家编写^{⁠[E49, E50°, E54]}，其余几篇的摘要没有说明；OSWorld 的任务取自真实的电脑使用案例^⁠[E57°]。没有看到种子取自真实企业数据的环境。

6.2接口形态

WebArena 和 OSWorld 分别代表浏览器和桌面两种界面操作环境，发布时最好的模型成功率是 14.41% 和 12.24%^{⁠[E56°, E57°]}。MCPWorld 选用可以改源码的应用，让同一个应用同时提供工具接口和界面，并用代码插桩直接监测应用行为来判分，判分因此和界面状态无关^⁠[E58°]。Wu 和 Yang 的综述把界面与工具的混合执行、结果验证列为界面 Agent 的方向^⁠[E105°]。陆勇雍等从界面交互日志里抽取接口的语义和调用依赖，建成知识图谱后，混合 Agent 的任务完成率绝对提升 26.1%^⁠[C13°]。在检到的文献里，没有看到同一份后端同时接出工具和界面、并且带用户对话的环境。

6.3环境的规模化生成

2026 年的主要进展是环境的自动生成。Agent World Model 按场景、任务、数据库结构、样例数据、工具接口、验证代码的顺序逐步生成，得到 1,000 个环境和 10,000 个任务；在其中 526 个环境上训练后，8B 模型在三个外部评测上都上涨^⁠[E59]。EnvScaler 先搭环境骨架，再批量出场景和验证函数^⁠[E60°]；AgentScaler 主张能力的广度取决于环境的多样性^⁠[E61°]。AgentMercury 把顺序反过来，先从业务场景生成一个持久的“世界”，包括实体、服务、状态和跨服务的不变量，任务再从世界里产生^⁠[E62]。CompoWorld 在服务依赖图上随机游走，生成需要信息跨服务流动的任务^⁠[E63°]。界面方向，CUA-Gym 让造状态的 Agent 和写奖励函数的 Agent 分开^⁠[E65°]；Echoverse 对着应用自己的数据库判分，并把每次判过分的运行先用来修环境、任务和验证器，再用来训练模型^⁠[E66]。

状态转移靠什么保证，有两种回答。代码加数据库是主流^{⁠[E59, E62, E66]}；EnvScaler 也用程序合成，状态后端摘要没有说明^⁠[E60°]。另一种是让模型直接模拟环境反馈，省掉环境工程^⁠[E64°]。一项直接对照显示，同样的任务和工具换成模型模拟的环境来训练，三个规模的模型在三个评测的总分上都低于代码环境，8B 模型在其中一个评测上还低于基座（52.53 对 53.83）。这组对照是 Agent World Model 的作者自己实现的，不是模拟路线的作者放出的模型^⁠[E59]。也有折中：CompoWorld 把能可靠实现的工具写成代码，其余的交给一个世界模型^⁠[E63°]。“世界模型”一词在中文综述里指用模型预测状态转移^⁠[C12°]，和 Agent World Model 这个名字里的用法不同。

自动生成的环境质量并不高，这是作者自己报告的。Agent World Model 抽样的 100 个环境里 74% 至少有一个缺陷，这是一个模型判定的结果，换另一个模型判是 83%，不是人工审计；约 4% 的训练运行遇到环境错误；验证器对同一条轨迹重复判定的奖励翻转率是 9.2%，这量的是判定的自洽程度，没有人工标注作对照^⁠[E59]。Echoverse 的一个环境在修复验证器之前，只有 34% 的任务可以判分^⁠[E66]。验证器和任务出自同一条生成管线是常见做法^{⁠[E59, E60°, E62]}，分开生成是否更准没有量化证据^{⁠[E65°, E66]}。

数量和深度哪个更重要，结论不一。Echoverse 的规模实验显示，轨迹从 6,400 条加到 20,000 条，两个外部评测一个从 54.8 到 55.6，另一个从 40.1 降到 37.2，加环境则继续有效；它还报告浅环境训练出的模型在一个真实网站上从 80.0 降到 75.0，深环境升到 85.0，作者说明这组浅深对照只有两个领域^⁠[E66]。CUA-Gym 的摘要则称成绩随数据量和环境多样性两个轴都平滑上升^⁠[E65°]。Agent World Model 的成绩随环境数从 10 到 526 上升，只用 10 个环境时严重退步^⁠[E59]。Terminal-Universe 的预算消融里，在基础池（53.2）上加环境是 56.0，加题是 53.8，加解是 53.9^⁠[E21]。检到的文献里，没有研究在固定预算下直接比较“多而浅”和“少而深”。

6.4合成的企业数据世界

把任务放进一家合成的公司，需要邮件、聊天、工单里的同一批实体互相对得上。三篇文献给出三种办法。OrgForge 用确定性的程序维护一条事件总线，模型只负责写表面文字，所有文档都能追溯到同一份事件日志^⁠[E69°]。Era by Eon 用一张带种子的实体图给各业务系统的模拟器供数，内部数据库以问题为条件生成，标准答案从最终记录计算得出^⁠[E70°]。EnterpriseRAG-Bench 以共享的项目、人员和计划为锚生成约 50 万份文档，并故意加入归档错位、近似重复和信息冲突^⁠[E71°]。前两篇追求严格自洽，第三篇追求像真实数据那样有噪声；噪声对训练是否有益，没有看到实验。三篇都不接真实数据，从摘要看也都没有训练实验。

7用户模拟

赵阳洋等综述了任务型对话系统里的深度学习和强化学习方法^⁠[C14°]。τ-bench 把模型扮演的用户带进了 Agent 评测^⁠[E48°]。此后的研究主要在问一个问题：模拟用户能不能代表真人。

答案偏否定。τ²-Bench 的作者自己做了人工标注：零售和航空两个领域里，用户模拟器的出错率是 40% 和 47%，其中会让任务无法完成的关键错误是 12% 和 13%。新增的电信领域给用户配了工具并加了约束，出错率是 16% 和 6%。这是跨领域的比较，作者说明这套做法还没有用到零售和航空上^⁠[E49]。Lost in Simulation 做了真人对照：Agent 固定，只换用户模型，成功率相差近 9 个百分点；模拟用户的提问和礼貌用语比例约为真人的两倍。参与实验的真人是按任务说明扮演顾客的众包人员^⁠[E72]。UserProxyBench 给模拟用户单独打分：在 375 个任务上换 7 个用户模型，平均任务得分相差 15.2 分；Agent 成功的对局里有 24.4% 存在用户违规，最常见的是过早把信息说出来，这几乎不影响得分，却让 Agent 少调一次工具^⁠[E74]。

“保真”在这里有两个不同的定义：照任务脚本演，还是像真人。UserProxyBench 按前者算^⁠[E74]，Lost in Simulation 和 RealUserSim 按后者算^{⁠[E72, E75]}。RealUserSim 从真人和聊天机器人的对话里为 7,275 个用户各抽一份行为画像，接入后行为匹配率从 24.2% 升到 45.3%，裁判是模型，没有真人裁判对照。把画像接到 τ-bench 的模拟用户上，任务成功率平均下降 3.2 和 3.5 个百分点，小于运行之间的波动（8.0 和 5.9）。同一篇还发现，去掉 τ-bench 原有的手写行为指令后，零售领域六个用户模型的成功率全部上升，最多 16.7 个百分点^⁠[E75]。SimulatorArena 报告以用户画像为条件的模拟器和真人评判的相关系数达到 0.7^⁠[E73°]。PersonaForge 分析 16,000 条真实会话后发现 75.9% 是多轮交互，按真实统计校准模拟用户来造训练数据^⁠[E77°]。另一种思路是故意设计不合作的用户来加压，同时保证任务信息送达^⁠[E76°]；RealUserSim 的作者对手写的行为指令持相反看法^⁠[E75]。

用户模拟对训练的影响，直接证据有两条。一条是“守脚本”意义上的：AReaL-SEA 发现，用没有微调过的用户模拟器做 RL，电信领域的成绩从 85.4% 掉到 75.6%，换成微调过的模拟器则升到 95.6%^⁠[E45]。另一条是模拟器过于确定会被钻空子：LOGIGEN 发现低温模拟器下训练奖励更高，换一个模拟器评测时成绩下滑，作者的对策是提高模拟用户的多样性^⁠[E46]。MUA-RL 把模拟用户接进了 RL 循环^⁠[E99°]。“像真人”意义上的保真对训练出的策略有什么影响，在检到的文献里还没有实测；UserProxyBench 的作者也说明没有做训练对比^⁠[E74]。

8验证器、奖励与质量控制

8.1验证器出错的形态

验证器是这条流水线里被审计得最多的部件，结论不乐观。ABC 清单把评测的有效性分成任务有效性和结果有效性两类，深入评估了 10 个常用评测，7 个有结果有效性问题。最直观的例子是：一个什么都不做的 Agent 在 τ-bench 航空领域能得 38%^⁠[E78]。清单里和状态比对直接相关的有三条：标准终态要包含所有算成功的结果；状态空间要同时含相关和无关的状态，才能发现越界改动；状态空间要足够复杂，随手改动撞不上正确结果。另有两条通用要求：提供自动的标准解求解器，报告“什么都不做”这类平凡 Agent 的成绩^⁠[E78]。

出错有两个方向。漏判：对 150 条被判失败的界面操作轨迹的审计发现 15.3% 判错，其中 10.7% 是评测器漏判，4.7% 是任务本身已失效^⁠[E80°]；AgentRewardBench 用 1,302 条专家标注的轨迹检验，规则判定倾向于低报成功率，12 个模型评审没有一个在所有评测上都最好^⁠[E79°]。误收：对标准解做机械变异后交给验证器，AppWorld 的个别验证器只查字段值、不查新增记录的条数，重复写入一次仍判通过；WorkArena 的验证器对多写的字段不敏感^⁠[E81]。

第三种形态在工具层。一项审计把工具对 Agent 可见的说明当作可执行的契约，检查实现是否照做，在四个评测的 34 个会改状态的工具里确认了 7 个工具缺陷。τ²-bench 被指出两处，后果不同。电信领域一个加流量的工具，说明里写着线路必须处于正常状态，代码里这项检查被注释掉了。标准轨迹碰不到它；在作者构造的“先停机、加流量、再复机”路径上，出厂评测器给有缺陷的工具全部判通过，给修好的工具全部判失败。航空领域取消订单后不释放座位，这一处不改变出厂评测器的判分，构造路径上两种实现都判失败，只有作者另写的检查能分开；证据是维护者的一行日志，Agent 看不到，作者没有把它算进头条数字。同一项审计里，另一个评测的写入接口返回“已成功执行”却并不写入，评分器把这条返回消息当证据，300 例里没有一例回读写入结果^⁠[E82]。ABC 清单没有覆盖工具实现这一层^{⁠[E78, E82]}。

第四种形态是只看结果、不看越界改动。AgentRelBench 把运行前后的整库差异和每个任务的白名单比对。在作者基于 EnterpriseOps-Gym 的数据和工具自编的 20 个任务上，底座自带的 SQL 验证器把一批造成了未授权改动的运行判为成功^⁠[E91]。

8.2被钻空子和对抗加固

验证器还会被主动利用。ImpossibleBench 构造说明和测试互相冲突的任务，通过率就是作弊率^⁠[E83°]。对五个终端类评测的审计让三个模型只看任务说明、不看验证器源码去钻空子，1,968 个任务里有 323 个（16%）被钻通；作者提出攻击者、修补者、求解者三个角色的循环来加固，代价是合法解的通过率也从 76.1% 掉到 65.2%^⁠[E84]。模型评审同样可被操纵：动作和观测不变，只改写 Agent 自述的推理文本，评审的假阳性率最多升高 90%，摘要没有说明这是相对升幅还是百分点^⁠[E85°]。

这些实验集中在代码和网页任务上。数据库状态类环境里，已有的发现是钻用户模拟器的空子^⁠[E46]和越界改动^⁠[E91]，针对验证器本身的攻击在检到的文献里还没有。

8.3模型评审能不能当奖励

开放式的要求无法用状态判定时，常见做法是逐条清单加模型评审。CM2 把每一轮期望的行为拆成带证据定位的二值判据，在模型模拟的工具环境里做 RL，比 SFT 对照高 8 到 12 分^⁠[E86°]。

模型评审能不能当奖励，文献的结论不一。反面的证据：评审会被 Agent 的自述误导^⁠[E85°]；一项对照里两种模型评审奖励（7.2% 和 9.3%）远低于按单测通过比例给的部分分（22%），不过同一实验里二值的可执行奖励最低（4.2%），评测只有 25 条^⁠[E5]。正面的证据：Koa 的主要奖励来自模型裁判判定的子问题覆盖率^⁠[E103]，WebRL 用训练出来的结果奖励模型^⁠[E98°]，AutoPlay 用多模态验证器当奖励^⁠[E43°]，都报告了涨分。Agent World Model 实测“代码信号加模型判定”好于只看库差异的纯代码判定（8B 模型在一个外部评测上是 65.94 对 60.00），作者的解释是合成环境不完美会造成假阴性^⁠[E59]。在读到的范围内，这些正面结果都没有报告评审和人工判断的一致率。

比较稳妥的分工是：状态能判的交给状态；评审只看动作、工具返回和终态，不看 Agent 的自我总结；评审上线前先对人工标注量一次一致率。RealClawBench 的数字可作参照：只看输出时和人工的完全一致率是 0.317，加上执行证据后是 0.815^⁠[E19]。

8.4人工对照怎么做

验证器和评审都需要人工对照，文献里有几种现成做法。AgentRewardBench 留一批专家逐条标注的轨迹，标是否成功、有无副作用、是否重复操作，同时量规则判定和模型评审的偏差^⁠[E79°]。工作流抽取的研究报告了自动成功判定和人工之间的 Cohen's κ 为 0.922^⁠[E14]；RealClawBench 报告带执行证据的模型评审和人工的 κ 为 0.748^⁠[E19]。三层有效性模型建议的信度门槛是组内相关系数不低于 0.70；它调查的 55 篇评测论文里，约 82% 的评分者间信度指标用错、不全或没有报告，样本是有目的地挑选的，不能当作总体比例^⁠[E92°]。

反面的例子也有。UserProxyBench 的人工审计只有一位作者看了 10 个任务和另外 50 条准则，作者把它列为局限^⁠[E74]。Agent World Model 的环境缺陷率由模型判定^⁠[E59]。

8.5难度校准和重复运行

难度校准有三种做法。第一种按历史通过率取中间一段：只在通过率 30% 到 70% 的任务上评测就能保住排名，任务数减少 44% 到 70%^⁠[E89°]。第二种用带任务特征的项目反应理论模型预测新任务的难度^⁠[E88°]。第三种按求解器来定：CalibForge 以“强模型过、弱模型不过”或多个求解器出现分歧为目标反复改写任务^⁠[E90°]。第一种为排名服务，第三种为训练服务，这两种没有在同一任务集上比较过。

单次运行的结果不可靠。AgentRelBench 的 2,128 次运行里，没有任何一个模型和任务的组合每次都造成损害。开发池里 13 个出过损害的组合，只跑一次有 0.80 的概率看到的是干净运行；留出池是 0.575，只有 5 个组合，低于作者预先登记的下限。这 20 个任务是专门设计成损害概率居中的，开发池的模型也用来调过任务难度^⁠[E91]。工具调用评测的分数对随机种子、系统提示、多轮模板的拼法都敏感^⁠[E104°]。改用户模拟器的行为提示后，18 个任务里有 11 个换了难度档^⁠[E72]。

9训练与泛化

9.1实证结果

在环境里训练的公开正面结果已经不少（表 4）。表外还有几项：EnterpriseLab 把企业应用经 MCP 接出，训练出的 8B 模型在企业工作流上和 GPT-4o 持平^⁠[E95°]；LOOP 在 AppWorld 里训练 32B 模型^⁠[E96°]；AgentGym-RL 提出逐步放宽交互轮数的训练办法^⁠[E97°]；WebRL 从失败的尝试里生成新任务，把两个小模型在网页评测上的成功率从约 5% 提到 42% 以上^⁠[E98°]；Agent Lightning 把 Agent 的执行和训练解耦^⁠[E100°]；AgenticQwen 用两个数据飞轮自动生成越来越难的任务^⁠[E102°]。

这些结果里，说明了数据来源的几篇，训练数据和环境都是合成或人工搭建的^{⁠[E94°, E59, E46, E101, E103]}；另有几篇的摘要没有说明来源^{⁠[E97°, E99°, E100°]}。没有看到用真实企业数据做训练的工作，Koa 用到的真实成分只有生产环境的规格和工具定义^⁠[E103]。

9.2泛化怎么检验

同分布的留出集不足以证明能力迁移。一项研究在 363 个人工编写的长程任务上后训练，留出集从 10.0 升到 27.5，同时在五个外部评测上全部上涨。作者只把留出集当作流程检查，理由是它和训练集共享工具定义、评分器解析方式和任务模板；并规定外部评测的任务和评分器不进训练，分数不参与奖励设计、超参、检查点选择和停止判断。三点限定来自作者自己：训练集受其中一个外部评测启发，复用了它的部分服务实现和工具定义，它的榜单成绩还参与了基座和教师模型的选择，而五个评测里涨得最多的正是它；只做了一次完整训练，没有置信区间；同一批任务训到第二、三轮时出现回退^⁠[E101]。

按是否报告外部评测来分，只在训练所在环境或同域评测上报告涨分的结果^{⁠[E96°, E98°, E45]}，证据强度弱于同时报告外部评测的^{⁠[E94°, E59, E47, E101]}。AgentMercury 也报告了域外涨分，但没有对照组，训练曲线显示截断回复的比例大幅下降，数学评测上的涨分可能部分来自输出长度行为的改变^⁠[E62]。外部评测也不总是上涨：Koa 的域内训练阶段让 BFCL 从 66.63 回落到 64.31，Tau2Bench 基本持平^⁠[E103]。外部评测本身还有口径问题，不同论文里的同名分数不能直接相比^⁠[E104°]。

训练集和测试集怎么切，文献里有三种做法。按来源隔离：ProAgentBench 的测试集按用户隔离、按时间切分^⁠[E20]。按时间留出：RealClawBench 用同一流程在更晚的日志窗口上又产出 34 个任务^⁠[E19]；王焱林把“基准老化”列为软件工程数据的核心矛盾之一^⁠[C5°]。按实例隔离：AgentBrew 的训练和评测环境在实体、数据、状态上都不重叠^⁠[E22]。

奖励还会带来副作用。在训练数据里注入与某个工具相关、但与是否需要它无关的线索后，RL 训练出的 Agent 无谓调用该工具的比例最多上升 39%^⁠[E87°]。Agent World Model 的格式奖励总是鼓励调用工具，一个评测的幻觉类得分随之下降^⁠[E59]。上面那项长程任务研究弃用了早期按轨迹前缀给奖励的实现，原因是策略去优化被奖励的前缀^⁠[E101]。

9.3真实来源和合成来源

真实数据做种子是否比纯合成更能训出好模型，是手里有真实数据的团队最想知道的问题。检到的直接对照只有一个：ProAgentBench 用 741 条真实样本微调，时机预测准确率是 74.0%，等量合成样本是 62.1%。但测试集和真实训练集同源，合成集不同源，11.9 个百分点的差距里混有域内对域外的效应；任务是二分类，不涉及工具调用^⁠[E20]。反方向的证据是 PhantomEnvironments：用规则生成的虚构世界训练搜索 Agent，和真实世界不共享任何事实，仍能迁移到真实的多跳搜索评测，在较新的评测上常常超过真实世界的训练数据；它只有摘要，任务是只读搜索，没有给分数^⁠[E68°]。GEM 把网页文本称作真实来源，但轨迹内容全由模型生成^⁠[E23]；PersonaForge 用真实会话的统计校准用户模拟并报告了涨分，没有和纯合成种子对照^⁠[E77°]。

合起来看，两条证据方向不一致，而且都不在有状态的办公任务上。一个待检验的假设是：真实数据的价值主要在任务分布和交互方式上，内容本身可以替换。目前没有训练对照支持或否定它。

10讨论

10.1相对稳固的结论

检到的文献里，有两条判断得到多项独立工作的支持。

第一，验证器要对着环境的实际状态来验，并且要经过对抗和变异检查。这一条没有看到反例。按返回消息判写入会和真实状态脱节^⁠[E82]；只查目标字段会放过重复写入和多写字段^⁠[E81]；只看目标达成会放过越界改动^⁠[E91]；什么都不做的 Agent 能得多少分要实测^⁠[E78]；只看任务说明就能钻通的验证器在终端类评测里占 16%^⁠[E84]。这一条也有边界：合成环境本身不完美时，纯状态判定会有假阴性，加上模型判定后训练效果更好^⁠[E59]。

第二，环境、验证器和用户模拟器的错误率要靠实测才知道，不能默认是零。多项实测量出了不小的错误率^{⁠[E49, E59, E66, E74, E80°]}；也有量出来较低的，例如一项自动成功判定和人工的 κ 是 0.922^⁠[E14]，一项审计人工核对了前 49 个环境，没有发现评审误判^⁠[E84]。

10.2分歧和证据缺口

分歧至少有九处。

1. 交付和训练的单位是环境还是轨迹。Terminal-Universe 主张环境，但它的对照有教师不同的混杂^⁠[E21]；Agent Data Protocol 认为瓶颈在轨迹格式^⁠[E40°]；多项工作在轨迹上做 SFT 并报告涨分^{⁠[E22, E23, E66]}；环境综述把“轨迹合成加 SFT”和“在线 RL”并列为两条训练路径^⁠[E2]。
2. 任务和世界谁先。先造世界再出任务^⁠[E62]，还是先出任务再反推库结构和工具^⁠[E59]；两篇没有直接对比。
3. 先有结果还是先出题。先执行再倒推^{⁠[E46, E47]}，还是先出题再求解^⁠[E45]；两边都报告了涨分。
4. 模型评审能不能当奖励。见 8.3 节^{⁠[E5, E85°, E103, E98°, E59]}。
5. 判分看终态还是看写操作^{⁠[E54, E51°]}。
6. 验证器要不要和任务分开生成^{⁠[E65°, E66, E59]}。
7. RL 前要不要先做 SFT^{⁠[E5, E97°, E101, E103]}。
8. 模拟用户应当守脚本还是像真人，手写的难缠用户有没有用^{⁠[E74, E75, E76°]}。
9. 域内专门化带来迁移还是牺牲通用能力^{⁠[E103, E94°, E101]}。

证据缺口有五处，按对实践的影响排列。

第一，真实种子和纯合成的训练对照，在有状态的任务上没有看到^{⁠[E20, E68°]}。第二，从人与人的通信到可执行任务，在检到的文献里没有先例；现有的真实数据重建都始于人对 Agent 的会话^{⁠[E17°, E18°, E19]}。这一条受检索范围的影响最大。第三，合成任务和自动生成的验证器缺少人工抽检的错误率^{⁠[E46, E59, E62]}。第四，联网重识别风险和下游 Agent 任务的损失没有被同时测量^{⁠[E32, E34]}。第五，“像真人”意义上的用户模拟保真度对训练的影响没有实测^⁠[E74]；“守脚本”意义上有一条证据^⁠[E45]。

10.3中文文献和英文文献的对比

入选的 16 篇中文文献里有 11 篇是综述^{⁠[C1°, C2°, C4°, C8°, C9°, C10°, C11°, C12°, C14°, C15°, C16°]}，1 篇是观点文章^⁠[C5°]，4 篇是具体方法或实测^{⁠[C3°, C6°, C7°, C13°]}。英文文献则以数据集、环境和训练实验为主。差别有三点。其一，中文期刊上没有检到自建的 Agent 训练环境或在环境里训练的实验报告。其二，中文综述按 Agent 的能力或技术模块组织^{⁠[C1°, C9°, C16°]}，环境和数据怎么构造不是主线；从摘要看，两篇英文的总体综述也是如此^{⁠[E1°, E4°]}。其三，有两篇中文方法论文落在英文文献少有人做的位置：从即时消息文本抽事件日志^⁠[C3°]，以及从界面交互日志反推接口知识^⁠[C13°]。会议行动项、邮件意图、群聊解缠这几个主题，在知网上没有检到相关的期刊论文。

这个对比受检索范围限制：中文只检了知网的期刊，英文没有检三个综合库。

10.4对办公数据流水线的含义

把上面的证据对到 1.2 节那条流水线上，按步骤说。

授权和公开策略（先于一切）。 文献里的做法是先按数据治理流程拿到授权，再决定公开到哪一层^{⁠[E19, E17°, E20]}。隐私过滤会让数据偏向不敏感的工作流^⁠[E20]，这个偏差要记下来。

归一化和筛。 “筛”可以不看原文，Clio 的摘要、聚类、阈值是现成的参照，但它没有在多人协作数据上验证过，隐私比例由同系列模型的审计器打分^⁠[E25]。中文期刊上有一篇从即时消息抽事件日志的方法，数据的语言和来源摘要没有说明^⁠[C3°]。群聊要先解缠再切时间线，否则切点之后的“答案”可能属于另一件事^⁠[E9°]。

挖。 “时间线就是标注”有先例，但先例都带操作痕迹：代码历史和 Agent 会话里，结果是文件、提交或工具调用^{⁠[E16°, E19, E21]}。人际消息里的结果往往只是一句“已改好”。数据里有没有日历、审批这类操作记录，决定了这条思路能走多远；只有消息时，它会退回到承诺和行动项检测的水平^{⁠[E8°, E11°]}。留存率要按很低来准备，先例是 0.37%^⁠[E19]。人做的不一定合规，一个众包语料上由模型判定的偏离比例是近三成^⁠[E14]，挖出来的只能是候选。

角色映射。 谁当用户、谁的动作当标准动作、用户有没有工具，文献没有现成答案，需要在方案里写明。“谁动手”会明显改变难度^⁠[E49]，标准动作清单要先定义^⁠[E13°]。

取模式并脱敏。 实体打码远不够；假值替换和定向涂黑能把联网攻击的平均准确率降到三分之一左右^⁠[E32]。“取模式后重写”这条路线本身没有被攻击评测过，隐私验收要自己做，攻击者要能联网^⁠[E32]。内容虚构不妨碍技能迁移有一条旁证，范围只有只读搜索^⁠[E68°]。还要给“模式”一个可度量的定义，例如用分布差异报告清洗前后任务类型和交互形态保住了多少^⁠[E19]。

写。 可以采用结果先于任务的做法，并把政策写进状态层^⁠[E46]。LOGIGEN 的代码和数据是否公开，论文没有说明。先出题再求解也有涨分的报告^⁠[E45]，两种做法可以并用。

环境执行验收。 “按标准动作做得满分、什么都不做得 0 分”是必要的^{⁠[E49, E78]}，但不充分。还要查新增、修改、删除的记录数^⁠[E81]；查白名单之外的改动^{⁠[E91, E50°]}；对标准动作做变异，包括重复写、漏写、错值、多写字段^⁠[E81]；核对工具实现和说明是否一致^⁠[E82]；让模型只看任务说明去试着骗分^⁠[E84]。只用断言、不比整库的任务会漏掉越界改动。

难度校准。 按多模型通过率分档时，用户模拟器是变量，改它的提示就会让任务换档^⁠[E72]；每个任务要多次运行^⁠[E91]。为训练选题可以参考按求解器分歧校准的做法^⁠[E90°]。

人工审计。 留一批人工逐条标注的轨迹，同时量验证器的漏判和误收^⁠[E79°]；模型评审上线前报告和人工的一致率^{⁠[E19, E14]}；信度门槛可参考组内相关系数不低于 0.70^⁠[E92°]。

切分。 按来源和时间留出测试集^{⁠[E20, E19]}。留出集和训练集共享工具定义和任务模板时，它只能当流程检查^⁠[E101]。

用户模拟。 模拟器要当作一个需要固定、报告并单独审计的变量^{⁠[E74, E72]}。用真实的人际消息来校准模拟用户的提问方式和信息给出的节奏，是一个推断：现有的两篇画像工作都取自人机对话^{⁠[E75, E77°]}，人对人的说话方式能不能搬到“人对 Agent”上，需要团队自己验证。

训练验证。 同时报告外部评测^⁠[E101]，并且把真实种子对纯合成的对照当作一项独立的实验来设计，因为文献里没有现成答案^{⁠[E20, E68°]}。公开的合成环境可以当对照组^{⁠[E59, E60°]}。

表 5 列出相关资产的公开情况。

10.5成本参考

各篇报告的成本口径不同，集中列在表 6，供做预算时参考。

10.6本综述的局限

121 篇里 88 篇只读了摘要，中文文献全部只有知网摘要，3 篇早期论文只有题录。读全文的 30 篇里发现了若干论文内部数字不一致的情况，已在单篇分析里记录。2026 年的文献大多是预印本，没有经过同行评议，数字都是作者自报。

Web of Science、ScienceDirect 和 Google Scholar 没有检索。受影响最大的结论有两处：10.2 节的第二个缺口（人际通信到可执行任务没有先例），流程挖掘、协同工作和任务型对话方向的文献可能有漏；10.3 节的中英文对比。厂商的做法基本不发论文，本文没有覆盖。

入选和归类由一个人工智能助手完成，没有第二位评审者独立筛选。初稿经过一轮独立审查，审查按单篇分析逐句核对后给出 66 分（满分 100）；按审查意见重写后，第二轮独立审查给出 83 分。第二轮指出的 4 条必须改的问题和 8 条建议已经改入本稿，这最后一批改动没有再送审。

11结论

面向 Agent 训练的数据工作，重心已经从收集轨迹扩展到建造带验证器的环境；轨迹上的 SFT 仍在使用，也仍在涨分。文献在环境怎么搭、任务怎么合成、验证器怎么检验这三件事上积累了可以直接采用的做法。验证器和用户模拟器是被审计得最多、已查出问题最多的两处。在合成或人工搭建的环境里训练并在外部评测上涨分，已有几组作者各自报告^{⁠[E59, E47, E62, E101]}，其中控制最严的一项也只有一次训练运行。

没有答案的问题集中在数据的源头：人与人的工作通信怎样变成可执行的任务，脱敏到什么程度算够，真实数据做种子能不能带来纯合成得不到的增量。对手里有真实数据的团队，建议的顺序是：先确认数据里有哪些操作记录，再给现有任务补上状态层面的检查，然后把真实种子对纯合成的对照设计成一项独立的实验。