游客发表

这项突破性研究由腾讯微信AI团队完成,腾讯团队相关论文于2026年6月23日上传至预印本平台arXiv,微信编号为 arXiv:2606.08671v2,次永归属于计算机学习领域(cs.LG)。远记感兴趣的腾讯团队开发者与研究人员可通过该编号在arXiv平台直接查阅完整技术文档。
一个关于“经验传递”的困境
设想你拥有一位高效的AI助手,它掌握了在特定网站报错时切换搜索工具的远记技巧。你将这一经验记录为便条交给新助手。腾讯团队然而,微信当网站再次改版出现新错误时,次永新助手因缺乏对原始决策背景的远记理解,机械执行过时方案,腾讯团队导致效率低下。微信
这正是次永当前主流AI助手面临的共性难题:只传递结果,不传递记忆。腾讯微信AI团队针对这一痛点,研发了 SkillHone系统,旨在解决AI在技能迭代中“只传经验、不传记忆”的根本缺陷,实现真正的长期记忆积累。
在SkillHone的语境中,“技能(Skill)”并非指底层的算法模型,而是一套可打包、可传递、可加载的操作手册。
目前主流的AI技能优化方法主要分为两类,但均存在“过程丢失”的问题:
共同缺陷:仅保留最终版本的技能文件,丢失了优化过程中的尝试、失败原因及决策逻辑。这如同厨师只留下最终菜谱,却未记录失败实验,导致后来者重复踩坑。
SkillHone的核心创新在于将每一次技能修改视为一份“法庭证据”进行管理,构建持久的决策历史链(Persistent Decision History)。
每条记录包含四个关键要素:
* 诊断(Diagnosis):触发修改的具体问题。
* 候选修订(Candidate Revision):提出的解决方案。
* 评估证据(Evaluation Evidence):用于测试方案的脱敏数据。
* 判决(Verdict):接受、拒绝、修改或搁置的决定。
这使得后续AI在面对新问题时,能避免重复已被验证无效的路径,实现基于历史经验的智能决策。
SkillHone采用严格的角色分离(Role Separation)架构,确保优化过程的公正性与泛化能力。系统由三大模块组成:
| 模块 | 角色 | 权限与职责 |
|---|---|---|
| 优化团队 (Optimization Agent Team) | 诊断者、探索者、开发者、审查者、决策者 | 可修改技能文件;可查看历史决策记录;不可见测试题标准答案及评分细则。 |
| 评估团队 (Evaluation Agent Team) | 执行者、诊断者、报告者、审计者 | 不可修改技能文件;可见完整测试题、标准答案及执行日志;生成脱敏报告。 |
| 调度器 (Dispatcher) | 协调者 | 传递脱敏报告,记录决策结果,连接优化与评估流程。 |
评估团队向优化团队传递的是脱敏报告(Desensitized Report),仅总结失败模式与诊断假设,隐藏具体题目与答案。这迫使优化团队通过理解问题本质来改进技能,而非通过“背题”投机取巧。
系统公式表示为:$M = (T_{opt}, T_{eval}, D)$
SkillHone借鉴GitHub工作流实现持久化:
* Issue:记录诊断出的问题。
* Pull Request:包含提出的修改方案。
* Merge/Reject:对应最终决策记录。
研究团队在深度网络调研(Deep Web Research)场景下验证SkillHone,该场景具有环境动态变化(网站改版、API限流)的特点,极具挑战性。
在公平起跑线上,SkillHone展现了显著优势:
| 方法 | GAIA 平均准确率 | WebWalkerQA-EN 准确率 |
|---|---|---|
| 现有技能 | 41.7% | 50.2% |
| Skill-Creator | 44.1% | 38.1% |
| Hermes-SE | 50.4% | 53.0% |
| SkillHone | 64.6% | 66.4% |
| 商业搜索代理(参考) | 48.8% | 63.2% |
关键洞察:
* 超越商业代理:在无特权搜索工具的情况下,SkillHone在GAIA上超越商业代理 15.8%,在WebWalkerQA-EN上超越 3.2%。
* 难度适应性:在GAIA L2级别(中等难度),SkillHone(66.7%)远超Hermes-SE(40.9%),证明其在复杂情境下的工具组织与运用能力更强。
将SkillHone在Qwen3.6上优化的技能包,直接部署至Claude Sonnet 4.6(无额外优化),GAIA准确率达 72.4%,显著高于其他方法在同一模型上的表现。这证实了技能包编码的是可复用的任务逻辑,而非针对特定模型的过拟合。
研究团队通过移除核心机制,量化各组件的贡献:
| 变体 | GAIA 准确率 | WebWalkerQA-EN 准确率 | 降幅 |
|---|---|---|---|
| SkillHone (完整) | 64.6% | 66.4% | - |
| 无决策历史 | 51.2% | 55.5% | -13.4% / -10.9% |
| 无角色分离 | 58.2% | 61.1% | -6.4% / -5.3% |
结论:
* 决策历史是核心驱动力,贡献最大。
* 角色分离防止了优化捷径,确保了泛化能力。
* 两者协同作用,共同支撑了SkillHone的性能优势。
在内部工作流的7个工具辅助分析任务中,SkillHone展现了广泛的适用性:
| 方法类别 | 代表工作 | 局限 | SkillHone 优势 |
|---|---|---|---|
| 提示词优化 | DSPy | 单次运行封闭,仅优化产物 | 持续迭代,保留完整决策记忆 |
| 反射式优化 | Reflexion | 依赖语言反馈,易陷入局部最优 | 结构化档案,避免重复踩坑 |
| 进化式优化 | GEPA | 单次运行内迭代,无长期记忆 | 跨时间/跨代理的知识沉淀 |
| 多智能体协作 | MetaGPT | 侧重任务执行,非工具维护 | 侧重工具本身的持续维护与改进 |
SkillHone的定位不是“单次运行中的最佳优化”,而是“任意多次运行中的持续改进”,确保长期迭代中不走回头路。
论文附录展示了SkillHone在5轮优化中的具体轨迹,对比Hermes-SE:
核心差异:SkillHone能精准撤销失败部分并保留成功部分,而Hermes-SE只能整体接受或拒绝。
Q1:SkillHone与普通AI技能优化方法有什么区别?
A:普通方法在优化结束后仅保留最终技能文件,丢弃过程记录。SkillHone完整记录每次修改的诊断、方案、证据及决定,形成持久决策档案,使后续优化能查阅历史,避免重复踩坑。
Q2:SkillHone为何严格分离优化方与评估方?
A:防止优化方通过“背题”(直接查看标准答案)投机取巧。通过仅传递脱敏失败模式报告,迫使优化方真正理解问题本质,提升技能的泛化能力。消融实验显示,移除角色分离会导致GAIA准确率下降6.4%。
Q3:SkillHone优化的技能包是否跨模型兼容?
A:是。实验表明,在Qwen3.6上优化的技能包直接部署至Claude Sonnet 4.6,GAIA准确率达72.4%,显著优于其他方法。这证明技能包编码的是通用任务逻辑,而非特定模型适配。
随机阅读
热门排行
友情链接