SkillOS: 让智能体学会技能自我治理与进化

来源：抖音 @大厂吾师兄（AI篇）

Google、UIUC、MIT等机构共同提出了一个名为SkillOS的框架，旨在让智能体能够自我管理并不断完善其技能库，从而完成更复杂的任务并随时间成长。这一框架的提出，正是为了解决当前大语言模型智能体在任务执行中普遍存在的“程序性记忆缺失”问题。

智能体技能治理的瓶颈

当前，大型语言模型（LLMs）驱动的智能体在完成任务时常陷入一个“失败的循环”：在执行任务、出错、重试的过程中，它们无法有效地积累经验，每次都需要从头开始学习。传统的技能管理方法存在诸多局限性：

• 人工维护：需要手动编写技能，难以扩展和维护。
• 启发式规则：缺乏反馈机制，难以优化策略。
• 传统强化学习（RL）：只能教会模型如何使用技能，无法管理和更新技能库。
• SkillClaw等框架：虽然积累了技能，但依然依赖人工标注，且无法实现自我进化。

这些方案都未能真正解决智能体的“记忆缺失”问题，使其无法将过去的经验转化为应对未来新情况的能力。

SkillOS：经验驱动的RL技能治理框架

SkillOS是一个经验驱动的强化学习（RL）技能治理训练框架，其核心目标是实现更高层次的控制，即管理技能库本身，而非仅仅执行具体指令。它通过双向技能循环（bidirectional skill loop）工作，主要包含两个关键组成部分：

1. SkillRepo（技能库）：这是一个外部技能库，将每个技能统一为Markdown文件格式（Skill.md），其中包含YAML元信息和Markdown正文。这种格式既便于管理，又能清晰描述技能的功能和用法。
2. Frozen Executor（冻结执行器）：这是智能体的主体，负责检索和应用技能。它本身不会被训练或修改技能库，而是通过BM25等检索算法从SkillRepo中获取最相关的技能，并结合当前观测信息生成动作。
3. Curator（治理器）：这是一个可训练的RL模型，充当技能管理员，负责学习如何管理整个技能库。它会根据执行器的任务执行轨迹和结果，决定是新增、更新还是删除技能，并将修改后的技能库反馈给执行器，从而实现技能的自我迭代与完善。

通过这种执行与治理分离的架构，SkillOS能让智能体在执行任务的同时，不断优化自身的技能体系。

能力亮点与实验效果

SkillOS最大的创新在于将技能的执行层和治理层彻底分离。执行器可以替换为不同的骨干模型（如Qwen 3.8B或Gemini 2.5 Pro），而治理器则可以在不同模型之间迁移。这种跨骨干和跨领域的迁移特性，使得SkillOS具有高度的灵活性和适应性。

在任务执行方面，SkillOS通过关联任务分组和复合奖励机制，将难以处理的反馈信号转化为可学习的信号。实验结果显示：

• 在多轮的ALFWorld和Web Shop任务上，Qwen 3.8B模型的任务成功率从55.7%提升到61.2%。
• Gemini 2.5 Pro模型的成功率从66.4%提升到80.2%，最高相对提升达到9.8%。
• 交互步骤平均减少6%。

这些数据表明，SkillOS显著提升了智能体在复杂任务上的成功率和效率。

局限性与风险

尽管SkillOS表现出色，但仍存在几项潜在风险和局限性：

• 训练开销大：训练过程需要用到GRPO、任务组采样、多轮Rollout等复杂技术，对计算资源要求较高，并非简单的API调用就能实现。
• 格式限制：技能格式必须是Skill.md，无法直接管理任意代码或工具链，限制了其通用性。
• LLM裁判偏差：奖励计算部分依赖大模型进行评分，可能引入裁判偏差和额外的成本。
• 领域外推不确定：评测集主要限于ALFWorld和WebShop，在其他业务场景下的效果需要自行评测，不能简单地认为80%的成功率可以直接推广。

SkillOS工作原理：执行与训练

原理·执行：冻结执行器

执行器（Frozen Actor）在接收到用户任务（query）时，会利用BM25关键词召回算法从SkillRepo（技能库）中检索出最相关的多个技能（TopK），然后将任务、观测信息和检索到的技能拼接成Prompt，交由冻结的执行器生成动作（Action）。执行器本身不会被训练，也不会修改技能库，它更像一个“工人”，只负责干活，不负责提升自己。

原理·训练：治理器训练

治理器负责根据任务的执行轨迹和结果，调整技能库。训练过程主要涉及以下几点：

1. 任务按技能相似度分组：将所有任务根据技能依赖的相似度分成不同组，同组任务按顺序执行。前面的任务通过积累技能，为后面的任务挑战更难目标奠定基础。
2. GRPO多次采样：通过GRPO算法进行多次采样，仅更新治理器参数，并主动去除KL散度项，以鼓励治理器探索更多样化的编辑策略。
3. 复合奖励4等分：优化目标是一个复合奖励，综合考虑任务成功率、合法函数调用、语义裁判得分、以及技能压缩率等四个部分。

适用场景与起步建议

SkillOS特别适合于长期运行、有流式数据或连续任务、且能提供稳定反馈的场景。同时，团队需要愿意投入时间和资源进行离线训练。

不推荐在以下场景使用SkillOS：

• 一次性或短对话任务。
• 难以获得稳定反馈的任务。
• 技能必须是二进制工具链，无法写成Skill.md格式的任务。
• 无法承担强化学习带来的训练开销的团队。

对于想要尝试SkillOS的团队，最稳妥的起步路径是：

1. 冻结强执行器：选择一个已很强大的模型作为执行器，并将其冻结不训练。
2. 精选Skill种子：手动挑选少量高质量的Skill.md文件，组成一个“小而精”的初始技能库。
3. 观察后渐进交予治理器：观察这些技能的使用情况，然后逐步决定将哪些技能的管理交由SkillOS自动管理。这与单纯不断增加技能文件有本质区别，旨在实现智能体真正的自我成长，而非简单堆叠功能。

SkillOS的出现，为构建能够自主学习和进化的智能体提供了新的思路和框架，是推动人工智能从“会做”到“会学”的关键一步。