Agent死循环排查与解决：四重关卡，构建稳定系统

来源：抖音 @agent领域大神

Agent在执行任务过程中可能会陷入死循环，这不仅消耗资源，还可能导致任务失败。理解Agent死循环的发生机制并掌握相应的检测与解决策略至关重要。本文将从死循环的形态、检测方法、打破策略及根因修复进行详细阐述，最终目标是构建一个可检测、可打破、可定位、有兜底的稳定Agent系统。

Agent死循环的三种长相

Agent的死循环并非单一形态，主要可归结为以下三种：

反复调用同一动作：
- 特点：Agent在执行过程中，反复地调用一个工具或接口，不尝试其他动作。
- 例子：反复调用同一个查询工具，但每次查询结果相同，无法推进。
- 表现：日志中持续出现对同一动作的重复执行记录。
两状态间横跳：
- 特点：Agent在两个不同的状态（A和B）之间反复切换，无法跳出。
- 例子：Agent在“思考”和“行动”之间来回切换，但无法做出有效决策以进展。
- 表现：状态日志或动作序列中出现明显的A-B-A-B交替模式。
工具失败仍硬重试：
- 特点：当某个工具调用失败后，Agent仍持续尝试重试该工具，重试次数不断增加。
- 例子：工具调用超时、返回错误或数据不正确，但Agent不切换策略，反而持续重试。
- 表现：日志中显示工具重试次数连续上升，且伴随失败或错误信息。

为了有效地检测Agent死循环，我们需要采取多维度的分析方法，不仅仅是检查单一的步骤，更要关注整个执行轨迹。

检测流程：状态Hash去重 → 动作历史比对 → 步数阈值 → 相似度 → 发现重复并报警

状态Hash去重：
- 对每个Agent的状态计算哈希值（Hash）。
- 将计算出的哈希值存储在一个已访问的集合中。
- 如果当前状态的哈希值已存在于集合中，则初步判断为重复状态。
动作历史比对：
- 记录Agent的动作序列历史。
- 对于检测到的重复状态，比对其前后的动作序列，识别重复的行动模式。
- 例如，若近期动作序列与历史记录中的某个序列匹配，则可能处于循环中。
步数阈值：
- 设置一个步数阈值（例如100步）。
- 只有当Agent的当前步数达到或超过阈值后，才开始进行重复判断，避免误判短时重复。
相似度计算：
- 计算当前状态与历史状态特征的相似度，允许一定程度的细微差异，避免严格相等条件导致的漏判。
- 当相似度超过设定的阈值时，视为重复状态。

看轨迹，不只看单步

仅仅关注Agent的单一步骤不足以判断死循环。我们需要将最近几步的状态和动作连接起来，分析其完整轨迹。例如，如果出现“A -> B -> A -> B”这样的环状轨迹，基本可以断定Agent已陷入卡死状态。

一旦检测到死循环，必须积极采取措施将其打破。这里提供三种策略：

最大步数上限：
- 为每轮Agent执行设定一个最大步数N。
- 当达到此上限时，立即停止当前策略的执行，防止无限循环耗尽资源。
检测到重复 ⇒ 强制换策略：
- 记录Agent访问过的状态和结果。
- 一旦检测到Agent进入循环（即再次访问已访问过的状态），立即切换到其他策略进行尝试。这类似于引入外部干预，强制Agent跳出当前思路。
给决策加点随机性：
- 在原有决策基础上引入一个随机因子。
- 打破Agent的确定性行为模式，增加探索新路径的可能性。
- 例如，在多个可选动作中，赋予一定概率选择非最优或随机动作，从而增加跳出循环的概率。

换策略 ≠ 瞎换：换策略不是盲目进行。它要求Agent跳出当前思路，具体方法可以包括：

Agent陷入死循环往往不是程序上的Bug，而是设计或实现上的缺陷。从根本上解决问题需要关注以下三个方面：

Prompt不清：
- 目标模糊：目标定义不明确，导致Agent无法聚焦。
- 约束不足：Prompt中未充分约束Agent的行为，使其自由度过大，易陷入歧途。
- 示例缺失或不充分：缺乏足够的示例，Agent无法学习到正确的行为模式。
- 输出格式不明确：Agent输出格式混乱，导致后续处理失败并反复尝试。
Observation没回灌：
- 工具执行的结果未被有效反馈给后续步骤，导致Agent无法更新上下文。
- Agent的上下文信息未及时更新，每次决策都基于过时的信息。
- 信息断层导致Agent重复尝试已失败的路径，无法学习和改进。
缺少停止条件：
- 没有明确的完成标准：Agent不知道何时任务算完成，无止境地执行。
- 未设置最大轮次限制：像上述的“最大步数上限”是必要的物理限制，避免无限循环。
- 未处理异常退出路径：Agent在遇到非预期情况时，缺乏合理的退出机制。

重点排查：Observation回灌

当Agent重复同一动作时，一个常见原因是“工具结果未回灌上下文”。这意味着工具执行返回的结果未能被Agent及时获取并更新到其内部上下文。因此，Agent在每一轮决策时，看到的输入信息都是相同的，这自然会导致它一遍又一遍地重复同一个动作。

解决方案：确保工具执行的结果能够正确地回灌到Agent的上下文（例如内存、观察缓冲区），以便Agent能够根据最新的信息进行决策。

即使做了充分的检测、打破和根因修复，仍然需要一个最终的兜底机制，以应对不可预测的情况。

回退到上一个Checkpoint：
- 当Agent超过设定的执行上限或出现无法解决的循环时，回退到系统记录的上一个稳定检查点（checkpoint）。
- 这可以避免Agent陷入深度困境，并为后续的人工介入提供一个已知的良好状态。
升级转人工：
- 如果Agent在经过自动尝试后仍无法解决问题，应将任务无缝转交给人。
- 这确保了复杂或异常情况能够得到及时有效地处理，防止任务彻底失败。
返回当前最优解：
- 如果无法继续执行或转人工，系统可以返回Agent在执行过程中产生的、截至目前为止的最优或最接近目标的解。
- 虽然不是完美结果，但至少提供了部分有用的输出，避免了完全的失败。

通过综合运用这些策略，我们可以将Agent从一个容易陷入死循环的系统，转化为一个可检测、可打破、可定位、有兜底的稳定系统，从而在实际应用中发挥更大的价值。