来源:抖音 @肖恩君Sean
AI智能体,如ChatGPT或Claude,已成为我们日常生活中不可或缺的工具。它们能理解并回应用户请求,其背后依赖着一套复杂的内存系统。本文章将深入剖析AI智能体内存系统的工作原理和设计,帮助读者理解如何通过结构化记忆提升AI的效率和个性化体验。
智能体核心会话:短暂的“工作记忆”
- 用户提示词(User Prompt):用户向AI提出的问题或指令。
- 当前聊天历史(Current Chat History):此对话会话中用户与AI之间的所有交流记录。
- 系统提示词(System Prompt):预设给AI的指令,例如为其设定角色(如“你是一位耐心解答客户问题的客服机器人”),确保AI以特定风格或行为方式回应。
这三项要素共同构成AI的“工作记忆”或“上下文RAM”。当用户输入提示词时,AI智能体会将这些信息整合起来,形成一个完整的上下文,然后由大型语言模型(LLM)——如GPT或Claude——进行处理,并生成回复。这个会话框内的一切都是临时的,除非被手动保存,否则会话结束后,这些信息便会消失。
然而,为了让AI智能体能够处理更复杂、跨会话的问题,仅仅依靠短暂的工作记忆是远远不够的。例如,如果用户询问上次购物的商品、公司的产品详情、或希望AI了解其个人喜好,就需要引入更持久的记忆机制。
强化记忆:程序记忆、语义记忆与情景记忆
为了构建更完整的记忆系统,需要引入以下三种主要的记忆类型,它们共同为工作记忆提供更丰富、更持久的信息:
1. 程序记忆(Procedural Memory)
程序记忆存储的是“如何行动”的指令和技能,通常以文件或文本形式存在。例如:
- 行为准则:当客户情绪激动时,AI应如何礼貌地回应并道歉。
- 技能指令:一系列重复性任务的执行步骤,可以是一个Markdown文件,详细描述AI应遵循的特定流程。
程序记忆就像是给员工设定的行为习惯或操作手册,让智能体在特定情境下有标准的应对方式。
2. 语义记忆(Semantic Memory)
语义记忆存储的是长期、静态、客观的事实和用户信息,这些信息通常不会轻易改变。它通过“向量存储(Vector Store)”进行管理,并通过检索增强生成(RAG - Retrieval Augmented Generation)技术被智能体按需获取。
- 持久事实(Durable facts):关于公司、产品、品牌理念、服务条款等静态信息。例如,“我们的公司叫XYZ,主要销售创新型科技产品。”
- 用户画像(User profile):用户的个人偏好、历史行为、重要信息等。例如,如果用户经常购买特定类型的商品,或有特定的投诉历史。
通过RAG机制,AI智能体可以根据用户问题,仅从海量语义记忆中检索最相关的少量信息,而不是将整个知识库一次性输入LLM。这大大节省了Token使用量,降低了成本,并提高了响应速度和准确性。
3. 情景记忆(Episodic Memory)
情景记忆储存的是带有时间戳的事件和活动,它记录了智能体与用户之间的历史交互。也通过“向量存储(Vector Store)”进行管理,并通过RAG技术被智能体按需获取。
- 时间事件(Dated events):发生过的、有具体时间点或时间段的事件。例如,“上次有客户投诉是因为产品送货延迟。”
- 过去聊天记录(Past chat history):与特定用户或在特定情境下的所有历史对话。
情景记忆就像是一个带有时间轴的日志,记录了过去发生的一切。与语义记忆类似,情景记忆也通过RAG机制,将与当前用户问题最相关的历史事件和对话,提供给工作记忆。
优化与整合:Summarizer Agent
为了有效地管理情景记忆并避免数据爆炸,引入“总结智能体(Summarizer Agent)”至关重要。
当AI智能体与用户进行多轮对话时,每次交互都会产生新的聊天记录和活动。如果每次都将所有新信息原封不动地保存到情景记忆中,会导致数据库迅速膨胀,检索效率降低,并且不必要的Token开销会非常高。
因此,系统会设定一个阈值(例如,每N次新的聊天后),智能体才会对这些新信息进行整合。这个过程由“总结智能体”(通常使用更经济的模型,即cheaper models)完成。总结智能体将来自情景记忆的原始活动和聊天记录进行提炼,将其压缩为更精炼、更抽象的“事实”,然后将这些总结后的事实存储到语义记忆中。这个过程被称为“提炼成事实(Distill into facts)”。
这种机制的优势在于:
- 效率提升:避免了在每次检索时都遍历庞大的原始聊天记录,减少了计算资源消耗和延迟。
- 成本优化:减少了向大型LLM传递的上下文长度,从而节省了Token成本。
- 长期记忆构建:通过提炼,将短期的、具体的对话细节转化为有用的、可持久化的知识,丰富了AI的长期语义记忆,使其能更好地了解用户和公司情况。
总结
AI智能体内存系统的关键在于构建一个多层次、协同工作的记忆架构:短期记忆负责当前会话的上下文理解;程序记忆提供行为准则和技能;语义记忆存储核心事实和用户画像;情景记忆记录历史事件和对话。通过检索增强生成(RAG)技术,智能体能从长期记忆中按需获取相关信息,并通过总结智能体将临时事件提炼为持久知识,实现高效、智能且具个性化的交互体验。这种现代化的内存策略对于构建强大的AI应用至关重要。