要点: 随着长上下文智能体压缩记忆,攻击者利用该过程发起拆分攻击以绕过静态检查。能够在记忆转换过程中保留威胁标记的状态安全监控,现已成为企业AI的关键防御手段。

现状分析

状态安全监控是指跨越多次交互,追踪并标注AI智能体记忆历史,从而检测碎片化恶意意图的做法。企业从被动式聊天机器人向自主代码智能体的转型,引入了全新的攻击面。为了在计算限制内运作并控制高昂的推理成本,长上下文智能体必须定期压缩内部记忆。这一操作上的必然要求,为那些仍依赖标准防火墙规则和静态提示词扫描的企业安全团队带来了巨大的盲区。

最近的一项分析《在长上下文代码智能体的压缩过程中捕获拆分攻击》指出,这一漏洞已成为攻击目标。攻击者利用记忆压缩机制部署“拆分攻击”——故意将恶意指令分割成看似无害的碎片。由于这些独立的碎片本身不包含危险语法,它们在输入时能顺利绕过标准安全检查。只有当智能体在记忆压缩周期内自主将它们拼接时,这些指令才会执行。该研究引入了LCM数据集,以评估不同监控策略应对这一特定威胁的效果。结果表明,标注历史记录策略(本质上等同于状态安全监控)成功捕获了长上下文智能体中93%的此类碎片化恶意行为。

关键驱动力

状态安全监控从根本上改变了我们评估和治理AI风险的方式。在API网关和Web应用防火墙方面,传统的企业安全架构基本上是无状态的。它们检查传入的请求,判断其是否包含已知特征或恶意意图,然后拦截或允许流量通过。但自主AI智能体并不是一个无状态的端点;它是一个推理引擎,能够在较长的时间跨度内构建上下文、制定计划并执行操作。

在典型的企业部署中,AI智能体极少是孤立存在的。它深度集成于核心业务工作流中,拥有查询内部数据库、更新客户关系管理系统或向生产环境代码库提交代码的有效权限。如果攻击者在周一向代码智能体输入一段无害的函数定义,又在周二输入一个同样无害的执行触发器,无状态扫描器只会看到两次绝对安全的交互。然而,智能体会在周三的压缩周期中将二者结合,执行一段从未以完整形态被扫描过的有效载荷。

这种时间差正是推动企业采取新安全范式的核心力量。随着组织逐步扩展其智能体流程自动化,这些智能体获得了针对关键基础设施越来越深的访问权限。运行这些长上下文工作流的财务和计算成本极高,迫使工程团队实施激进的记忆压缩和摘要技术。每次智能体为了节省token而总结历史记录时,原始输入文本都会被转化为浓缩的语义表示。如果安全标记和风险评分不能随着文本的语义信息一起传递,企业就会完全失去对智能体真实意图的可见性。如果系统自身的记忆优化程序主动向企业审计日志隐瞒恶意意图,首席信息安全官就无法为这类自主系统开具通行证。

状态安全监控的发展情境

随着攻击者和企业防御者对这一威胁向量的理解不断加深,未来十八个月内,企业在采用状态安全监控方面可能会走向以下三种轨迹之一。

基准情境:修补式防御 大部分组织继续将自主智能体视为简单的对话模型,采用标准API网关和基础的提示词扫描器来保障安全。随着这些智能体扩展到复杂且长时间运行的任务,由于安全层缺乏时间感知能力,拆分攻击得以成功执行。结果导致一系列引发高度关注的静默入侵事件,智能体自主执行恶意代码或窃取知识产权。这些事件迫使董事会突然叫停企业AI的部署,摧毁了高管对自动化的信任,使数字化转型的时间表倒退数年。

加速情境:原生编排层安全 行业领先的企业认识到了静态扫描的局限性,并强制要求直接在编排器层面实施状态安全监控。系统不再无状态地扫描输入,而是标注智能体的记忆历史记录,即使底层token上下文被压缩,也能保留可疑标记。这种方法与在LCM数据集上展示的93%成功率相呼应。安全演变为了一个持续的、具备上下文感知能力的过程,与智能体的推理速度保持同步,使企业能够在不影响治理或合规的前提下部署复杂的长上下文AI工作负载。

停滞情境:重返封闭生态 由于担心在防范复杂的拆分攻击时保护自主系统过于复杂,保守的风险和合规团队对智能体的上下文窗口和最大任务时长施加了严格限制。智能体被严格限制在无状态的单轮操作中,单次查询后立即重置。虽然这种生硬的方法消除了压缩漏洞,但也严重限制了投资回报率。企业被困在基础聊天机器人时代,远远落后于成功解决状态监控挑战的AI原生竞争对手。

趋势展望

企业领导团队必须密切关注开源智能体框架和商业AI网关的演进。关键的风向标在于这些平台何时从提供外部的、基于时间点的扫描器,转向原生集成状态追踪和历史记录标注功能。此外,高管应密切观察监管框架如何适应自主能力。欧盟AI治理的规定已经要求高风险系统必须具备稳健的风险管理和人工监督机制。随着监管机构充分认识到拆分攻击的独特威胁,在长上下文会话中保留持续的、具备状态感知的审计跟踪将从推荐的最佳实践转变为严格的合规要求。

首席AI官Aaron Ranson: “当智能体具备记忆的那一刻起,静态提示词扫描就已经过时了。如果你的企业安全控制系统遗忘操作上下文的速度比智能体还快,那么你就是在盲目飞行。”

常见问题

问:什么是AI拆分攻击? 答: 当恶意行为者将有害指令分割成几个看似无害的碎片时,就会发生拆分攻击。这些碎片单独出现时能够绕过静态安全扫描器,只有在随后通过AI智能体的记忆处理机制合并时,才会执行恶意载荷。

问:AI记忆压缩是如何工作的? 答: 长上下文智能体会定期压缩其操作历史记录,以节省计算内存和token成本。这种总结过程可能会将先前碎片化的输入拼接起来,从而在无意中创建出一个危险的新上下文,而该上下文从未经过安全层的明确扫描。

问:什么是针对AI的状态安全监控? 答: 状态安全监控能够随着时间的推移持续追踪智能体的上下文。通过标注智能体的历史记录并在记忆压缩过程中保留可疑标记,它评估的是智能体的聚合意图,而不仅仅是查看孤立的单轮输入。

问:为什么标准防火墙无法防范自主智能体? 答: 标准的Web应用防火墙和API网关本质上是无状态的。它们只在单一时间点扫描单独的请求,因此无法检测出几天后智能体将多个无害输入合并为单一恶意行为时才显现的威胁。

我们的观点

在Thinkia,我们认为状态安全监控不仅是一个技术补丁,更是任何部署自主系统的组织都必须具备的基础架构要求。如果你无法治理AI智能体的记忆,你就无法治理AI智能体。数据清楚地表明,标注历史记录的策略是有效的,能够在绝大多数碎片化载荷执行前将其有效中和。这种转变要求企业安全团队和AI工程师之间实现更高水平的协作——安全不再是事后添加的外部包装;它必须被直接编织进智能体自身的认知架构中。

我们构建企业实际运行的AI系统,这意味着我们需要设计能够原生处理这种状态追踪的编排层。通过Thinkia Synapse——我们用于AI治理、安全和成本控制的统一智能体平台:编排智能体、模型和工作流——企业可以确保其安全上下文的保留时间与操作上下文完全一致。通过在记忆压缩过程中安全地保留威胁标记,我们使企业能够安全地扩展长上下文智能体,将先进的自主能力与最高管理层严格的风险控制要求完美结合。