内容摘要： 自适应计算是一种新兴的人工智能技术，模型能根据任务的复杂性动态分配资源。这种方法通过显著提升大语言模型的效率，使庞大的长上下文模型在企业应用中兼具成本效益和高性能，因此至关重要。

什么是自适应计算

在过去几年里，人工智能进步的故事一直是关于“蛮力”的：更大的模型、更多的数据和更长的上下文窗口。虽然这释放了令人难以置信的能力，但也带来了惊人的计算开销，尤其是在推理阶段。一种新的范式正在兴起以应对这一挑战：自适应计算。简单来说，自适应计算允许模型根据接收到的具体输入，动态调整其投入的计算量。它不再用最大的力气处理每一个查询，而是学会了更聪明地工作，而不仅仅是更努力地工作。

最近的一篇研究论文 Elastic Threshold Attention: Learned Contextual Sparsity for Long-Context Decoding 详细介绍了一个引人注目的例子。该论文引入了一种技术，使大语言模型（LLM）能够学习一个很长的文档中哪些部分是重要的，哪些可以被安全地忽略。这类似于一位人类专家在浏览报告时，会重点关注关键部分，而忽略那些样板化的内容。对于那些因长上下文模型成本高、速度慢而苦恼的企业来说，这种从蛮力处理到智能、选择性注意力的转变，代表了一项重大突破。

它的工作原理

要理解自适应计算的价值，我们首先需要了解长上下文大语言模型中的主要瓶颈：键值（KV）缓存。在支撑大多数大语言模型的标准 Transformer 架构中，注意力机制允许模型权衡输入中不同词元（token）的重要性。为了高效地做到这一点，它将每个词元的键（key）和值（value）向量存储在 KV 缓存中。问题在于，这个缓存的大小随着输入上下文的长度线性增长。对于一个拥有一百万词元上下文窗口的模型来说，这个缓存会变得异常庞大，消耗大量高带宽内存，并减慢每个新词元的生成速度。

解决这个问题的传统方法，如固定稀疏注意力，使用预定的模式来限制哪些词元可以相互关注。虽然这减少了计算量，但它是一种生硬的手段，可能导致模型错过关键的、长距离的依赖关系，从而导致质量下降。像弹性阈值注意力（ETA）这样的自适应技术则要复杂得多。ETA 不使用固定模式，而是增加了一种机制，让模型为每个注意力头学习一个动态阈值。在推理过程中，它利用这个学习到的阈值来决定哪些词元对于当前任务是“不重要的”，并可以被实时地从 KV 缓存中修剪掉。

这种动态的、习得的稀疏性是关键所在。模型不是随机或基于固定规则丢弃词元，而是根据每个查询，就如何分配其计算预算做出明智的决定。这极大地减小了 KV 缓存的大小以及相关的内存带宽需求，从而在不出现早期方法性能下降的情况下，实现了更快的推理速度和更低的运营成本。这个核心思想与 Transformer 架构 的基础工作中描述的高效计算原则相一致，但通过增加一个关键的动态智能层对其进行了扩展。

它为何对企业至关重要

自适应计算对企业级人工智能的实际影响是深远的。对于许多组织来说，百万词元上下文窗口的承诺——能够对整个代码库、全面的财务报告或详细的病患历史进行推理——一直被推理成本和延迟的严酷现实所制约。自适应技术直接解决了这个问题，将一种理论上的能力转变为一个实用的商业工具。

首先，它从根本上改变了长上下文用例的投资回报率（ROI）计算。通过大幅降低内存和计算需求（早期结果显示可提速 2-4 倍），自适应计算使得部署那些以前仅限于研究实验室的应用在经济上变得可行。其次，它改善了用户体验。更快的推理意味着更低的延迟，这对于高级聊天机器人、编程助手和实时数据分析工具等交互式应用至关重要。最后，它保障了人工智能投资的未来价值。随着模型规模的持续增长，效率将成为价值的主要决定因素。通过采用具有自适应能力的模型，企业可以构建更具可持续性和可扩展性的人工智能平台。

如何正确应用

采用具有自适应计算能力的模型并不像替换一个 API 那样简单。我们认为企业领导者需要考虑几个关键因素。首先，这是一种架构上的改变，意味着这些能力将被内置于下一代基础模型中，而不是附加到现有模型上。供应商的选择将需要对模型的底层效率机制进行更深入的评估。其次，像 ETA 这样的技术的“习得”特性表明，在特定领域数据上进行微调将至关重要，以教会模型在特定业务背景下（例如法律文件与临床文件）什么是重要的，什么是不重要的。

最后，评估指标必须与时俱进。领导者不能再只关注准确率基准。一个恰当的评估现在必须包括一个涵盖准确率、延迟和总拥有成本的平衡计分卡。这需要一种更复杂的 MLOps 和性能监控方法。理解这些细微差别是构建持久人工智能战略的核心部分，因为许多现在涌现的高级推理技术都要求我们改变衡量和管理人工智能性能的方式。一个稳健的评估框架可以确保您不仅采用了一个强大的模型，而且是一个高效且经济上可行的模型。

常见问题解答

问：自适应计算只对长上下文模型有用吗？

答：虽然由于 KV 缓存瓶颈，其在长上下文模型上的影响最为显著，但动态分配计算资源的原则可以提高各种人工智能任务的效率。我们预计这一概念将被应用于视觉模型、多模态系统，甚至更小的、特定于任务的语言模型。

问：这与量化或蒸馏等其他效率技术有何不同？

答：量化和蒸馏通常是在模型部署前执行的静态、一次性优化。而自适应计算是动态的、依赖于输入的；模型会针对每一个查询实时调整其资源使用，使其成为一种更灵活、更智能的优化形式。

问：我们什么时候能看到这项技术应用于商业化的现成模型中？

答：这目前是一个活跃的研究领域。然而，考虑到基础模型提供商之间为降低推理成本而面临的激烈竞争压力，我们预计领先的商业模型将在未来 12 到 18 个月内整合类似的自适应技术。

问：这会带来新的风险吗？比如模型忽略关键信息。

答：是的，这是一个潜在的风险。如果模型学习到的阈值校准不当，它可能会错误地从上下文中修剪掉重要的词元，导致事实错误或遗漏细节。这凸显了在将这些模型部署到高风险应用之前，进行稳健的、特定领域的测试和评估的至关重要性。

结论

自适应计算代表了人工智能技术的一个关键成熟标志，它将焦点从对规模的单一追求转向了对效率的均衡和可持续追求。它是一个赋能层，将使超大语言模型的巨大威力变得实用且经济实惠，从而在企业中得到广泛采用。对于领导者而言，要点很明确：最强大的人工智能模型不一定是最大的，而是那个能够智能地管理其资源，以实现每美元和每秒所能创造的最大价值的模型。在您制定人工智能路线图时，理解并规划向计算效率的转变，对于建立持久的竞争优势至关重要。在 Thinkia，我们通过制定清晰的人工智能战略与路线图，将前沿能力与切实的业务成果相结合，帮助组织应对这些架构上的转变。