我们的观察
在我们与金融服务、医疗保健和公共部门领导者的合作中，我们看到了一个一致的模式：围绕公有云生成式 AI 的最初狂热，正在遭遇企业安全和数据主权的严峻现实。虽然主要云服务提供商的基础模型提供了惊人的能力，但将敏感客户数据或专有知识产权发送到公司防火墙之外进行推理的前景，对许多企业而言仍然是不可行的。这种矛盾已经使众多高价值的 AI 项目停滞不前，让领导者们陷入了创新压力与风险管理核心职责之间的两难境地。
这就是为什么 IBM 最近的一篇研究论文如此重要的原因，它详细介绍了一个在大型机上运行的完整检索增强生成 (RAG) 系统。这篇题为《Spyre-Accelerated Retrieval-Augmented Generation on IBM LinuxONE: A Cloud-Native Architecture for Secure, High-Throughput Enterprise AI Inference》的论文，描述了一种架构，其中整个 AI 流水线——从数据检索到模型推理——都包含在单一、可信的硬件平台内。它验证了我们一直密切关注的一个新兴趋势：对于最关键的企业用例而言，安全的本地部署 AI 具有战略必要性。
改变一切的数字
0
在 IBM 全新的本地部署 RAG 架构中，敏感企业数据离开安全硬件边界的次数。
谁在领先及其原因
对安全、本地化 AI 的推动正在创造一种新的竞争格局。一方面，是像 IBM 这样的现有巨头，他们正利用其在安全、高事务处理的企业计算领域的深厚传统优势，来建立一个具有防御性的细分市场。通过将大型机定位为特制的“安全 AI 设备”而非传统系统，他们正在发挥其在信任、可靠性和合规性方面的优势。对于他们在银行和保险业的现有客户群而言，这是一个极具吸引力的主张，它能最大限度地减少架构中断并简化监管审计。
另一方面是公有云超大规模厂商——AWS、谷歌和微软。虽然他们主导着更广泛的 AI 市场，但在这些特定的高安全性用例上却面临阻力。他们推出的解决方案，如 AWS PrivateLink 或谷歌的机密计算 (Confidential Computing)，试图解决这些担忧，但往往会引入复杂性。审计一个将多个云服务和私有网络连接拼接在一起的分布式系统，本质上比验证一个单一、集成的硬件设备更具挑战性。正如麦肯锡关于混合云的研究所指出的，跨混合环境管理安全与合规性仍然是企业面临的首要挑战。IBM 的方法则针对一个特定的高价值问题，有效地消除了这种复杂性。
大多数团队忽视的差距
许多企业 AI 团队正在发现一个痛苦的差距：模型的功能性与合规可部署性之间的鸿沟。一个使用公共 API 和匿名数据进行的概念验证 (PoC) 可能看起来非常有前景，展示出提高效率或创造新客户体验的巨大潜力。然而，当安全和法务团队介入，需要批准其使用真实的、敏感的生产数据时，项目往往会陷入停顿。讨论的焦点从模型准确性转向数据驻留地、加密标准以及传输中和静态数据的监管链。
大多数团队忽视的差距在于低估了基于云的 AI 的合规总成本。每个 token 的推理成本只是其中的一小部分。真正且常常被隐藏的成本，是安全、法务和合规团队为审查和持续监控一个复杂的多服务云架构所需投入的工时。一个集成的本地部署解决方案能极大地减少风险暴露面，从而降低治理开销。它将安全讨论从一个分布式系统问题转变为一个单一平台的验证工作，这对于受监管的组织来说要易于管理得多。
如何弥合差距
弥合 AI 雄心与安全现实之间的差距，需要对基础设施采取一种务实的、基于风险的方法。首先，我们建议技术领导者明确地重新评估在过去十年中主导 IT 战略的“唯云”假设。生成式 AI 的特殊需求，尤其是在数据引力和安全性方面，需要一个更精细的混合策略。
其次，企业必须根据数据敏感性和监管影响对 AI 用例进行细分。一个使用公开产品信息的营销聊天机器人，与一个访问客户财务数据的财富管理顾问机器人，其风险状况截然不同。这种细分有助于制定规模适中的基础设施策略：低风险工作负载可以利用公有云模型的规模和灵活性，而高风险工作负载则应部署在安全的本地部署 AI 环境中。这种分层方法对于任何有效的AI 治理与风险框架都至关重要。
最后，安全与合规团队必须从第一天起就成为 AI 开发生命周期中的合作伙伴，而不仅仅是最后的检查站。通过让他们参与到最初的架构设计中，团队可以主动选择那些已针对高风险数据预先审查过的平台和模式，从而避免因一个有前景的试点项目未能通过最终安全审查而导致的数月返工和挫败感。对于正在应对金融领域 AI 复杂性的公司而言，这一点尤其重要，正如我们在《金融服务业生成式 AI 白皮书》中详细阐述的那样。
| 成熟度级别 | 当前状态 | 下一步行动 | 时间线 |
|---|---|---|---|
| 探索阶段 | 在公有云 API 上使用匿名或合成数据运行 PoC。 | 根据数据敏感性和监管风险对潜在的生产用例进行分类。 | 1-2 个月 |
| 试点阶段 | 使用敏感数据构建试点，经常遇到安全与合规障碍。 | 针对特定的高风险用例，评估本地部署或虚拟私有云 AI 架构。 | 3-6 个月 |
| 扩展阶段 | 基于云的 AI 服务已投入生产，但仅用于低风险、非敏感数据。 | 制定并批准一个包含安全本地部署组件的正式混合 AI 基础设施战略。 | 6-9 个月 |
| 优化阶段 | 基于明确的风险框架，混合运行本地部署和云 AI 工作负载。 | 在整个混合环境中标准化治理、MLOps 和模型监控工具。 | 9-12 个月 |
关注这些信号
- 专用 AI 加速器： 密切关注 GPU 之外的 AI 硬件发展。为特定任务（如安全推理，例如 IBM 的 Spyre）或低功耗边缘计算而专门构建的芯片和卡，将标志着市场超越原始训练性能的成熟。
- 云服务提供商的“本地部署”产品： 监控 AWS Outposts、Google Anthos 和 Azure Arc 的演变。它们能在多大程度上在一个真正物理隔离、客户可控的环境中提供其全栈、托管的 AI 服务，将表明它们对企业数据主权需求的重视程度。
- 监管审查： 关注新的数据驻留法和行业特定的 AI 法规。任何增加跨境数据流动合规负担的新立法，都将直接加速对本地部署 AI 解决方案的需求。
我们的观点
我们认为，企业 AI 的未来本质上是混合的。所有工作负载都将迁移到少数几个公有云的观念，正在被一种对风险、成本和竞争差异化更深入的理解所取代。对于最有价值和最敏感的企业用例——那些触及核心知识产权和客户信任的用例——安全的本地部署 AI 将是一种不可或缺的架构模式。
IBM 的 LinuxONE RAG 架构是一个强有力的数据点，不是因为它标志着计算将回归到过去的时代，而是因为它代表了一项具有前瞻性的战略，满足了企业持久的需求。它证明了安全、合规和高性能的 AI 可以在企业边界内实现。对于受监管行业的领导者而言，这种方法提供了一条释放生成式 AI 价值的路径，同时又无需在安全和信任等基本承诺上做出妥协。在 Thinkia，我们帮助企业领导者做出这些关键的基础设施决策，构建既宏伟又可实现的 AI 战略。