Sachin Katti：基础设施与综合案例

传统 API 请求的基本路径相对清楚：输入进入模型，模型生成输出。Agent 任务则更像一个动态展开的计算图：

用户目标
  ↓
规划与长上下文处理
  ↓
模型推理 ──→ 检索 / 数据库
  ↓              ↓
工具调用 ──→ 浏览器 / 虚拟机 / 代码执行
  ↓              ↓
环境反馈 ←───────┘
  ↓
验证、重试或升级给人
  ↓
最终结果

图中每个节点对硬件的要求不同：

• 长上下文 Prefill 更需要计算、显存容量和带宽；

• 逐 token Decode 更在意内存带宽和低时延；

• 代码执行主要消耗 CPU、内存和隔离环境；

• 检索与状态读取依赖数据库和存储；

• 多 Agent 协作需要网络、队列和长期状态；

• 验证可能再次调用另一个模型。

因此，Agent 越强，基础设施越不能只按“每秒多少 token”优化。最终指标要上移到完成任务的成本、时延和成功率。

Sachin 提到，OpenAI 在一段增长期内观察到可用计算大致扩大三倍，收入也大致扩大三倍。这不是一条普适生产定律，但它说明当需求受容量约束时，新增算力可以直接释放更多产品使用和收入。

计算与收入之间仍有多个中间环节：

新增可用算力
    ↓
更大模型、更长上下文、更高并发或更低时延
    ↓
可完成任务范围与成功率提高
    ↓
用户采用和付费扩大
    ↓
收入增长

任何一环不成立，资本开支都不会自动转成商业回报。计算供给充足后，瓶颈也可能转向产品、分发、数据、权限或任务价值。

课堂还指出，OpenAI 计算中超过 80% 已可归入广义“推理”。这里的推理不只指用户正在聊天。强化学习、合成数据生成、评估、模型之间相互调用和 Agent 训练，也会以运行模型的形式消耗大量计算。训练与推理的边界因此变得模糊：很多“生产下一代模型”的工作，本身已经由模型推理完成。

课前材料把 token 供需拆成一个简单关系：

总 token = 用户 × 每用户任务 × 每任务 token × 模型调用次数

Agent 会同时推高后三项。一项任务可能需要更长推理、更多工具反馈和多次自我验证。另一方面，缓存、蒸馏、量化、路由和专用芯片又会降低单位 token 或单位任务成本。

因此要同时观察三条优化路径：

基础设施公司若只优化单 token，而忽略最终任务，可能把局部指标做到极致，却没有降低真实交付成本。

OpenAI 与 Broadcom 的合作强调 full-stack co-design：模型团队、系统团队和芯片团队共同定义工作负载，再由专业半导体供应链完成设计与制造。这不等于 OpenAI 从此独立拥有整个芯片产业链。

自研芯片成立需要满足：

专用化收益 > 灵活性损失 + 设计滞后 + 迁移成本

专用化收益可能来自：

• 去掉不需要的通用功能；

• 针对常见张量形状、精度和数据流优化；

• 让内存与网络围绕模型布局；

• 降低单位 token 的能耗和资本成本；

• 减少对单一外部供应商的依赖。

但芯片设计需要多年。模型架构、精度、上下文和训练方法可能在芯片流片前已经改变。工作负载越不稳定，灵活性的价值越高；工作负载越大、越稳定，专用设计越容易摊薄成本。

Sachin 在 Intel 的演讲中强调 openness，重点不是拒绝专用化，而是让不同供应商和专用模块能够组合。一个开放异构系统可以在每个局部深度优化，同时避免整套基础设施被单一接口锁死。

可以把 AI 系统分成几层：

模型与任务定义
    ↓
框架与编译器
    ↓
内核与运行时
    ↓
集群调度与通信
    ↓
芯片、内存、网络
    ↓
电力、冷却与数据中心

真正的开放性是相邻层之间存在稳定接口，使上层能够替换下层资源，下层也能获得足够多工作负载。它并不要求每种芯片运行相同指令，也不保证迁移零成本。

NVIDIA 的 CUDA 之所以强，恰恰因为它把多层工具、库和开发者经验捆成了一条可靠路径。竞争者要挑战的不是一个 API 名称，而是从新模型到生产部署的完整速度。

一名学生追问：既然推理可以分散，为什么模型不直接部署到每个地方？主要约束来自模型大小、并发利用率和 Prefill。

大模型权重需要装入加速器内存。一个模型可能跨多块 GPU 组成一个服务实例，再在不同地区复制多个实例。通常不会把同一次逐 token 推理横跨遥远地区，因为每一步都依赖前一步结果，广域网络时延会被连续放大。

同一区域内：多块 GPU 共同承载一个模型实例
跨区域：    复制多个完整或分片实例，按请求路由

集中化还带来统计复用：大量用户的请求可以被连续批处理，提高利用率。边缘设备更适合小模型、隐私敏感或断网场景；大型通用模型仍倾向在云端运行。长期结构更可能是云—边混合，而不是其中一端完全取代另一端。

AI 芯片的有效性能取决于数据能否及时送到计算单元。模型权重、激活、KV Cache 和多卡通信共同决定内存层级。

片上缓存 / SRAM：最快、容量最小
高带宽显存：     容量更大、成本高
主机内存：       更大、更慢
本地与远端存储：最大、延迟最高

模型和系统会在这条层级上不断交换空间、速度和成本。更长上下文会扩大 KV Cache；专家混合模型改变权重访问；Prefill 与 Decode 分离后，两类集群可能采用不同芯片和内存配置。

因此，未来基础设施创新很可能同时发生在：

• 更高带宽和更低能耗的内存；

• 更快互连；

• 权重与缓存压缩；

• 模型分片和路由；

• 计算与内存共设计；

• 由 AI 辅助设计芯片和系统。

Sachin 对“工业级计算”的描述并不止是采购 GPU。OpenAI 需要同时协调芯片、内存、网络、电力、冷却、数据中心建筑、发电和土地，并让这些环节按同一时间表交付。合同签署只是开始，真正困难的是让整条供应链同时落地，并让数十万块芯片长期保持稳定运行。

Agent 又把单一推理请求变成了动态任务图。一次任务可能交替调用模型、搜索、数据库、虚拟机和测试环境，不同节点适合不同计算资源。系统需要决定每一步在哪里执行，并把结果送回下一步。

异构芯片越多，系统越需要一个能够理解任务与物理资源的控制平面。它至少需要同时知道：

• 用户任务和服务等级；

• 模型架构、精度和上下文长度；

• Prefill、Decode、工具调用和验证的任务图；

• 哪些芯片可用、价格和队列多长；

• 内存、网络、缓存和数据位置；

• 区域、电力与容量约束；

• 失败后怎样重试和降级。

Sachin 因此判断，短期到中期的重要效率提升会来自编排软件、Agent harness 和更高效的模型；硬件与内存架构的变化则需要更长周期。¹

宣布采购 GPU 不等于拥有可用计算。芯片需要封装、高带宽内存、服务器、网络、机柜、变电、冷却、软件和工程团队在同一时间到位。

可以把可用容量表示为：

可用容量 = 名义芯片数量 × 上电率 × 集群效率 × 利用率 × 可靠性

任何乘数偏低，都可能让昂贵资产闲置。Sachin 因此把基础设施建设视为端到端供应链，而不是简单签订芯片采购合同。

吉瓦级数据中心还会成为电网参与者。GPU 集群可能在短时间内产生大幅功率波动；训练、批量推理和实时服务又有不同弹性。控制平面如果能同时看到模型队列和电力状态，就可以在不破坏服务的情况下迁移或延后部分任务。

课堂用五层结构讨论 AI 价值：能源与数据中心、芯片与系统、模型、平台和应用。

Agent 让基础设施从单模型服务变成动态任务图。芯片、内存、网络、CPU、数据库和执行环境共同决定最终任务成本，单块芯片的领先越来越需要通过编译、调度和运行时兑现。

自研芯片适合规模巨大且相对稳定的工作负载，通用平台则提供面对快速架构变化的选择权。长期系统很可能是模块专用、整体异构。真正稀缺的控制点，可能是把任务意图、模型结构、硬件状态、网络、电力和服务目标统一起来的编排层；它决定名义算力能否变成可用智能。