芯片：GPU 经济学

Brad 把 token 当作 AI 产业的原子单位，并不是因为 token 本身具有最终价值，而是因为模型的工作最终要通过 token 逐步完成。token 是模型切分和生成信息的基本单位，可以粗略理解为字、词或词的一部分。一次对话、一次代码修改或一项 Agent 任务，都可以拆成连续的模型调用和 token 生成。

最简单的总需求关系是：

总 token 需求
= 用户数量
× 每位用户的任务数
× 每项任务消耗的 token

如果进一步追到硬件：

总计算需求
= 总 token 需求
× 每个 token 所需的计算与数据搬运

这解释了为什么“模型效率提高”和“芯片需求增长”可以同时发生。模型和系统不断减少完成同一项任务所需的计算，但 AI 又进入更多用户、更多工作流和更长的任务链。芯片行业最终面对的不是一个固定数量的 token，而是一个不断变化的需求函数。

Brad 将知识工作视为 AI 最重要的潜在价值池之一。这个判断的重点不是把全部经济活动机械换算成 token，而是说明：只要 AI 能够稳定承担更多可计价任务，计算需求就不再只是互联网流量的附属成本，而会直接成为生产投入。

训练和推理都使用矩阵运算，但它们对系统的要求不同。训练通常提前知道大部分计算图，可以并行处理大量数据；用户推理则要在请求到来后迅速响应，并且逐 token 生成结果。

一次大模型推理通常分成两个阶段：

在 Decode 阶段，模型权重需要被反复读取，但每一步只生成少量新结果。芯片如果拥有很高的峰值算力，却不能快速把权重和中间状态送到计算单元，实际 token 速度仍可能受限。因此，推理芯片竞争不只是比较“每秒多少浮点运算”，还要同时看：

• 权重和激活怎样放入内存；

• 数据在芯片内部怎样移动；

• 请求怎样批处理；

• 首个 token 多快出现；

• 后续 token 是否稳定；

• 多用户并发时利用率能否维持。

这也是为什么推理会逐渐形成独立的硬件和系统市场。

训练完成的模型从芯片视角看，主要是三类数字和一张计算图：权重保存模型学到的参数，激活值保存当前输入经过每一层形成的中间结果，KV 缓存保存逐 token 生成时需要反复读取的注意力状态。

输入 token
   ↓  转成向量
读取本层权重 ──→ 矩阵与向量运算
   ↓                    ↓
内存 / 缓存       产生新的激活值
   ↑                    ↓
   └──── 下一层继续读取与计算

芯片因此同时是计算机器和数据搬运机器。一次乘法本身可能很快，真正昂贵的往往是把权重和中间结果从显存送到计算单元，再把结果写回。若计算单元每秒能处理 1000 份数据，内存只能供应 300 份，实际利用率仍只能接近 30%。这就是“计算受限”和“内存受限”的区别。

量化正是从数据搬运入手：把原本以 16 位保存的权重改用 8 位或 4 位表示，可以把存储和带宽需求降到约二分之一或四分之一，并让部分硬件一次完成更多低精度运算。代价是数值精度下降；好的量化方法可以把损失压得很小，但不能假定所有模型和任务都完全无损。第三方模型服务体验变差，也不能只归因于量化，还可能来自模型版本、上下文长度、缓存、批处理和采样设置。

GPU 的优势首先来自通用并行计算能力。模型架构、张量形状、精度、批大小和运行方式持续变化时，GPU 可以通过软件更新适配新的工作负载。高带宽显存负责容纳大模型与中间状态，CUDA、通信库、编译器和大量现成内核则让开发者能够迅速把新模型跑起来。

这套价值可以分成三层：

芯片计算与内存
        ↓
编译器、内核、通信与运行时
        ↓
框架、开发工具、现成模型与运维经验

因此，NVIDIA 的优势不能只用单块芯片性能解释。企业购买的是一条从研究代码到稳定生产的路径。新模型发布后，能否在几天内完成适配、调优和扩容，往往比理论峰值高出多少更有经济意义。

GPU 为这种适应性付出了代价：更通用的硬件需要复杂的调度、缓存和数据搬运机制，并不一定在每一种稳定工作负载上都达到最低成本。专用推理芯片正是从这个缝隙进入。

Groq 的架构选择来自一个不同假设：如果模型执行路径可以在编译时确定，就不必让硬件在运行时不断猜测下一步怎样调度。它把更多数据流和执行顺序预先排好，再用片上 SRAM 和确定性数据通路完成计算。

可以把两种取向简化为：

这种架构尤其适合低时延 Decode。课堂中，Sunny 用大致相同功率下更高 token 吞吐来说明专用推理系统的价值；关键不是孤立的倍数，而是它改变了应用可接受的交互速度和单位成本。

专用化也不只有 Groq 一条路线。Cerebras 试图把原本分散在许多芯片上的计算与片上内存集中到晶圆级处理器中，减少跨芯片通信；Groq 则更强调静态调度、片上 SRAM 和多芯片确定性数据流。前者主要攻击芯片边界，后者主要攻击运行时调度和内存搬运，说明“专用推理芯片”并不是一种统一架构。

Groq 后来从“出售芯片”转向 GroqCloud，也揭示了芯片创业公司的真正难题。即使硬件更快，客户仍然需要重新适配模型、编译器、部署工具、监控和容量。把芯片包装成兼容 API 的云服务，可以让客户先按 token 使用性能，而不必先承担整个平台迁移。

课堂把专用芯片视为 GPU 租金的重要挑战，但两类专用芯片的经济条件不同。

Google TPU、Amazon Trainium 等云厂商自研芯片首先服务自己的大规模稳定负载。云厂商本来就拥有模型、数据中心、编译器团队、客户入口和容量调度，可以用内部需求摊薄研发成本。即使芯片只在自家云内使用，它也能通过降低采购成本、提高供给自主性和增强云服务差异化创造价值。

独立芯片公司则必须建立外部市场。它不仅要证明硬件更好，还要说服客户采用新的软件栈，并在 NVIDIA 已经拥有巨大装机量和开发者生态的情况下持续供货。

因此，云厂商自研芯片只要在内部负载上达到足够好的经济性，就可能长期存在；独立芯片公司则需要更大的性能差异，或者找到 GPU 明显不适合的工作负载，才能跨过市场进入门槛。

AI 系统很可能长期是异构的。Prefill、Decode、训练、检索、工具调用、视频生成和实时语音对硬件的要求不同，同一任务内部也可能使用 CPU、GPU、专用加速器和网络设备。

合理的系统不是给每项工作寻找“唯一最佳芯片”，而是把不同阶段路由到更合适的计算资源：

用户任务
  ↓
上下文处理 ──→ 计算密集型资源
  ↓
逐 token 生成 ──→ 低时延 / 高带宽资源
  ↓
工具调用 ──→ CPU、数据库、外部服务
  ↓
结果验证 ──→ 另一模型或规则系统

这会把竞争从单芯片扩展到编排层：谁能把模型结构、请求特征、时延要求、可用硬件和成本统一起来，谁才能把异构硬件的理论优势转成系统优势。第五课和第七课会继续展开这一层。

一名学生追问：如果芯片和模型效率不断提高，为什么资本开支还在增长？关键是把单位效率和总需求分开。

设：

• D 为需要完成的 AI 任务量；

• c 为每项任务所需的计算；

• C = D × c 为总计算需求。

效率提升会降低 c，但更低成本和更好体验又会扩大 D。如果每项任务所需计算下降 50 倍，而可承担的任务量扩大 1000 倍，总计算仍会增加 20 倍。

单位成本下降
    ↓
更多用户、更多任务、更长链条变得可行
    ↓
总 token 需求扩大
    ↓
总算力可能继续增长

这就是 AI 计算的反弹效应。它不保证需求无限增长，但说明“每 token 更便宜”不能直接推出“芯片收入下降”。真正要观察的是需求对价格和能力的弹性。

Brad 将 AI 产品的演化概括为从 Answers 到 Actions：从回答问题走向执行代码、操作软件和完成业务流程。Agent 每完成一个最终任务，往往会触发多次规划、工具调用、验证和重试。因此，任务数量不变时，每项任务的 token 和系统调用也可能增加。

Brad 对 AI 资本开支保持强烈乐观，但课堂没有把“需求很大”当作全部答案。判断基础设施投资是否合理，需要把技术需求翻译成可变现工作。

一个简化的检验框架是：

可变现任务价值
        ↓
客户愿意支付的价格
        ↓
应用可保留的毛利
        ↓
可支付给推理与芯片的成本
        ↓
能够支撑的资本开支

当前收入增长说明客户已经愿意为一部分 AI 能力付费，却不能证明每一个数据中心、每一代芯片和每一项容量承诺都能获得同样回报。资本开支可能同时包含三部分：真实需求的提前建设、争夺稀缺供给的战略性采购，以及对未来增长过于乐观的投资。

最有用的判断不是给整个周期贴“泡沫”或“非泡沫”标签，而是持续比较：

• 每单位算力能够支持多少可收费任务；

• 任务价值是否高于完整交付成本；

• 资产在下一代模型和芯片出现后还能否继续使用；

• 供给增加后，单位计算租金会下降多快。

课堂最后回到 NVIDIA。GPU 需求增长解释了市场规模，而 NVIDIA 能否长期保留高利润，取决于竞争者能否复制整套系统。

其租金来源至少包括：

1. 高性能芯片和高带宽内存系统；

2. NVLink、网络和整机级集成；

3. CUDA、库、编译器和开发工具；

4. 研究者与企业已经形成的工作流；

5. 稳定供货、部署和运维经验；

6. 新模型出现后的适配速度。

这也解释了 NVIDIA 与 Groq 后续公布的安排为什么值得注意：它是一项非独家的推理技术许可，并伴随部分团队和技术合作，不是对 Groq 的简单整体收购。NVIDIA 选择吸收专用推理能力，本身说明竞争边界正从“GPU 对另一块芯片”扩展为“谁能组成更完整的推理系统”。⁵

AI 芯片的经济学不能用峰值算力或单次跑分概括。推理包含不同阶段，每个阶段的计算、内存、时延和调度要求不同；GPU 依靠通用性和生态承接快速变化的工作负载，专用芯片则试图用更确定的数据流换取更高吞吐和更低成本。

效率提升不会自动压低总算力需求，因为更低成本和更强能力会扩大任务范围。真正决定产业格局的是：新硬件的性能优势能否跨过平台迁移成本，云厂商与独立芯片公司的不同经济条件，以及谁能把异构计算组织成稳定、可计价的工作成果。