同样的16块芯片，TPU赢了57%

9月26日，量子位报道了一组让算力圈意外的 benchmark：推理创业公司 Inferact 用 16 块谷歌 TPU v7（Ironwood）跑月之暗面的 Kimi K3，跑出了每秒 709 个 token；而在完全相同的条件下，16 块英伟达 GB200 只跑出每秒 452 个 token——TPU 快了 57%。

更反直觉的是，两款芯片的 HBM 带宽其实在同一个量级，甚至 GB200 的 8000 GB/s 还高于 TPU v7 的 7380 GB/s。带宽更大的那块，速度反而更低。差距不在硬件规格，而在芯片上跑的那层软件。

谁做的这个实验？

做出成绩的既不是造 Kimi 的月之暗面，也不是造 TPU 的谷歌，而是一家叫 Inferact 的推理创业公司。

它的创始团队几乎是 vLLM 的原班人马：CEO Simon Mo 是 vLLM 原始维护者，联合创始人 Woosuk Kwon 提出了解决 GPU 显存碎片化的 PagedAttention 算法，首席科学家游凯超曾在 vLLM 主导分布式推理。这群靠给英伟达 GPU 写推理引擎成名的人，今年 1 月创业，转头把 TPU 的推理速度做到了 GPU 前面。

Inferact 去年 11 月成立，今年完成 1.5 亿美元种子轮，估值 8 亿美元，由 a16z 和 Lightspeed 领投，真格、红杉、Altimeter 跟投。这次的 TPU megakernel 来自 Inferact 与 Google Cloud 的一项联合工程合作，目标是让 TPU 成为 vLLM 的一流支持对象，所有优化都会回馈开源社区，代码仓库 tpu-megakernels 已公开。

megakernel：把几百个小程序焊成一个大程序

大模型推理的速度瓶颈不在计算，在数据搬运。每生成一个 token，模型全部权重都要从 HBM 主存搬进芯片内部缓存算一遍，下一轮再重新搬。传统做法把一次推理拆成几百个独立 kernel，排着队执行，交接间隙内存带宽空转。

Inferact 用 megakernel 方案消除了这个边界：它用谷歌给 TPU 的底层语言 Pallas（角色类似 CUDA）手写整个推理程序，把 Kimi K3 共 92 层 MoE 的计算逻辑从头到尾塞进一个程序，一次调用走完整个前向传播。

边界消失后，第 N 层还在算 MoE 时，第 N+1 层的 attention 权重已经开始从 HBM 往片上缓存搬，计算和数据搬运同时进行，内存带宽几乎不空转。TPU v7 每个 TensorCore 带 64 MiB 可由软件精确管理的 VMEM，正好够同时装下当前层数据和下一层预取权重；而 GB200 的片上内存分散在 152 个 SM、约 38 MiB 且由硬件自动调度，做类似跨层编排限制更多。

绕开 XLA 自动调度还有个额外好处：编译耗时从 30 分钟以上降到不到 90 秒，工程师改完 kernel 一分半钟就能上机验证。

DSpark 推测解码也立了功

TPU 跑通了 DeepSeek 提出的 DSpark 加速框架：用小模型先快速猜出一串候选 token，大模型再批量验证，猜对的直接跳过。在 TPU 上 acceptance length 达到 6，单步 decode 约 8.5 毫秒。

关掉推测解码看裸速，差距依然明显：batch size 为 1 时 TPU 每秒 249 token、GB200 仅 127；batch size 放大到 8，TPU 达到 865、GB200 为 636。在 Qwen 3.8 27B 上差距更大——4 块 TPU v7 跑出 1515 token/s，同配置 GB200 只有 695。

关键是没有精度损失：用 greedy decoding 验证，Kimi K3 在 TPU 上 GPQA-Diamond 得分 94.4%、GSM8K 97.2%，与 GPU 结果完全一致。

这对普通用户意味着什么？

推理成本直接挂钩 token 吞吐。同样的芯片预算，如果软件层能把吞吐拉高一半以上，部署同样规模的模型所需的卡数、电费、时延都会显著下降。megakernel 目前是针对 Kimi K3 结构定制，换架构还需重新适配，但 Inferact 已表示会扩展到更多模型。

参考：Inferact 博客《700 TPS on Kimi K3: A Case for TPU Megakernels》（2026-09-26）

常见问题

Q：TPU 比 GPU 快，是因为芯片更好吗？ 不是。同配置下两款芯片算力接近，甚至 GB200 带宽更高。57% 的差距来自 megakernel 软件优化消除了 kernel 间调度空转。

Q：这套优化普通人能用吗？ 代码已在 tpu-megakernels 开源，面向 TPU 部署场景；目前针对 Kimi K3 定制，其他模型架构需重新适配。