当 GPU 开始学 ASIC 的活，博通该担心吗？
The body of this note is currently in Chinese.
TileRT 是一个面向大模型超低延迟推理的开源 GPU 运行时。它把 Decode 阶段的整张计算图提前编译成一个常驻 GPU 的 Persistent Engine Kernel，让原本接连启动的许多 kernel 变成一条持续运转的执…
TileRT 是一个面向大模型超低延迟推理的开源 GPU 运行时。它把 Decode 阶段的整张计算图提前编译成一个常驻 GPU 的 Persistent Engine Kernel，让原本接连启动的许多 kernel 变成一条持续运转的执行流水线。数据搬运、计算和多卡通信也被重新编排，尽量同时进行。
硬件还是那几张英伟达 GPU，干活的方式却变了。
TileRT 项目公布的 GLM-5 测试里，8 张 B200 在 FP8 下可以把单用户生成速度推到接近 500 token/s。这个数字很扎眼，因为它碰到的是 GPU 一直不太擅长的 Batch Size 1 低延迟推理。
这个成绩也要看清口径。它衡量的是单用户速度，也就是 interactivity。TileRT 当前的一个 Decode 节点一次只处理一个 in-flight request，总吞吐和每 token 成本仍要另算。它像给一位乘客单独发了一辆车，坐在车里当然快，车队一天能送走多少人才决定运营成本。
把这个口径先卡住，后面的产业判断才不会跑偏。
看到这里，我脑子里冒出的问题是，博通怎么办。
这几年博通在 AI 上最重要的一条故事线，就是替 Google、OpenAI 这样的客户做 Custom XPU。市场给这门生意的想象也很直接。大模型推理越多，通用 GPU 的成本越难接受，客户自研 ASIC 的动力就越强。博通既能帮客户把芯片做出来，又能把集群里的网络一起卖掉，自然成了这条路上最受益的公司之一。
我的看法是，TileRT 确实会给博通的 Custom XPU 带来一点压力，眼下受冲击更直接的还是 Groq、Cerebras 和 SambaNova 这一类把超低延迟当作主要卖点的专用推理芯片。放到整个博通身上看，目前的影响更接近中性。
原因也不复杂。市场喜欢把 AI ASIC 装进同一个概念里，芯片厂商卖的却是几门不同的生意。
GPU 的低延迟瓶颈藏在执行方式里
过去分析大模型 Decode，大家最爱盯 HBM 带宽。每生成一个 token，GPU 都要读取模型权重和 KV Cache。带宽越高，token 就该吐得越快，这套逻辑听着很顺。
TileRT 跑出的结果说明，理论带宽和实际生成速度之间还隔着很大一段距离。GPU 明明有很高的 HBM 带宽，到了 Batch Size 1，许多算力和带宽仍在等待中被浪费。
卡住它的已经不只是带宽。
传统推理引擎要连续启动很多 kernel。算一段，同步一次，再启动下一段。中间结果还会在片上存储和 HBM 之间反复搬运。Batch 很大时，一次 kernel 能服务很多请求，固定开销被摊薄了。到了 Batch Size 1，一个 token 总共就那么一点时间，kernel launch、同步和调度的成本一下子变得显眼。
GPU 每一代的 HBM 带宽可以翻两三倍，memory latency 却没有跟着好转。继续堆带宽，也不一定能解决低延迟推理里的等待。
TileRT 就从这里下手。
它把整个 Decode Graph 提前编译成一个巨大的 Persistent Engine Kernel。CPU 启动一次，后面的 Decode 生命周期一直留在 GPU 上。CUDA Graph 仍然保留一个个 kernel，只是把启动过程录下来统一回放。TileRT 连 kernel 这层边界也尽量抹掉了。
Engine Kernel 内部又做了更细的分工。不同 warp 分别搬数据、做计算和处理通信，三类工作尽量重叠。中间结果能留在 register、shared memory 和 L2，就不急着写回 HBM。
GLM-5.1 上还出现了整卡分工。GPU 0 负责 sparse index、Top-K selection 和 routing，GPU 1 到 GPU 7 处理 MLA、GEMM、Attention 和 AllReduce。以前大家默认八张卡做同一种工作，现在连 GPU 都开始分工种了。
一块通用 SIMT GPU，经过这样的编译和调度，越来越像一台按固定数据流运转的机器。
Groq 们先碰到了麻烦
Groq 做 LPU，Cerebras 做晶圆级处理器，SambaNova 走可重构 Dataflow，出发点都差不多。传统 GPU 太通用，运行时调度、kernel 边界、同步和片外搬运一直在消耗时间。专用硬件干脆把执行路径提前安排好，让数据少等、少搬，持续往前流。
这些公司的销售话术也一直很有力量。GPU 在低延迟推理上做不到，所以客户需要另一套硬件。
TileRT 把这句话改成了一个程度问题。GPU 的底层架构确实吃亏，软件却可能把差距压到客户愿意接受的范围内。云厂商已经有成片的 B200，能在原有机器上开出高速服务，采购一套全新硬件的紧迫感就会下降。
这对 Groq 和 Cerebras 更直接。它们要争夺的，恰好就是实时语音、Coding Agent 和复杂 Agent 这类高交互任务。用户等的时间越短，产品体验越好，厂商也更容易把高速模式卖出溢价。
TileRT 目前为这种速度付出了不小的吞吐代价。常规推理引擎可以用并发请求摊薄权重读取和 kernel 的固定开销，TileRT 当前的 Decode 节点一次只接一个请求，整台机器完成的总工作量会受到限制。
它像一辆只坐一个人的赛车。Groq 和 Cerebras 仍然能在某些模型和速度区间跑得更快，但客户现在多了一个选择。先在已经买下的 GPU 上开一条快车道，效果不够再采购专用机器。
对一家卖专用低延迟机器的公司来说，这个先后顺序很要命。
博通做的是另一笔账
博通的 Custom XPU 生意没有那么依赖单用户每秒多生成几百个 token。
它面对的客户已经有海量、稳定、可以预测的工作负载。模型每天跑多少请求，流量如何分布，几年后电费和机房成本大概是多少，这些客户都有条件算得很细。等规模大到一定程度，它们自然会问，自己为什么还要长期承担通用 GPU 的成本。
这时决定采购的指标会落到每瓦性能、每 token 成本、机架密度和整套集群的 TCO。芯片要用什么精度，片上 SRAM 放多少，HBM 怎么配，互连和 scale-up topology 怎么做，都可以围绕客户自己的模型调整。
TileRT 能把 GPU 推得更接近既有的 HBM roofline，却改不了这块 GPU 的晶体管分配、功耗结构和物理互连。软件能让现有机器少浪费一些，无法把它变成一颗从头为固定负载设计的 ASIC。
OpenAI 的动作很能说明问题。
OpenAI 一边继续使用大量 GPU，一边和博通推进 10GW 的 Custom AI Accelerator 项目。这套系统还包括博通的 Ethernet scale-up 和 scale-out 网络，计划从 2026 年下半年开始部署，持续到 2029 年。
今年 6 月，双方又公布了第一颗 Intelligence Processor Jalapeño。它从 LLM inference 出发设计，样片已经在实验室按目标频率和功耗运行，并开始测试 GPT-5.3-Codex-Spark 等负载。OpenAI 公布的是早期测试判断，称它的每瓦性能将显著优于当前先进方案。完整技术报告和可比 benchmark 还没出来，这部分暂时只能当作公司给出的预期。
这组动作已经足以说明 ASIC 的需求从哪里来。变化快、模型结构还在调整的任务适合 GPU。负载稳定下来，调用量又大得惊人，Custom XPU 就有机会把成本一点点抠下来。两类硬件会在同一家公司的机房里长期共存。
云厂商更在意算力能不能随时换活
TileRT 给专用芯片带来的压力，更多来自 Fungibility。这个词可以理解成算力的可重新配置能力。
同一批 GPU，白天可以训练，晚上可以接 Prefill。Decode 流量上来以后，再切一部分机器过去。TileRT 成熟以后，云厂商还可以临时拿出几台，开一个 Ultra Fast Decode 服务。
这件事已经有了可运行的架构。vLLM 继续处理 Prefill、调度和普通 Decode，TileRT 只接走对延迟敏感的 Decode 请求。两类请求可以共享同一个 Prefill 池，再由路由按服务等级分流。KV Cache 通过 Mooncake 和 NIXL 等 Transfer Engine 在节点间搬运。
云厂商由此可以直接在现有 GPU 池里开出一档高速服务，无须另建整套极速推理集群。
这里面的资本开支差异很现实。极速用户比预期少，GPU 改一下调度，还能去干别的。专用芯片买多了，空着的机架不会因为架构更漂亮就少算折旧。
很多客户需要的可能只是一档 Speed Tier，无须单独采购整套 Speed Machine。
这一点会削弱专用推理芯片的采购理由，也会让 Custom XPU 客户更谨慎地划分工作负载。过去觉得应该迁到 ASIC 的一部分任务，可能继续留在 GPU 上。
博通还有网络这张牌
算力越容易在不同池之间切换，网络承担的工作就越多。
Prefill 在一个池，普通 Decode 在另一个池，Ultra Decode 再单独放一组机器。请求要路由，KV Cache 要搬，多个计算池还要根据实时负载重新分配。计算从单机问题变成池化问题以后，交换芯片、NIC、光连接和 scale-up 网络的重要性都会上升。
这正好落进博通的另一门生意。
博通 FY2026 Q2 的 AI 半导体收入达到 108 亿美元，同比增长 143%。公司预计 Q3 这项收入达到 160 亿美元，同比增长超过 200%。管理层给出的增长来源同时包括 Custom AI Accelerators 和 AI Networking。
GPU 集群继续扩张，需要网络。Custom XPU 继续部署，也需要网络。算力池变得更碎、更异构，网络还可能拿走更多价值量。博通站的位置比较特殊，它会在 Custom XPU 上面对 TileRT 的边际压力，也能从 GPU 和 ASIC 两边的集群建设里卖网络。
把博通只看成一家 ASIC 公司，很容易漏掉这半边。
TileRT 什么时候会真伤到博通
现在的 TileRT 距离这一步还有不短的路。
它的公开模型目录很小，目前主要支持 GLM-5、GLM-5.1 和 DeepSeek-V3.2，MiMo-V2.5-Pro-UltraSpeed 来自联合适配，尚未开源。模型换一种 Attention，routing 逻辑动一下，围绕 tile shape、pipeline depth、register、shared memory 和 warp 分工做出的 schedule 就可能大面积重调。
这事有一点黑色幽默。TileRT 为了让 GPU 拿到接近 ASIC 的效率，也接过了 ASIC 软件栈难维护的毛病。
后面可以盯住三个变化。模型支持范围能不能覆盖主流 Transformer 和 MoE，Persistent Kernel 能不能由编译器或 AI 更自动地生成，GPU 在高交互场景下的每 token 成本和每瓦效率能不能逼近 Custom XPU。
前两个决定 TileRT 能不能从少数工程项目变成通用产品。最后一个才会碰到博通 Custom XPU 的根基。
眼下 TileRT 证明了 GPU 可以在 Batch Size 1 上跑得很快，也证明了同成本条件下，单用户速度还有很大的优化空间。它还没有证明 GPU 能在稳定的大规模负载里，同时拿到 ASIC 的速度、吞吐和能效。
被改写的是一条太直的推演
过去市场常用一条很省事的逻辑给 AI 芯片估值。推理量持续增长，GPU 成本太高，ASIC 渗透率就会一路提高。
TileRT 在这条直线上拐出了一条岔路。
工作负载变化快，GPU 的灵活性最值钱。工作负载稳定，规模大到足以摊掉设计成本，Custom XPU 的账更好算。少数极端追求延迟的任务，Groq 和 Cerebras 这类 Dataflow 硬件仍有位置。不同计算池越来越多，网络负责把它们接起来。
因此，TileRT 对产业链的影响并不均匀。
英伟达得到了一张很有价值的软件牌。Groq、Cerebras 和 SambaNova 的低延迟差异化受到更直接的挤压。博通的 Custom XPU 多了一点长期压力，短期订单逻辑还在，AI Networking 甚至可能继续受益。
回到最开始的问题，TileRT 会利空博通吗？
它眼下动不了博通已经拿到的 10GW 合作，也没有推翻 Hyperscaler 自研芯片的经济账。它削弱的是一个过于省事的长期判断。ASIC 的渗透率不会只由推理量决定，GPU 软件栈能把通用硬件压榨到什么程度，同样会改变客户的采购选择。
这两件事差得很远。对投资者来说，也值得分开定价。