过去几年，推理消耗的Token爆炸式增长，Token经济随之成型，推理专用芯片也持续升温：去年年底，英伟达以约200亿美元对AI芯片初创公司Groq进行“收购”（acqui-hire）；做晶圆级“大芯片”的Cerebras今年6月IPO，市值达到670亿美元；OpenAI联手博通，推出了首款自研推理芯片Jalapeño，从设计到流片仅用了9个月——加上我们之前聊过的谷歌TPU，推理芯片牌桌上的玩家越来越多。
这场推理芯片大战中，各家真正比拼的是什么？为什么走向了不同的技术路径？推理芯片未来又会向什么方向收敛？
本期硅谷101，我们请来两位AI芯片创业者，逐一拆解这些热门推理芯片在技术路径上的取舍与得失。其中嘉宾Mark是英伟达首席科学家Bill Dally的学生。Bill Dally是现代GPU并行架构最重要的奠基者之一。我们也借由Mark的视角，去了解这位芯片大师是如何思考问题和看待创新的。

【主播】
泓君，硅谷101创始人，播客主理人

【嘉宾】
Mark，AI芯片创业者
徐子扬，AI芯片创业者

【你将听到】
Groq、Cerebras技术路线
04:17 为什么训练看算力，推理看带宽
14:13 SRAM、DRAM、HBM的优劣
16:39 Groq和Cerebras的技术路径选择
19:34 Groq：确定性、静态编译调度，动态性不足
25:18 Cerebras 的软肋：良率、成本与系统适配
32:32 英伟达为什么要acqui-hire Groq
33:58 “推理时代，Cuda一定会被绕过”

推理时代芯片护城河
39:19 两位芯片创业者的SRAM推理芯片方案
41:07 最重要的指标：速度、性价比、耗电量
44:25 速度越快，AI越聪明
49:04 面对模型迭代，抓住“不变量”
54:15 消失的算力：为何芯片利用率跑不满
58:27 芯片设计全流程：需求、架构、RTL、验证、后端、流片、封装测试、良率、交付
01:01:16 国内优势：供应链+基础设施+开源生态
01:03:17 创业者做芯片，如何和模型厂商竞争

Bill Dally芯片设计哲学
01:05:17 为未来AI补齐强逻辑
01:09:40 “一切围绕局部性展开”
01:11:43 跳出local minimum，必须想清楚牺牲什么
01:13:03 Bill给学生的创业建议
01:14:47 亚马逊的工程哲学

OpenAI自研推理芯片解析
01:17:30 Jalapeño：通用芯片，低能耗，9个月流片
01:20:10 选择HBM4，不缺钱，但缺电
01:24:15 SRAM优势还能保持多久
01:27:03 芯片内异构，暗硅，另一种路径

【硅谷101年会来了，线下见】
10月10日—11日，我们将在【硅谷】举办Alignment 2026年度大会，从大模型、Agent、机器人到AI Infra，从实验室里的突破，到真实世界的商业化，我们直击AI变化最剧烈的前沿。 来自OpenAI、Anthropic、NVIDIA、Meta、Google DeepMind、SemiAnalysis、Cerebras等公司的研究者、创业者与投资人将齐聚现场，分享正在发生的机遇和挑战。
报名链接

【相关阅读和名词解释】
挑战GPU、绕过HBM，深挖史上最大芯片背后的Cerebras
谷歌TPU能撼动英伟达吗？前TPU工程师首次揭秘
Prefill / Decode：大模型推理的两个阶段。Prefill（预填充）一次性并行处理完整输入提示词，生成KV缓存和第一个Token，是计算密集型，瓶颈在算力；Decode（解码）基于KV缓存逐个自回归生成后续Token，是内存带宽密集型，每生成一个词都要把整个模型权重从存储读到计算单元。
KV Cache（键值缓存）：是注意力机制中的中间计算结果，避免每次生成新Token时重复计算历史Token的键值向量。当新请求与之前处理过的内容有相同前缀时，可直接复用已有KV Cache，称为“缓存命中”。
Attention / FFN：Transformer架构的两个核心模块。Attention（注意力机制）负责“找关系”，让每个Token关注序列中其他Token的信息，参数量较小但计算模式随上下文长度变化。FFN（前馈网络）负责“加工信息”，独立处理每个Token，参数量极大，是模型静态权重的主要部分。
SRAM / DRAM / HBM：SRAM用6个晶体管存1bit，延迟仅0.3-3ns，带宽性价比极高，但容量极小。DRAM用1晶体管+1电容，容量大、成本低，但延迟50-100ns且需刷新。HBM本质是3D堆叠的DRAM，通过超宽总线实现高带宽，容量较大但成本高，且市场上极度缺货。
Kernel（算子）：连接AI算法与芯片硬件的“翻译官”，将矩阵乘法、注意力等算法操作转化为硬件可执行的指令。算子开发属于内核级编程，直接决定模型的推理速度、能耗和芯片兼容性。
系统级异构：指在系统层面组合不同类型的计算芯片（如GPU、SRAM推理芯片、专用加速器），用最合适的硬件做对应部分的应用，而非用一颗芯片包揽所有工作。OpenAI Jalapeño则选择将异构收进单颗芯片内部。
流片（Tape Out）：指芯片设计完成后，将电路版图数据交给晶圆厂进行实际制造的过程。晶圆厂据此制作掩模（Mask），再通过光刻等工序生产芯片。流片成本极高，先进制程一次可达数百万美元，且若设计有误，整批芯片可能报废。

【硅谷101听友群】
在这里，和同好一起深聊科技、商业与未来，期待你的声音，也期待更多有趣的讨论。
扫码加入，即刻相遇！

【监制】
泓君
【后期】
Amei
【运营】
朱婕
【BGM】
Still Waiting For You STEMS INSTRUMENTS - Wave Saver
Seven Daughters - Fabien Tell
Reclaim - Megan

【在这里找到我们】
公众号：硅谷101
收听渠道：Apple Podcast｜Spotify｜小宇宙｜喜马拉雅｜蜻蜓FM｜荔枝FM｜网易云音乐｜QQ音乐
其他平台：YouTube｜Bilibili 搜索「硅谷101播客」
联系我们：podcast@sv101.net

Special Guests: Mark and 徐子扬.

本期播客是硅谷101在GTC 2026大会期间的线下特别录制，我们从老黄在Keynote上抛出的那几个大数字开始聊起：
1万亿——这是黄仁勋预期到2027年底，Blackwell和Vera Rubin两个平台带来的订单收入。
7块——这是大会一次性发布的Vera Rubin新芯片数量。
10倍、35倍——这是Vera Rubin NVL72 AI机架系统，相比Blackwell，它的推理效率提升了10倍，每瓦Token产出性能是之前的35倍。
但我们聊的远不止数字本身，也不只是芯片的故事。当推理拐点全面到来，算力狂奔的路上，芯片设计、代工产能、推理架构、软件生态、电力基建、云服务运营……这些环节都在被重新丈量。
在这场串联起AI全产业链关键节点的线下对谈中，我们试图穿透英伟达庞大的AI生态帝国表象，看清它真正的护城河，以及那些潜伏在高速增长背后的软肋与隐忧。

【主播】
泓君，硅谷101创始人，播客主理人
【嘉宾】
张璐，Fusion Fund创始管理合伙人
Dr.Mark Ren, Agentrys创始人&CEO，前英伟达研究总监
Dr.Zhibin Xiao, ZFLOW AI创始人&CEO，前CASPA主席与董事会顾问
Alex Yeh，GMI Cloud创始人&CEO

【你将听到】
万亿野心背后的产业现实
03:21 万亿目标背后，推理业务正成为英伟达关键收入来源
05:50 供应链瓶颈：CoWoS产能成最大挑战，硬件周期非资金可突破
09:03 七芯齐发的关键：英伟达全公司都在用 Coding Agent 做芯片
10:10 Groq的优势：纯SRAM架构专攻低延迟
15:43 推理芯片创业还有机会吗？关键：找英伟达短板
19:07 未来数据中心是异构的，系统级优化比单芯片更重要
21:25 OpenClaw引爆TOKEN消耗，英伟达NemoCloud能让人惊艳吗？
24:27 SaaS面临挑战：未来软件公司卖的不是软件，是AI劳动力
28:36 未来企业架构：CEO同时管员工和智能体，HR、财务都可外包
30:07 英伟达芯片设计模型ChipNemo，硬件代码也能写，难点在于优化
31:47 谷歌TPU系统能力强，但英伟达的护城河已从CUDA扩展到全栈基础设施
35:28 英伟达的护城河：执行力与供应链
36:14 未来挑战：垂直领域、边缘端与私有化部署的崛起、推理市场红利被分流、资本压力
40:16 观众提问1： 英特尔是否有望成为代工第二源？
42:56 观众提问2：CUDA护城河是否会被Coding Agent削弱？

一线云服务商谈数据中心瓶颈
46:30 数据中心竞速：靠自发电与预制集装箱加速
50:22 谁在引爆GPU云需求？模型训练、视频生成、AI Coding以及OpenClaw
53:39 模块化、标准化、全套打包的AI工厂方案
56:57 不止GPU缺货，数据中心核心配件供应趋紧
58:42 运营GPU云的核心能力：先有卡，再稳得住，SLA是生死线
01:01:04 GPU折旧比资本市场预估更耐久
01:02:08 观众提问3：AI云服务商的差异化策略

【监制】
泓君
【后期】
Amei
【运营】
朱婕
【BGM】
Pulse Runner - Helmut Schenker
Interstate 895 - Bonnie Grace
Unfinished Stories - Lennon Hutton
Seven Daughters - Fabien Tell
AI sing-along recaps GTC keynote

本期节目不构成任何投资建议

【在这里找到我们】
公众号：硅谷101
收听渠道：Apple Podcast｜Spotify｜小宇宙｜喜马拉雅｜蜻蜓FM｜荔枝FM｜网易云音乐｜QQ音乐
其他平台：YouTube｜Bilibili 搜索「硅谷101播客」
联系我们：podcast@sv101.net

Special Guests: Alex Yeh, Dr.Mark Ren, Dr.Zhibin Xiao, and 张璐.

在AI算力争霸时代，英伟达凭借GPU市值一路狂飙。但如今，它的蛋糕正在被一点点分食——2024年，苹果论文披露Apple Intelligence全部由TPU训练；2025年，Anthropic签下数十亿美元订单，购买TPU训练Claude；近期，Meta与谷歌签署数十亿美元协议，租用TPU跑Llama。
TPU一直是谷歌低调的“自家武器”，在过去十年里驱动着几乎全部核心产品。直到TPU训练的Gemini 3打了一场漂亮的翻身仗，人们才开始重新审视：这套从搜索推荐系统中长出来的定制芯片，究竟藏着多少秘密？
本期播客，我们邀请到前谷歌TPU工程师Henry。他在2018年至2024年间深度参与了三代TPU的研发，也见证了大模型时代TPU的关键转型。他将从硬件架构、软件生态、生产供应链三个维度，一层层揭开TPU的神秘面纱。
我们将深入探讨：TPU与GPU的架构有何根本不同？TPU的产能瓶颈卡在哪里？当谷歌开始向Anthropic、Meta开放TPU，它在软件生态上要迈过哪些坎？如果未来模型的底层范式发生改变，TPU还能押准方向吗？而最关键的问题是：TPU真的有机会撼动英伟达的霸主地位吗？

【主播】
泓君，硅谷101创始人，播客主理人
【嘉宾】
Henry Zhu，前Google TPU工程师，参与V6/V7/V8 TPU研发

【你将听到】
TPU挑战GPU
03:06 架构对决：GPU像多个大厨，TPU像流水线接力
06:41 TPU vs GPU：谁在模型训练上更强？
10:20 TPU产能之困：HBM、封装与良率

XLA软件黑盒
14:06 Anthropic为何率先下单百万部署？
16:01 黑盒优化如何“榨干”硬件性能
17:47 XLA与CUDA，两种生态之争
19:53 苹果为什么能成为TPU大客户？

“大模型客户”
20:45 Gemini成功背后，TPU做了什么？
22:34 TPU是如何做MoE优化的？
23:45 设计难点：如何押中两三年后的算法？
26:05 TPU的转身：V6开始押注大模型预训练
28:53 Transformer先发优势带来的旗鼓相当能持续多久？
32:04 Meta的TPU托管服务：生态逐渐走向兼容

供应链命门
36:08 拓扑通信架构如何为TPU打赢数据中心成本战
38:27 博通（Broadcom）是谁？为什么它如此关键
42:04 挑战GPU的机会：用户规模越大推理越快
45:36 V7（Ironwood）之后：Gemini实现100%TPU训练
48:15 一句话总结TPU优劣势

TPU十年进化史
49:49 V1推理芯片试水，V2训练芯片旗舰，V4优化推荐算法
52:16 V5/V6：进入大模型时代，推出推理专用版本
56:05 团队演变：软件组话语权越来越重

新星Groq
57:14 踩准每一次红利的编译器公司
59:27 差异化定位：做小规模部署的低延迟优化
01:01:59 AI算力芯片新战局

【更正】
54:20 口误，Groq创始人Jonathan Ross，现为英伟达首席软件架构师

【延伸阅读】
《谷歌收获大单：与Anthropic达成数百亿美元合作，部署100万个TPU芯片》
《不再单押英伟达，Meta斥资数十亿美元租用谷歌TPU》

【监制】
泓君
【剪辑】
小师 Jacob
【运营】
朱婕
【BGM】
Virtuoso Violin - Rafael Krux
Angular Pulse - Guy Copeland
Top Flow - This Violin

【在这里找到我们】
公众号：硅谷101
收听渠道：Apple Podcast｜Spotify｜小宇宙｜喜马拉雅｜蜻蜓FM｜荔枝FM｜网易云音乐｜QQ音乐
其他平台：YouTube｜Bilibili 搜索「硅谷101播客」
联系我们：podcast@sv101.net

本期节目中嘉宾所表达观点均为其个人看法。
本期节目不构成任何投资建议，投资有风险，入市需谨慎。

Special Guest: Henry Zhu.