过去几年，推理消耗的Token爆炸式增长，Token经济随之成型，推理专用芯片也持续升温：去年年底，英伟达以约200亿美元对AI芯片初创公司Groq进行“收购”（acqui-hire）；做晶圆级“大芯片”的Cerebras今年6月IPO，市值达到670亿美元；OpenAI联手博通，推出了首款自研推理芯片Jalapeño，从设计到流片仅用了9个月——加上我们之前聊过的谷歌TPU，推理芯片牌桌上的玩家越来越多。
这场推理芯片大战中，各家真正比拼的是什么？为什么走向了不同的技术路径？推理芯片未来又会向什么方向收敛？
本期硅谷101，我们请来两位AI芯片创业者，逐一拆解这些热门推理芯片在技术路径上的取舍与得失。其中嘉宾Mark是英伟达首席科学家Bill Dally的学生。Bill Dally是现代GPU并行架构最重要的奠基者之一。我们也借由Mark的视角，去了解这位芯片大师是如何思考问题和看待创新的。

【主播】
泓君，硅谷101创始人，播客主理人

【嘉宾】
Mark，AI芯片创业者
徐子扬，AI芯片创业者

【你将听到】
Groq、Cerebras技术路线
04:17 为什么训练看算力，推理看带宽
14:13 SRAM、DRAM、HBM的优劣
16:39 Groq和Cerebras的技术路径选择
19:34 Groq：确定性、静态编译调度，动态性不足
25:18 Cerebras 的软肋：良率、成本与系统适配
32:32 英伟达为什么要acqui-hire Groq
33:58 “推理时代，Cuda一定会被绕过”

推理时代芯片护城河
39:19 两位芯片创业者的SRAM推理芯片方案
41:07 最重要的指标：速度、性价比、耗电量
44:25 速度越快，AI越聪明
49:04 面对模型迭代，抓住“不变量”
54:15 消失的算力：为何芯片利用率跑不满
58:27 芯片设计全流程：需求、架构、RTL、验证、后端、流片、封装测试、良率、交付
01:01:16 国内优势：供应链+基础设施+开源生态
01:03:17 创业者做芯片，如何和模型厂商竞争

Bill Dally芯片设计哲学
01:05:17 为未来AI补齐强逻辑
01:09:40 “一切围绕局部性展开”
01:11:43 跳出local minimum，必须想清楚牺牲什么
01:13:03 Bill给学生的创业建议
01:14:47 亚马逊的工程哲学

OpenAI自研推理芯片解析
01:17:30 Jalapeño：通用芯片，低能耗，9个月流片
01:20:10 选择HBM4，不缺钱，但缺电
01:24:15 SRAM优势还能保持多久
01:27:03 芯片内异构，暗硅，另一种路径

【硅谷101年会来了，线下见】
10月10日—11日，我们将在【硅谷】举办Alignment 2026年度大会，从大模型、Agent、机器人到AI Infra，从实验室里的突破，到真实世界的商业化，我们直击AI变化最剧烈的前沿。 来自OpenAI、Anthropic、NVIDIA、Meta、Google DeepMind、SemiAnalysis、Cerebras等公司的研究者、创业者与投资人将齐聚现场，分享正在发生的机遇和挑战。
报名链接

【相关阅读和名词解释】
挑战GPU、绕过HBM，深挖史上最大芯片背后的Cerebras
谷歌TPU能撼动英伟达吗？前TPU工程师首次揭秘
Prefill / Decode：大模型推理的两个阶段。Prefill（预填充）一次性并行处理完整输入提示词，生成KV缓存和第一个Token，是计算密集型，瓶颈在算力；Decode（解码）基于KV缓存逐个自回归生成后续Token，是内存带宽密集型，每生成一个词都要把整个模型权重从存储读到计算单元。
KV Cache（键值缓存）：是注意力机制中的中间计算结果，避免每次生成新Token时重复计算历史Token的键值向量。当新请求与之前处理过的内容有相同前缀时，可直接复用已有KV Cache，称为“缓存命中”。
Attention / FFN：Transformer架构的两个核心模块。Attention（注意力机制）负责“找关系”，让每个Token关注序列中其他Token的信息，参数量较小但计算模式随上下文长度变化。FFN（前馈网络）负责“加工信息”，独立处理每个Token，参数量极大，是模型静态权重的主要部分。
SRAM / DRAM / HBM：SRAM用6个晶体管存1bit，延迟仅0.3-3ns，带宽性价比极高，但容量极小。DRAM用1晶体管+1电容，容量大、成本低，但延迟50-100ns且需刷新。HBM本质是3D堆叠的DRAM，通过超宽总线实现高带宽，容量较大但成本高，且市场上极度缺货。
Kernel（算子）：连接AI算法与芯片硬件的“翻译官”，将矩阵乘法、注意力等算法操作转化为硬件可执行的指令。算子开发属于内核级编程，直接决定模型的推理速度、能耗和芯片兼容性。
系统级异构：指在系统层面组合不同类型的计算芯片（如GPU、SRAM推理芯片、专用加速器），用最合适的硬件做对应部分的应用，而非用一颗芯片包揽所有工作。OpenAI Jalapeño则选择将异构收进单颗芯片内部。
流片（Tape Out）：指芯片设计完成后，将电路版图数据交给晶圆厂进行实际制造的过程。晶圆厂据此制作掩模（Mask），再通过光刻等工序生产芯片。流片成本极高，先进制程一次可达数百万美元，且若设计有误，整批芯片可能报废。

【监制】
泓君
【后期】
Amei
【运营】
朱婕
【BGM】
Still Waiting For You STEMS INSTRUMENTS - Wave Saver
Seven Daughters - Fabien Tell
Reclaim - Megan

【在这里找到我们】
公众号：硅谷101
收听渠道：Apple Podcast｜Spotify｜小宇宙｜喜马拉雅｜蜻蜓FM｜荔枝FM｜网易云音乐｜QQ音乐
其他平台：YouTube｜Bilibili 搜索「硅谷101播客」
联系我们：podcast@sv101.net

Special Guests: Mark and 徐子扬.

本期播客是硅谷101在GTC 2026大会期间的线下特别录制，我们从老黄在Keynote上抛出的那几个大数字开始聊起：
1万亿——这是黄仁勋预期到2027年底，Blackwell和Vera Rubin两个平台带来的订单收入。
7块——这是大会一次性发布的Vera Rubin新芯片数量。
10倍、35倍——这是Vera Rubin NVL72 AI机架系统，相比Blackwell，它的推理效率提升了10倍，每瓦Token产出性能是之前的35倍。
但我们聊的远不止数字本身，也不只是芯片的故事。当推理拐点全面到来，算力狂奔的路上，芯片设计、代工产能、推理架构、软件生态、电力基建、云服务运营……这些环节都在被重新丈量。
在这场串联起AI全产业链关键节点的线下对谈中，我们试图穿透英伟达庞大的AI生态帝国表象，看清它真正的护城河，以及那些潜伏在高速增长背后的软肋与隐忧。

【主播】
泓君，硅谷101创始人，播客主理人
【嘉宾】
张璐，Fusion Fund创始管理合伙人
Dr.Mark Ren, Agentrys创始人&CEO，前英伟达研究总监
Dr.Zhibin Xiao, ZFLOW AI创始人&CEO，前CASPA主席与董事会顾问
Alex Yeh，GMI Cloud创始人&CEO

【你将听到】
万亿野心背后的产业现实
03:21 万亿目标背后，推理业务正成为英伟达关键收入来源
05:50 供应链瓶颈：CoWoS产能成最大挑战，硬件周期非资金可突破
09:03 七芯齐发的关键：英伟达全公司都在用 Coding Agent 做芯片
10:10 Groq的优势：纯SRAM架构专攻低延迟
15:43 推理芯片创业还有机会吗？关键：找英伟达短板
19:07 未来数据中心是异构的，系统级优化比单芯片更重要
21:25 OpenClaw引爆TOKEN消耗，英伟达NemoCloud能让人惊艳吗？
24:27 SaaS面临挑战：未来软件公司卖的不是软件，是AI劳动力
28:36 未来企业架构：CEO同时管员工和智能体，HR、财务都可外包
30:07 英伟达芯片设计模型ChipNemo，硬件代码也能写，难点在于优化
31:47 谷歌TPU系统能力强，但英伟达的护城河已从CUDA扩展到全栈基础设施
35:28 英伟达的护城河：执行力与供应链
36:14 未来挑战：垂直领域、边缘端与私有化部署的崛起、推理市场红利被分流、资本压力
40:16 观众提问1： 英特尔是否有望成为代工第二源？
42:56 观众提问2：CUDA护城河是否会被Coding Agent削弱？

一线云服务商谈数据中心瓶颈
46:30 数据中心竞速：靠自发电与预制集装箱加速
50:22 谁在引爆GPU云需求？模型训练、视频生成、AI Coding以及OpenClaw
53:39 模块化、标准化、全套打包的AI工厂方案
56:57 不止GPU缺货，数据中心核心配件供应趋紧
58:42 运营GPU云的核心能力：先有卡，再稳得住，SLA是生死线
01:01:04 GPU折旧比资本市场预估更耐久
01:02:08 观众提问3：AI云服务商的差异化策略

【监制】
泓君
【后期】
Amei
【运营】
朱婕
【BGM】
Pulse Runner - Helmut Schenker
Interstate 895 - Bonnie Grace
Unfinished Stories - Lennon Hutton
Seven Daughters - Fabien Tell
AI sing-along recaps GTC keynote

本期节目不构成任何投资建议

【在这里找到我们】
公众号：硅谷101
收听渠道：Apple Podcast｜Spotify｜小宇宙｜喜马拉雅｜蜻蜓FM｜荔枝FM｜网易云音乐｜QQ音乐
其他平台：YouTube｜Bilibili 搜索「硅谷101播客」
联系我们：podcast@sv101.net

Special Guests: Alex Yeh, Dr.Mark Ren, Dr.Zhibin Xiao, and 张璐.