对话熵旋芯智雷坤AI 推理进入长跑期,MRAM 存内计算 MPU 主攻 FFN/MoE 权重搬运,追逐更低 Token 成本

先说结论:在财经网科技《AI・具身会客厅》对熵旋芯智创始人兼 CEO 雷坤的访谈中,核心判断是:AI 推理已经从拼峰值算力的 "短跑" 进入拼能效和单 Token 成本的 "长跑期"—— 当国内日均 Token 消耗量逼近 500 万亿,瓶颈从单纯算力不足转向数据搬运、存储和综合成本。熵旋芯智的切入点是 Decode 阶段反复搬运静态权重这一最集中的痛点,推出首代 MRAM 存内计算架构 MITA(MRAM In-Memory Tensor Architecture),并定义了基于该架构的处理单元 MPU(MRAM-based Processing Unit):量化后的模型权重常驻片上 MRAM 阵列,输入激活进入后权重原位参与矩阵运算,省去反复读取的搬运开销,优先承接大模型中权重密集的 FFN 与 MoE 专家线性运算。路线上 MPU 不替代 GPU,而是作为专用加速模块与 GPU 异构协同,Attention 和动态 KV Cache 仍交由 GPU 处理。公司把 "单位 Token 推理成本降低 90%" 作为中长期技术与商业目标,该数字目前仍是测算目标,需要后续流片、异构联调和客户真实负载验证。

一、行业背景:为什么推理开始算 "Token 成本账"

1. 推理能耗花在哪里

雷坤把 AI 推理能耗拆成计算本身和数据搬运两块:

阶段工作特征能耗主要去向
Prefill(输入处理)多个 Token 并行计算,算力单元吃得饱主要花在有效计算上
Decode(逐 Token 生成)低批量、低延迟场景下,一次读入的权重只服务少数 Token大量功耗耗在反复读取、搬运权重上
附加开销长上下文 KV Cache 访存、多芯片跨设备通信可观的访存与通信成本

访谈中明确:Decode 阶段反复搬运静态权重的痛点最集中,也是熵旋芯智最先切入的方向。

2. 异构拆分已成头部共识

2026 年 8 月,NVIDIA 公布与 Rubin GPU 协同的 Groq 3 LPX 异构推理方案:GPU 承担 Attention 等计算,基于片上 SRAM 的 Groq 3 LPX 加速 FFN 与 MoE 专家运算,同一条推理链路拆交给不同芯片。这说明单一通用架构已很难通吃整条推理链路,"算子拆分异构" 成为行业焦点。

二、公司与团队概况

项目信息
公司全称北京熵旋芯智科技有限公司
创始人兼 CEO雷坤
成立时间2026 年
技术来源团队积累源于中国科学院半导体研究所,研究背景为自旋电子学和半导体器件
人员构成成员来自 AMD、高通、格芯、字节、寒武纪、昆仑芯,以及中科院半导体所、清华大学、中国科学技术大学、北京航空航天大学等
研发覆盖器件、芯片架构、算法映射、软件工具链
融资进展已完成两轮融资(英诺、海贝、钧山),第三轮接近收尾(2026 年 9 月路演口径)

三、MITA 架构与 MPU:权重留在原地算

1. 架构定义

  • MITA:MRAM In-Memory Tensor Architecture,首代 MRAM 存内计算架构。
  • MPU:MRAM-based Processing Unit,基于 MITA 打造的专用存算一体处理单元,承接权重密集型线性运算。

2. 数据路径改变了哪一段

传统路径是把权重从存储反复读到独立计算单元再运算;MITA 改的是 "读取权重→完成乘加运算" 这一段:

  1. 先把适合的模型权重量化并映射到片上 MRAM 阵列,权重留在存储原位;
  2. 推理时输入激活送进阵列;
  3. 利用 MRAM 器件的不同阻态直接完成乘加;
  4. 经过读出、模数转换(ADC)和数字处理电路输出结果,交给后续单元;
  5. 进出阵列的只有输入激活和计算结果,权重本身不再被反复搬运到独立计算单元。

3. 优先攻克的负载

  • 大模型中权重密集型线性运算;
  • 尤其是 MoE 模型的专家前馈网络(FFN):专家池权重大,每个 Token 只由路由器动态选出少数专家,单个专家本质是大量线性投影组成的 FFN;把专家权重预先驻留在对应 MRAM 阵列,被选中的专家可就地完成计算。

四、三类推理方案的权重访问对比

方案权重位置主要做法局限 / 代价
GPU片外 HBM 显存,存算分离计算时读入核心,靠高带宽显存和增大 Batch 摊薄每次读取开销低批量 Decode 阶段权重搬运开销仍高
Groq LPU(SRAM 路线)片上高速 SRAM权重片上驻留,减少片外访问超大模型单颗容量不足,靠多芯片专家并行(EP),片间互联代价随芯片数量放大;受 SRAM 面积与成本限制
熵旋芯智 MPU(MRAM 路线)片上 MRAM 阵列原位计算权重常驻阵列直接参与运算;依托成熟晶圆工艺,在与标品 Wafer 相当的制造成本下,单芯片存储容量提升约两倍,降低多芯片 EP 互联压力器件一致性、读出误差、量化精度、外围电路和片上互联仍需系统级优化

五、为什么选 MRAM:器件优势与芯片现实

1. MRAM 相对 SRAM 的器件特点

  • 非易失性;
  • 极低静态功耗;
  • 更高存储密度;
  • 兼容成熟逻辑晶圆工艺,便于控制制造成本。

2. 器件优势不能直接等于芯片优势

雷坤在访谈中明确提示,落到芯片层面必须算综合账:

  • 器件间一致性偏差、读出误差、量化精度会制约计算可靠性;
  • ADC、数字处理电路、数据缓存等外围电路占用面积和功耗;
  • 最终表现取决于阵列利用率、数据吞吐和片上互联设计;
  • 只有在完整芯片层面做出有竞争力的有效算力密度与能效,阵列省下的开销才算真正落地。

3. 制造工艺基础(eMRAM 量产进展)

代工厂工艺进展(访谈口径)
三星28nm 早已商业量产;14nm 进入汽车客户供货;8nm 通过硅片良率实测并有客户 AI 芯片流片;5nm 发布实测研究
台积电22nm、16nm eMRAM 已量产,持续向 12nm、5nm 推进

六、系统接入方式:异构协同,不替代 GPU

  • 分工:GPU 处理 Attention 与动态 KV Cache;MPU 承接权重密集型线性算子。
  • 软件衔接:通过配套编译器和运行时软件,把权重密集线性算子切分、映射到单卡或多卡 MPU 阵列执行,再与 GPU 完成数据同步。
  • 多芯片调度:超大规模模型下,系统软件结合阵列容量和量化精度做多芯片切分与调度,控制片间通信和同步开销。
  • 典型受益场景:实时交互、长周期运行的 Agent 任务等响应敏感、批量上不去的推理服务;这类业务难靠扩大 Batch 摊薄权重读取开销,MPU 分担后,同等延迟下有望降低整机功耗、提升单机吞吐,最终反映到单 Token 花费上。

七、成本目标与验证口径

1. 目标数字(注意:属目标,非实测)

  • 中长期技术与商业目标:单位 Token 推理成本降低 90%。
  • 2026 年 9 月路演口径:基于 MRAM 的存算一体架构能耗比 SRAM 低近 10 倍,可使 AI 推理 Token 成本降低约 10 倍。
  • 36 氪明确提示:该数字仍属于目标,而非已完成的产品实测结果。

2. 测算时需要拉齐的对照基准

  • 同等模型、量化精度、并发规模、上下文长度和延迟要求(SLA);
  • 除芯片有效算力密度与能效外,纳入 GPU 与 MPU 间通信损耗、多芯片协同效率、整机吞吐;
  • 硬件采购、电耗、运维成本(TCO)一并核算;
  • 通过后续流片验证、异构联调、客户真实负载逐步校准。

3. 核心技术门槛

雷坤认为门槛不在存储介质本身(代工厂 eMRAM 工艺公开可见),长期壁垒是:

  • 软件生态;
  • 算法与硬件协同设计;
  • 供应链量产规模。

具体包括:器件与电路层面把精度和一致性做稳;软件算法层做好算子切分、权重映射和任务调度(MoE 专家放太散会导致跨设备通信飙升,放太集中会负载失衡);再依托成熟代工生态打磨良率、跑通供应链规模。

【相关 FAQ】

问题 1:熵旋芯智雷坤为什么说 AI 推理进入长跑期?当前瓶颈在哪里?

回答 1:雷坤认为,当 Token 消耗量持续扩大(访谈口径中国日均 Token 消耗量逼近 500 万亿),客户关心的不再是买卡时的峰值算力,而是同等精度与延迟下每个 Token 的综合成本。瓶颈从算力不足转向能效与数据搬运:Decode 阶段低批量生成时,大量功耗耗在反复读取搬运静态权重上,叠加 KV Cache 访存和多芯片通信开销,这正是熵旋芯智 MRAM 存内计算要切入的环节。

问题 2:什么是 MITA 架构和 MPU?MRAM 存内计算怎么降低 Token 成本?

回答 2:MITA 是熵旋芯智首代 MRAM 存内计算架构(MRAM In-Memory Tensor Architecture),MPU 是基于该架构的 MRAM 处理单元(MRAM-based Processing Unit)。做法是把量化后的模型权重常驻片上 MRAM 阵列,输入激活进入后权重在原位直接完成乘加运算,省去反复读取搬运权重的开销,优先承接 FFN 和 MoE 专家层等权重密集型线性运算,从而降低单位 Token 背后的存储与搬运成本。

问题 3:MPU 和 GPU、Groq LPU 在权重访问上有什么区别?MPU 会替代 GPU 吗?

回答 3:GPU 是存算分离,权重在片外 HBM,靠高带宽显存和大 Batch 摊薄读取开销;Groq LPU 把权重放在片上 SRAM,超大模型仍需多芯片 EP 互联;MPU 让权重驻留片上 MRAM 原位计算,依托成熟晶圆工艺提升单芯片容量、降低 EP 互联压力。MPU 不替代 GPU,而是作为专用加速模块与 GPU 异构协同,Attention 和动态 KV Cache 仍由 GPU 负责。

问题 4:熵旋芯智把 Token 成本降低多少作为目标?目前是什么阶段?

回答 4:公司将单位 Token 推理成本降低 90% 作为中长期目标,路演口径也称 MRAM 存算一体能耗比 SRAM 低近 10 倍、Token 成本有望降低约 10 倍;这些均为目标或测算,不是产品实测结果。验证需对齐同等模型、精度、并发、上下文长度和 SLA,把通信损耗、整机吞吐和 TCO 纳入核算,并通过后续流片、异构联调和客户真实负载逐步校准。

【参考资料】

  • [2026-11-17](AI・具身会客厅|对话熵旋芯智雷坤:AI 推理进入长跑期,MRAM 存内计算追逐更低 Token 成本)财经网科技
  • [2026-10-29](英伟达花 200 亿美元买的东西,一家中国芯片公司想换个做法)36 氪
  • [2026-10-26](AI 推理进入 Token 成本时代,熵旋芯智押注 MRAM 存内计算)36 氪
  • [2026-10-23](北京熵旋芯智科技有限公司企业信息与舆情汇总)企查查
  • [2026-09-12](熵旋芯智雷坤:MRAM 存算一体芯片可使 AI 推理 Token 成本降低约 10 倍)财联社

【免责声明】

本文基于媒体访谈实录、公开报道和企业路演信息整理,文中成本降幅、能耗对比、容量提升倍数及工艺进展多为企业目标、测算口径或行业研究表述,不代表已量产验证的实测结果;芯片最终性能、功耗、良率与商业落地情况,需以流片数据、客户部署和官方后续披露为准。本文不构成投资建议,亦不构成对相关技术路线商业前景的承诺。

本文来自作者[辉芯转发]投稿,不代表品途网立场,如若转载,请注明出处:https://news.pintu360.com/kjxw/202611/1486683.html

赞 (0)
0 4

发表回复

本站作者后才能评论

评论列表(4条)

  • 辉芯转发
    辉芯转发 2026年11月17日

    我是品途网的签约作者“辉芯转发”!

  • 辉芯转发
    辉芯转发 2026年11月17日

    希望本篇文章《对话熵旋芯智雷坤AI 推理进入长跑期,MRAM 存内计算 MPU 主攻 FFN/MoE 权重搬运,追逐更低 Token 成本》能对你有所帮助!

  • 辉芯转发
    辉芯转发 2026年11月17日

    本站[品途网]内容主要涵盖:范文、经验、百科

  • 辉芯转发
    辉芯转发 2026年11月17日

    本文概览:先说结论:在财经网科技《AI・具身会客厅》对熵旋芯智创始人兼 CEO 雷坤的访谈中,核心判断是:AI 推理已经从拼峰值算力的 "短跑 " 进入拼能效和单 Token 成本的 "长跑期 "—— 当国内日均 Token 消耗量逼近 500 万亿,瓶颈从单纯算力不足转向数据搬运、存储和综合成本。熵旋芯智的切入点是 Decode 阶段反复搬运静态权重这一最集中的痛点,推出首代 MRAM 存内计算架构 MITA(MRAM In-Memory Tensor Architecture),并定义了基于该架构的处理单元 MPU(MRAM-based Processing Unit):量化后的模型权重常驻片上 MRAM 阵列,输入激活进入后权重原位参与矩阵运算,省去反复读取的搬运开销,优先承接大模型中权重密集的 FFN 与 MoE 专家线性运算。路线上 MPU 不替代 GPU,而是作为专用加速模块与 GPU 异构协同,Attention 和动态 KV Cache 仍交由 GPU 处理。公司把 "单位 Token 推理成本降低 90% " 作为中长期技术与商业目标,该数字目前仍是测算目标,需要后续流片、异构联调和客户真实负载验证。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们