核心内容摘要
Qwen2.5-VL-7B-Instruct多模态实战：医疗报告图片文字提取+术语解释联动
雷递网 乐天 1月28日专注于推理 GPU 的曦望Sunrise昨日发布新一代推理 GPU 芯片启望S3并披露其围绕推理场景构建的算力产品体系及共建推理云生态计划。
这也是曦望在近一年累计完成约30亿元战略融资后的首次集中公开亮相。
曦望联席CEO王勇在发布会上表示AI行业正在进入以应用落地为核心的下半场推理逐步超越训练成为主要算力消耗场景。
相比训练阶段的一次性高投入推理更强调长期交付能力、单位成本和系统稳定性这也正在改变GPU的竞争逻辑。
据王勇透露启望S3芯片内部研发基本已经完成将于今年年中流片年底回片量产启望S3会是一款2026年上市的极具性价比具有十倍以上性价比提升的推理型GPU。
“按照量产一代发布一代预研一代的节奏。
未来两年我们还会推出高性能启望S4推理GPU以及安全可控启望S5-GPU芯片。
”以下是曦望联席CEO王勇演讲实录王勇我觉得曦望这家公司特别让我感触很深因为我们在商汤孕育了几年之后又脱胎换骨成为曦望。
今天我在这里给大家带来我们启望S3以及相关产品这将是开启推理GPU里程碑式的产品。
大家都知道大模型已经进入了下半场就像刚才冰总讲的最初的时候大模型从ChatGPT的llama开始。
随着去年DeepSeek尤其是DeepSeek满血版带来特别惊艳表现的开源大模型以来那大模型在各类垂域场景应用非常广泛。
过去一年推理的token增长了100倍也就是说在云端在边缘侧在端侧推理的业务大大超过了训练。
我们曦望认为推理超越信任现在成为案例的核心驱动力。
随着最近AI agent以及飞利浦AI这一系列热门应用进一步普及。
我们曦望看到推理token仍然会以几十倍的速度去往前成长。
随着这个成长我们认为曦望 All In推理这件事儿就变得特别正确。
行业在过去一年大多数的用于推理的芯片仍然是训推一体的那么训推一体的芯片它面临的几个大的困境。
首先芯片的成本高昂供应不稳定。
第二使用成本也高能耗和算力比不经济最后它的适配和运维投入非常大。
对于曦望来说针对这些行业的痛点我们提出了自己前瞻性进行了布局战略性地选择了专注于研发推理GPU。
过去几年在集团孵化的过程中我们的产品都是从真实的场景需求出发依托对AI行业的深度洞察在不断地满足极致的需求的过程中迭代出来的。
我们说曦望是一家更懂AI也更懂芯片的公司。
我们有一群平均超过15年行业经验的芯片老兵同时还有一群天才的大模型架构师和研究员组成。
我们能够更加准确地切中行业的痛点为行业提供曦望的解决方案。
我们拥有全栈资源的GPGU架构覆盖从自研的指令集到GPGUIP到SOC到硬件系统。
经过过去S
S2从研发到产品的打磨以及S3研发的打磨显示出我们的研发团队有极强的芯片研发能力和架构迭代能力。
因为更懂AI所以贴近用户需求我们更早提出了用大容量的DDR来替代HBM, 用高性价比的大模型推理芯片来替代训推一体芯片的概念。
在战略上率先all in推理GPU市场。
接下来我来介绍一下我们的产品路线图。
从2018年开始我们就开始着力研发第一代S1推理芯片。
在2020年量产取得了上万片的场景落地。
从2020年开始我们着力打造了启望S2高性能的GPGU架构芯片。
这款芯片我们对标了当时行业最头部的GPU企业最有竞争力的产品自定义的指令集自研的GPGPU架构和相应的IP这款芯片在2021年流片在2023年取得了非常好的产品化的路径。
最终在之江实验室的送测上也取得了非常好的国内一线的性能指标。
尤其在去年DeepSeek满血版的适配显示这款芯片的技能居于国内头部的地位。
今天我们要发布的是依托我们all in推理的理念做了一款极致性价比的GPU芯片——启望S3。
这款芯片目前内部研发基本已经完成将于今年年中流片年底回片量产启望S3会是一款2026年上市的极具性价比具有十倍以上性价比提升的推理型GPU。
按照量产一代发布一代预研一代的节奏。
未来两年我们还会推出高性能启望S4推理GPU以及安全可控启望S5-GPU芯片。
回望来时的路我觉得希望走到这一步非常不容易。
我个人也感同身受从启望S1开始我们就跟行业的算法应用一起迭代。
我们拥有成熟的GPU架构同时IP也授权给索尼和小米分别用在索尼的AI摄像头以及小米手机上。
启望S2我们对标了国际巨头当时最先进的GPU, 我们历经三年的研发和量产流程在各种大模型的适配上性能表现优异。
尤其是我们在DeepSeek满血版的适配上达到了国际巨头80%的推理性能在国内处于第一梯队。
在性能强悍的同时我们在软件站上也做到了95%的扩大兼容基本上可以做到客户的推理业务无缝迁移。
在过去的一年启望S1和S2在客户那里做到了一些业务落地和产品化的一些结果。
我们拒绝做跑分党不希望用benchmark来定义芯片而是希望能够做到帮客户赚钱的算力。
我们有很多典型的客户这里举几个例子比如商汤我们跟商汤一起适配了商汤全系列小浣熊模型依托一体机落地行业客户取得了非常好的效果。
我们跟中国电子下的长城集团一起打造了国产CPUGPU的国产信创一体机。
在很多行业客户那里取得了非常好的反馈。
我们跟范式星凡星起以及玄武智能一起拓展更多的GPU垂直应用。
筑牢自主可控的推理算力让我们在能耗降低的同时实现性价比的提升。
在过去两代芯片落地的过程中我们对行业痛点非常清楚。
所以我们提了一个问题推理性价比还能再提高十倍吗今天希望给出了自己的答案就是启望S3。
启望S3依托我们打造的极致性价比的理念针对大模型做了极致的性能优化我们取得了十倍以上的推理性价比的提升。
在这一代产品上我们力争在整个生命周期里形成百亿级的收入。
最后曦望能够引领中国的GPU企业进入百万Token1分钱时代。
我们是怎么做到这一点的呢一个是性能跃迁。
从FP16到FP
FP
FP4等低精度算力非常丰富的低精度算力的支持。
第二个单芯片的第一步推理性能提升了五倍。
同时我们也做到全场景适配。
因为启望S3是一个中等规模的芯片用最先进的工艺。
所以我们可以在云智算边缘服务器以及端侧设备上全面布局和适配。
我们可以看到启望S3是在研同时支持FP16到FP4等低精度算力的非常有竞争力的一款产品。
随着S3芯片和卡的产业化、产品化落地我们希望这个产品是一个革命性的颠覆性的产品。
那么想做到这些极致性价比十倍以上的性价比提升我们需要做大量的有关工作。
我们重新定义了推理GPU按照冰总所讲有几个特别显著的研发的特点。
第一个我们追求极致的PPA, 在架构上我们扬弃了所有训练相关的比较重贵的一些技术组件采用了比较新的针对推理极致优化的一些架构和技术组件。
在IP上我们follow up了最新的GPU IP的架构把友商一些架构的特点都吸收进了这一代的GPGPUIP里包括一些wordup, 包括一些tensor memory这些技术特点。
同时在工艺上我们采用目前合规最先进的国际工艺节点在第三方IP上我们也选用了国际巨头最先进的高速接口这些IP在显存上我们认为是启望S3特别大的一个特点。
因为HBM跟高级封装强相关就会推高训推一体芯片的成本。
所以我们做了非常多的架构的研究发现LPDDR6才是当前推理的最优解。
LPDDR6这个IP相较于LPDDR5差有一倍以上的带宽提升但是容量上却起到极大的提升效果。
显存的容量导致我们启望S3显存容量比上一代训推一体芯片提升四倍以上。
所以我们也是国内首发挂的LPDDR6的GPGPU推理芯片。
这边除了算力和访存之外我们也研究了大模型的本身特点发现大模型有一个黄金的算力仿真比在启望S3上我们也遵循这一原则在算力配比和访存容量和带宽之间我们取得了非常好的平衡。
达到了sweet point, 不浪费一分的算力和带宽。
我们的架构可以建得优秀呢这里有一个仿真的结果可以看到在flash attention算子的计算效率上我们的仿真结果显示我们的tensor code和code code利用率高达98%。
在germany算子的tensor code利用率高达99%是目前国内最好的利用率。
如果大家关注友商的产品发布也会看到这个指标就可以看到我们曦望的研发和架构能力是遥遥领先。
除了曦望S3之外今天我还要给大家带来我们的超级链产品依托曦望S3的超级链产品寰望SC
超节点这是一款专门针对大模型推理打造的超节点产品它也追求极致的性价比。
我们可以看到寰望超级点产品非常好地支持PD分离和大EP部署可以支持千亿万亿参数的多模态MOE的单域256卡一级互联全液冷极致的PUE可以实现模块化交付。
在大EP部署的情况下它的吞吐率相比于非大EP部署可以提高20到25倍。
也就是说在这种部署的情况下我们就可以取得非常好地推理的效果。
同时因为我们是一跳支持256卡所以我们通信延迟可以从两个纽秒做到200纳秒也是有十倍的降低。
因为启望S3单芯片单卡的成本非常低依托256卡打造的环网超节点是可以在千万元级别对标优商们亿元的产品。
所以全面地扩展替代同一个性能量级下成本可以下降一个数量级。
除此之外我们也在卡间互联上做了比较多的工作支持了高带宽、低延时的scale-up、scale-out互联架构这种原生支持的互联架构可以让我们的互联不仅是超节点不仅是256卡也可以向下覆盖。
这取决于我们的客户的需求可以做到16到256卡这样的超节点产品。
同时当我们把多个超节点通过我们直出的RDMA连接起来的时候我们可以做到千卡甚至几千卡的互联集群。
这里是S3的产品矩阵满足各种客户的需求除了刚才我讲的启望S3芯片以及超节点产品之外我们还有智望系列的PCIE和OUM卡还有辰望系列的PCIE的服务器以及OM的服务器。
这边是我们根据我们的超节点产品打造了寰望计算集群以及我们的曦望系列。
就是现在AIPC或者说AI液冷工作站大家可以在我们前面的展台上看到相关的产品和样机。
除了硬件软件之外我们曦望也打造了软硬协同加速大模型的推理计算。
我们希望的软件有几个部分构成包含基础软件体系、模型能力体系和曦望与合作伙伴联合开发的MAAS平台模型应用行业解决方案。
我们曦望的全栈自研的软件体系可以全面对齐CUDA兼容CUDA并且支持代码的无缝迁移。
具体我们来看一下在技术软件上我们凭借兼容CUDA底层驱动runtime以及开发的编译器、工具链以及极致优化的算子和通讯能力能够提供快速迁移的GPU应用和极致的高能效调优体验。
我们在底层的CUDA运行时全面兼容。
同时我们支持了多种的编译器包括SG lung、triton、TileLang等编程语言在调试器profile上也要做到简单易用。
最后我们通过集合通信通过一些支持长尾算子和极致优化的计算密集算子以及PD分离等大模型推理通讯支持做到了非常好地支持大模型的PD分离大EP部署等应用。
在面对专家并行的推理和PD分离等可以实现大模型推理的软硬化协同。
这里列了一些我们已经采用在我们的软件上的一些技术点。
根据这些技术点我们可以在单卡成本降低一个数量级的情况下接近国际主流芯片的推理性能。
这里列出我们的prefer吞吐可以做到单卡4000 token每秒decode存储可以做到Token一千多每秒。
同时在过去的一年我们曦望公司也做了非常多的大模型的适配适配了ModelScope 90%以上的大模型其中包含咱们商汤的日日新模型DeepSeek的最新版的模型千问
2.
千问3以及one
2.
1、
2腾讯混元等模型适配了国内外百余种大模型。
有力地支持了我们的业务落地和商业化的进展。
不止于此我们后面还要开启推理即服务的新模式。
——————————————雷递由媒体人雷建平创办若转载请写明来源。