不同于春节假期刚结束时近20家AI芯片公司忙着宣布完成适配DeepSeek蒸馏模型的热闹景象，半个月后宣布完成适配满血版DeepSeek模型的寥寥数家，这也真实反映出了国产AI芯片的真实力。

　　“只要厂家之前已经支持大模型的训练推理，那么适配DeepSeek就没有任何难度。”AI芯片软件工程师梓豪说，“我们公司的应用工程师（AE）就可以完成DeepSeek蒸馏模型的适配。”

　　这足以解释为什么有芯片公司可以用数小时时间就完成DeepSeek蒸馏模型的适配，但对于一直致力于做大芯片的AI芯片公司来说，适配满血版DeepSeek更能体现其价值。

　　目前，华为、寒武纪、摩尔线程以及昆仑芯都有公开信息表示其完成满血版DeepSeek模型的适配。更多国产AI芯片公司适配满血版大模型进展欢迎添加作者微信BENSONEIT了解。

　　“即便是现在已经宣布适配满血版DeepSeek的芯片公司，其性能都不太好。”AI芯片资深工程师杰克说，“从技术上判断，此前已经将大模型跑起来的公司，比如燧原、壁仞、天数智芯适配满血版DeepSeek也只是时间问题，之前没有部署过大模型的公司适配满血版DeepSeek可能‘遥遥无期’。”

　　那么到底适配DeepSeek蒸馏模型和满血版DeepSeek模型会成为AI芯片公司的分水岭？为什么有人说国内AI芯片公司的人不懂AI？DeepSeek的爆火至少能撑起一家国产AI芯片公司的上市？

　　上个月芯片公司铺天盖地的适配DeepSeek的新闻里，有公司明确表达了适配的是蒸馏模型，也有公司只说适配了DeepSeek，但适配蒸馏模型和满血版模型之间存在着巨大的差别。

　　满血版模型指的是与DeepSeek官网性能一致的V3和R1的全量参数模型，其参数高达671B，一般需要多台高性能GPU服务器并行才能流畅运行推理服务。

　　“我一度认为适配蒸馏版DeepSeek模型没有太大价值，许多工程师也都更倾向于满血版DeepSeek，但我现在的想法发生了转变。”有二十多年芯片行业经验的柏林说，“蒸馏版模型能满足普通用户的聊天需求，对于普及AI的意义非常大。”

　　杰克也表示，虽然蒸馏模型的准确度不如满血版模型，但蒸馏版模型能让端侧AI的能力上一个台阶，端侧资源受限，有了DeepSeek的蒸馏模型之后，比如原来只能部署7B模型的场景，现在能达到14B模型的效果。

　　无论是使用GPGPU架构还是专用ASIC架构对AI芯片公司，都迅速完成了对DeepSeek的适配。“GPT火了之后所有公司都想办法支持大模型，DeepSeek和之前的大模型没有本质的不同，有此前适配大模型的工作，适配蒸馏版DeepSeek不是难题。”梓豪表示。

　　“CUDA兼容的GPGPU适配起来确实会更容易，但只要给ASIC更多时间做到极致，性能可以超过GPU。”杰克认为。

　　从长期看，无论什么架构的芯片，如果只是支持几个有限的模型，总能在这个架构上找到最优的解决方案。DeepSeek的火爆，主流模型就是DeepSeek和Llama等少数几个，从这个角度看，对AI芯片公司来说算是好事。

　　对于采用国产AI芯片的智算中心来说，DeepSeek的火爆同样是重大利好。

　　“DeepSeek火爆之后我们想用一家国产AI芯片公司的卡适配。”国产智算中心从业者博远说，“但现实的问题是，如果适配DeepSeek A100的性能是100分，这家国产卡跑起来只有几分的性能，使劲优化也只有A100十几分的性能。”DeepSeek的火爆到底如何影响智算中心发展，添加作者微信BENSONEIT互通有无。

　　既然从普及AI和适配的角度，蒸馏版DeepSeek就有巨大的价值，那为什么还要适配满血版DeepSeek？

　　“只有部署了满血版DeepSeek模型，才能得到蒸馏版模型，我认为这是部署满血版DeepSeek模型的重要原因。”杰克表示。

　　但是想要部署参数高达671B满血版DeepSeek-R1模型，即便是Int8精度模型的大小也高达671G，以单卡96G HBM计算，天博品牌介绍单机8卡总共768GB也只是勉强够部署满血版DeepSeek，只要模型精度比Int8更高，单台服务器就无法部署满血版DeepSeek模型。

　　“Nvidia有NV Link，国产芯片没有多机互联的解决方案会选择InfiniBand（IB）或者高速以太网RoCE实现互联，这些方案的通信的延迟很大，这就极大程度会影响最终部署的效果。”杰克说，“多卡和多机互联是国产芯片适配满血版DeepSeek的第一个难点，如果之前没有解决通信问题，想做起来很难，距离成功适配满血版DeepSeek可能遥遥无期。”

　　另一个难点是DeepSeek的MoE混合专家系统，MoE是多一个router（路由模块）的计算，它会将token路由至合适的专家权重去做计算，这个路由是动态的，这和此前的Transformer大模型的部署不一样，这也是一个全新的挑战。

　　对于所有国产AI大芯片而言，还有一个硬伤就是不原生支持FP8数据类型，DeepSeek模型采用了 FP8 混合精度训练，全球领先的AI芯片公司英伟达从H100开始，AMD MI325X都原生支持FP8。

　　“不原生支持FP8不意味着就不能部署满血版DeepSeek，只是会带来效率问题，比如用FP16来部署，就需要2倍的存储。”杰克表示，这就意味着需要更多卡，问题又到了多卡多机互联。

　　柏林认为，最新的国产AI芯片不支持FP8、FP4这类非IEEE定义的数据类型，说明企业内部没有前沿的研究指导这些公司的设计。并且英伟达2022年推出的H100就已经支持了FP8，已经有人做出产品，就算照着“抄”也不难了，这体现了国内许多做AI芯片的人并不懂AI。

　　即便解决了技术难题可以部署满血版DeepSeek，从可用到好用还有一段很长的距离。杰克就深有感触，此前适配大模型的时候，杰克所在的公司跨机通信也解决了，但是要实现性能的提升难度很大。

　　雷峰网了解到，目前国内领先的AI芯片公司以4台服务器（32卡，FP16数据类型），或者2台服务器（16卡，Int8数据类型）适配满血版DeepSeek的效果也只达到了10tokens/s，其目标是在二月底前能够达到25tokens/s，性能大概是英伟达H100的25%。

　　另有消息称，国内上市AI芯片公司在智算中心已经达到了适配满血版DeepSeek 25tokens/s的性能。

　　从用户的角度，使用满血版DeepSeek要有比较好的使用体验有两个非常直观的指标，一个是首字延迟，另一个就是每秒吞吐量。大致而言，首字延迟在1-1.4秒是大部分用户能够接受的延迟，而每秒生成20token能满足正常阅读的需求。

　　这样说来，即便是国内领先的公司，最快也要到二月底达到让用户相对满意的使用体验。

　　至于其他AI芯片公司，雷峰网了解到，在上市辅导流程里的AI芯片公司有几家适配满血版DeepSeek的速度在10 tokens/s及以下。

　　AI大芯片公司的张伟判断，未来一个月适配不好满血版DeepSeek的AI公司可能有一半。柏林认为，未来一个季度国产AI芯片都会陆续适配满血版DeepSeek。

　　“其他已经有成功部署大模型经验的芯片公司适配满血版DeepSeek只是时间问题。”杰克说，“这些公司里好几家都处于上市辅导阶段，我认为谁能更快、更好支持好满血版DeepSeek，会大幅增加他们上市的概率，因为很多机构和公司都在积极部署满血版DeepSeek，有利于AI芯片公司做出真实的业绩，支撑其上市。”

　　不过两位芯片投资人都对雷峰网表示，A股的成功上市的因素比较复杂，能够支持好满血版DeepSeek确实是实力的体现，但对于最终成功上市很难说有直接利好。

　　毋庸置疑的是，DeepSeek对于国内芯片、智算中心、AI应用都是巨大利好，我们已经处在AI变革前夜。关于AI算力的更多挑战，欢迎添加作者微信BENSONEIT讨论。

　　公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。

　　特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

　　新加坡抓了9个人！指其向中国DeepSeek倒卖NVIDIA GPU 可判20年

　　9岁儿子被捅12刀离世，他不理发、不刮胡子，不接受道歉与赔偿，在殡仪馆守了儿子半年

　　人社部定调！养老金调整，5000元以下涨5%，5000元以上涨2%可行吗

　　盒马网红单品炒酸菜在多地门店下架，生产商：爆单后生产不过来，正提升生产效率

　　泽连斯基：与特朗普关系“还有救”，但需闭门谈！乌官员接“避免激化局势”指示

　　AMD 下代移动处理器 Medusa Point 被曝仍搭载 RDNA 3.x 架构核显

　　三星Tab S10 FE系列规格曝光 13.1英寸屏+Exynos 1580

　　《编码物候》展览开幕 北京时代美术馆以科学艺术解读数字与生物交织的宇宙节律