国产模型，算力受限却为何更强？ #巨联数字 #国产模型 #deepsee #kimi #国产之光 为什么国产模型明明被集体卡了脖子，但是为什么今年却像集体开挂一样，集体跃迁？

大家难道就不觉得反常吗？ 为什么我们的国产模型，最近就好像集体开挂了一样，强到让我们忽略了，明明我们才是被算力卡住的那一方。 最近一两个月，我们的国产模型发布，一下子冲到了全球的前沿，整体都跨过了万亿的参数门槛。 DeepSeek V4是1.6万亿，而Kimi K3更是直接飙升到了2.8万亿，是世界第一的水平。 就连OpenAI的高管也都承认，这一个成果不是通过堆料就能堆出来的，而是我们确实有一些真东西。 在这样的情况下，问题就来了：为什么我们能够在算力受限的情况下，把参数越做越大，模型的迭代还能越来越快呢？这个背后到底发生了什么？ 我们今天就用比较通俗的语言，给大家讲清楚这个背后的逻辑。其实我们一共是打了三张牌。 第一张牌其实就是我们的算法。目前出的这批万亿模型用的都是MOE的架构，也就是混合专家模式。 你可以把它想象成是一家拥有上百位专科医生的医院。病人来看病，不是所有的医生都来帮你看，而是说我们只是根据你的病情，来调动几个合适的专家。所以模型可以在拥有巨大知识容量的同时，还能节省算力。 而DeepSeek V4通过MOE的架构，在性能暴涨的同时，推理的计算量比上一代低了70%。MOE架构虽然很好，但是也有一个很大的问题。 那么，我们的专家虽然多了，但是专家之间的通信会变得异常爆炸，导致有的专家需要排长队，而有的专家又没有活干。这样子在整个算力集群里面，就会等最慢的那一个。那么该怎么解决这个问题？其实就是我们的第二张牌：我们的算力基建。我们国产的方案是建立一个超级节点，虽然在高端显卡上被卡脖子，但是我们可以使用上万张普通的卡，通过高带宽NPU池的互联，组成一个逻辑上的超级节点。MOE呢，负责把算法进行平摊，而超级节点会把计算量拆开，并连接在一起，从而将算力聚合在一起。两者一配合，堆参数就变得没有那么烧钱了，而是变成了可以批量复制的工程。这里面的难点在于，这么多卡连在一起，也不是说卡越多越好，稳定性和利用率也是很重要的一个指标。有一个公开的数据可以很好地说明这一点：美团在23年的时候，只有一千张显卡，在三年后，也就是现在，已经突破到了5万张。而在这个过程中，没有使用过一张英伟达的卡，但是他们显卡的利用率翻了1.5倍。所以水面上的爆发，其实是水底下好几年的积淀，就好像地底下的春笋一样，看似是一夜之间冒出来的，其实已经在土壤里面扎根了很多年了。第三张牌呢，其实也是最重要的，就是我们研发方式的变化。为什么我们现在的国产模型迭代越来越快？就是因为现在我们做的大模型，已经不是从零开始摸索了。 而是我们已经具备了一整套完整的流水线，从数据的清洗，再到训练，再到评测，全部都是现成的，并且也是自动化执行的，新的版本出来基本上也是自动去跑的。 而且还有一个最恐怖的事情，就是模型现在已经开始自己去训练自己了。虽然我们经常听到Cloud或者GPT那边的一些人，说他们是怎么用模型自己去训练自己的，但是其实我们国内的团队，自身方面已经做得很成熟了，只是他们很少去说而已。 你比如说在KIMI K3的研发后期，其实就是用早期版本的K3模型来承担大部分的算子优化，这样子就可以左脚踩右脚，扶摇上天了。所以说整个研发的能力是从硬件算法的效率，再到数据的效率，并且加上自动化，一项一项承起来的。 可能在硬件上我们还有差距，后面几项看起来也不够亮眼，只是增加了百分之几十的提升而已，但是它们叠加在一起，产出就直接翻了好几倍。所以我们现在看到的模型迭代速度非常快，它的因果链就比较清晰了：就是算法的创新，再加上算力的基建，再加上我们研发方式的平台化。 去年Deep Seeker证明了咱们能够触碰到世界的前沿，而今年这波模型的更新，证明了我们这套打法，在整个行业都是可以进行复制的。我们从偶尔的昙花一现，变成了能够稳定发布前沿模型。当我们把奇迹变成流水线，那么好戏也才刚刚开始，有意思的还在后面。好的。 今天的分享就到这里。 我是巨连显然哥。 我们下期再见。