学不如抄？Anthropic 为啥这么怕蒸馏！ 一个视频搞懂大模型蒸馏！ #AI #大模型 #蒸馏 #抖音精选App知识充电站 #抖音精选App征稿中

厂商花十亿美金，用半年时间训练出的顶尖大模型，只要不停和它聊天，就能偷走它的能力。Ancelope今年发了好几篇延迟激进的新闻稿，指控中国模型厂商通过违规途径向Cloud发起了近两亿次对话请求，仅千万一加就超过1.5亿次。方法包括批量创建账号、第三方中转，反正这名单上除了你斗截，其他头部厂商各个榜上有名。那问题来了，光靠一直给别人的AI发消息，就能把它的能力学过来吗？那我天天和XHPT烙柯，咱没见我变聪明了。这就不得不提到今年大模型圈非常火、也是让达里奥直接红温破防的东西——模型征流。要搞清楚为啥靠聊天就能偷模型，之前咱们得先知道一个聪明的大模型是怎么聪明被训练出来的。这中间主要靠的是三个极其漫长而且烧钱的过程，咱们一点点看。一个新模型最初只是个空格，AI厂商会把上万亿头坑的雨料一股脑喂给它，里面涵盖了网页、百科、开源代码、电子书、社交媒体等的海量内容。这个阶段的训练任务极其简单粗暴，就是让模型模型人类语言最浅藏的逻辑关联，学名叫自回归语言建模。这个时候的模型对人类文字的理解属于是会了但不完全会。你跟它说供停预业酒，它能秒接180一杯，但它并不知道为啥卖180，只是单纯发现训练材料里这几个词关联性比较大。就比如网上非常经典的弱势疤问题，洗车店离我家50米。 我该走路去还是开车去呢？模型一看到“50米”这个关键词，脑子转都不转就告诉你：“这么近，走着去就行。”这就是第一个阶段：模型预训练。此时的模型脑子里虽然塞满了全人类的知识精华，但只能瞎接话，并不会思考，更没办法解决实际问题。那怎么把它从无脑接龙变成能听懂指令的AI助手呢？这就得进入第二个阶段的训练。这轮训练数据的格式需要大概……早论无章的网页文本统统扔掉，只留下由人类专家精心编排的结构化对话数据，而且在里面插入了特殊的控制符，比如User代表人类提问，Assistant代表AI的回答，出现“按”的就该停止输出了。要求模型遇到问题的时候边下边，而是调用脑子里的知识，按照1234的逻辑，把词汇组织好，高质量地完成回复。这事儿悬眠叫监督微调，Supervised Fine Tuning。通常只需要几万到几十万条高质量数据，就能把模型从复读机变成最大入流的对话AI。既然监督微调这么好使，为啥不找人写的一一条数据，直接把模型喂成绝世高手呢？主要是烧不起。像奥叔推导或者底层代码这种高难度材料，全在花天价请顶尖博士和工程师一条条手搓，哪怕只存个几百万条，耗费的时间和钞票也是天文数字。其次是监督微调训出来的本事容易浮于皮毛，变成硬式教育，因为在底层，是模型只要正确模仿出答案的语气和格式。 就能获得奖励。还拿刚才洗车店那道题来说，这个时候的模型会直接摆出极其专业的架势回答你：针对你50米的出行需求，为你规划如下。你看，礼貌公正，逻辑有序，就是答案完全错。可训练系统当然会觉得它干得漂亮。最致命的是，人类专家在写训练集的时候，只会把完美无瑕的标准答案放进去，而中间试错、踩坑、推翻重来的草稿，模型一点都学不到。但它解题的时候一旦走偏，就只能一错到底，无法回头。训练材料不够，模型又学不会自我纠错，想继续突破上限，就要进入第三个阶段：强化学习。这个训练过程彻底抛弃了照着训练集抄作业的方法，取而代之的是直接喂给模型一道极难的问题，让它自己一口气生成N个版本的解题方案。假设N是64，咱们就得到了64个不同的答题轨迹，再通过代码编译器直接运行模型写出的代码，或者核对数学题的最终数字。代码跑通了，答案对了，这条轨迹就加一分，错了就扣分。然后算法会把所有轨迹的分数放一块对比，但凡加分的，就说明这个思路值得鼓励。接下来算法就会调整模型的脑子，让它更倾向于按这些思路来想问题，让这些轨迹里出现过的token训练的数数概率再大一点点。反过来也是一样，扣分的思路以后就少出现了。还是50米洗车那道题，模型可能在前34次尝试里想都不想就选择了走路，结果全被系统判错，扣分了。直到第31次，模型突然顿悟。 不把车开过去，纯见神是吧？这条带着自我质疑的轨迹，最终引向了正确答案。算法就立刻给这种多留个心眼、反复检查的思维方式狂加权重。这也解释了为啥去年DPCK R1的思维链里，会反复出现“这里不对”“前面错了”“我重新试一下”的古怪行为。就是他在强化学习中发现，在输出最终答案前，多进行自我质疑和反复验算，能拿高分的概率会大大增加。不过道理虽然简单，这套办法真跑起来，对算力的消耗极其恐怖。前面监督学习阶段，答案都是现成的，显卡只需要往模型里塞数据就行。但到了强化学习阶段，模型为了释出一条活路，必须自己一个词一个词生成答案，一道题是几十次，每次成千上万个Token，而且其中绝大多数的尝试都是试错，得耐着性子不计代价地狂烧计算资源，才能把一丢丢一丢丢妙手偶得的零击移动积聚起来，得到咱们今天用到的强力大模型。那有没有一种办法，能给丛林做大模型这件费力费钱费时间的事找条捷径？这就要说到今天的主角蒸馏。基础蒸馏的逻辑其实特简单，首先是得有一个带训练的学生模型，可以不聪明，但不能是文盲，最起码得经过充分的预训练，底子打好了才能听到组合。不过只有苗子还不够，还得找一个市面上最强的顶尖模型当教师模型。前面咱们说监督微调，是花重金找人类专家，直接把人类专家降本增效了，让教师模型对着题库批量设计答案。 才不被给学生。那为啥把写答案的人换成教师模型，会让规模剧头门这么破坝呢？首先是成本和产能。人类专家憋半天才能写一道题，写几百万条就能把公司给干托上。但教师模型只要给够API，就能七成二十四小时一直写，成本只是人类的领头。但光有数量还不够，真正让征留威力暴增的，是如今的思维练整的。学生不仅要抄答案，还要把老师完整的思考解题过程全抄回来。依旧是50米洗车的问题。如果是普通征留，老师只会告诉你啥字，开车去，学生就只会死定被开车这个词。那你明天要是问的，理发店理我家50米，但我太累都不想去，我是该走路去，还是让朋友开车把我头拧下来送过去了？问题一遍，死定被的学生可能真的会选出开车把头送过去这种惊悚的答案。但如果做的是思维练征留呢？老师的思维练里包含了从第一反应50米很近可以走路，到检查用户的核心目的是洗车，从而判断出要达成洗车目的必须开车去这个结论的完整思考过程。这回学生学到的就不单单是开车这个结果，而是老师如何审题，如何发现陷阱，又如何自我修正的这个思维模式。在复杂的编程或者应用场景当中，这段内容就是教师模型当初在强化学习里，坑之别度烧掉无数钞票，经历了无数次失败，才摸索出来的思维心法。但现在学生模型只需要拿着这些材料跑一遍监督微调，就能达成老师的九成功力。 成本比从头搞强化学习低了一个数量级。既然蒸馏这么香，那在现实中大家都是怎么实操的呢？最省事的是蒸馏开源模型，典型代表就是 DeepSeek R1。它的模型权重完全开放，官方的 API 也明确允许其他人上手蒸馏，这也是为啥去年 R1 开源之后的几个月里，国产模型的整体水平直接往上一个大跨步，真的很有格局。那如果眼馋 Claude 这种闭源模型，那就只能回到咱们开头说的，发海量消息硬套答案。比如准备上百万道高难度编程、数学、逻辑问题，越难越好，然后批量让闭源模型解答，把返回的结果存下来当训练材料。这么干 API 费用爆炸，但还是比硬烧算力从头搞强化学习便宜多了。不过这里还会有一个难点，就是套取隐藏思维链。现在顶级闭源模型为了防蒸馏，都会把真实的思考过程加密或者隐藏起来，咱们看到的思考过程其实都是脱敏完总结的简单摘要，底层的试错和回溯细节已经没了。但靠复杂的提示词和上下文引导，还是能让模型把肚子里的推理轨迹吐出来不少。除了这种规模化获取数据的策略，也有一些旁门左道。像我之前就刷到微调小广告，说是跟 AI 的对话记录能卖钱，价格还不低，特别是专业开发者在各类 Harness 智能体软件上积累下来的数据库记录。这种野生数据虽然因为缺少强提示词引导，思维链不如专门刷出来的完整。 但它也有一个巨大优势，就是这些数据全都是一线用户最真实的痛点和需求，完整记录了咱们是怎么一步步把实际任务给解出来的。某种意义上，它记录的就是人类的真实思维链。可是这个小便宜真的摊不得。刷到之后呢，我们团队商量了一下，大家都同意把我们内部自己搭建的中转服务的请求记录一周，看看假如真把数据给出去，风险会有多大。结果呢，是触目惊心。仅仅三天，里面就出现了银行卡号、API密钥，甚至是个人健康信息。如果这些数据交到别人手上，后果一定是不堪设想。所以大家一定要警惕，千万不能贪心。不过这样一个小小的灰色地带能冒出来，也侧面说明蒸馏的确已经就是个行业公开的秘密了。在这件事上，一直被同行拿着放大镜抄作业的顶流Anthropic早就做不出了。这种专门做蒸馏的自动化请求，往往在题目的类型分布、结构和请求频率上有明显特征。Anthropic专门部署了独立的检测模型，一旦识别到某些账号在批量刷特定领域的难题，立刻触发里面的封号机制。顺便Anthropic又给订阅套餐架上了KYC真人验证机制，批量创建账号的难度跟着水涨船高。前面说通过注入提示词套取思维链的模型漏洞，也在今年9月被仔细修补。如果Anthropic发现用户在尝试通过修改上下文来解析被隐藏的思维链，就会直接拦截这次请求，拒绝恢复。AI这位新神都还没把脚跟站稳。 一场轰轰烈烈的攻防战，就迫不及待地现在从脚下展开了。一边在小房设访，套出神的心理花；另一边择脚筋脑子的研究，怎么让神的金玉良颜技能正常使用，又没法被学走，让别人没办法造出自己的神。让我忍不住回忆起互联网早期爬虫与反爬虫的斗志斗志。但说真的，如果当年的反爬虫取得了最终胜利，今天席卷全球的大模型浪潮压根就不会出现。 开头咱们说大模型的预讯链要吃点海量闻的预料，那安斯洛平最初就要看到的说话和思考的海量预料，又是从哪来的呢？除了开放互联网前人积累下来的大量数据，安斯洛平也没少把手往私有数据上伸。成立以来围绕数据版权的官司可谓数不升数。2024年7月，Proof News联合联线杂志披露，安斯洛平在训练中套头使用了大量YouTube视频字幕的数据机。无数视频创作者熬夜写稿、惊心制度的心血，直接拿去，未给了估值百亿美金的商业模型。面对铁证，安斯洛平承认确有歧视，却变成了自己只使用了现场的数据机，不算侵权。 2025年，美国联保法院审理作家集体起诉安斯洛平侵权案，更是揭露了安斯洛平为了获得高质量人类作品干的两件事。一方面，他花钱买了大量二手实体书，运回仓库之后，直接用工业切纸机把书记切掉，将洒露的书页塞进高速扫描仪，转成电子版，为给AI，再把直接的实体书直接打碎销毁。另一方面。 因为花钱买书又贵又慢，Anthropic还直接从盗版电子书网站上批量下载了超过700万册盗版图书用于训练。一家科技公司用算法学习人类思维，学出了智能，然后自己规定自己家模型的思维禁止学习，付费也不行，谁拿来学了就痛斥是侵犯知识产权，甚至连普通用户都动不动就给封号，真是挺逆天的。今年9月，黄仁勋在回应大模型蒸馏这个争议话题的时候是这么说的：这只是竞争，而竞争会让市场变得更好。曾经一直被牺牲为CloseAI的OpenAI也放出了自家的开源模型，只剩下Anthropic抱着高高的排访。在关于开源立场的官方声明里，把整个行业都批迈一番。我们不妨再回头看看，被Anthropic视为眼中钉的DeepSeek都干了啥。除了去年年初直接开源了震惊全球的R1模型，顺便引领了全球模型开源浪潮之外，又陆续放出了DSH、3FS、DP Info等一系列重磅的AI底层基建项目。DeepSeek是真的在用硬核的共生能力，帮全球开源社区把AI的门槛往下砸。反观Anthropic呢，除了死守闭源黑盒，射击的精力全花在了给同行做帽子上。去年11月，它公开批评ChatGPT和Meta的模型政治立场不中立；今年1月，又锐评马斯克的Grok模型欺骗和迎合性极强。至于国产模型，那小帽子更是每家人一顶。 SROPEAK想要保住自己花重金训练出来的模型。其实从商业角度也不能说犯了多大错，但一边搞技术私有化，一边又想硬拗个道德楷模人类救世主的造型，这个观感就是让人不太舒服了。在数据万变的AI牌桌上，真正的互信肯定不能是靠藏着掖着或者写小作文。但反过来，只靠蒸馏也注定无法追上最显眼的模型，毕竟蒸馏最多也只能更快地学会别人昨天的本事。决定明天谁能继续留在牌桌上的，终究还得看今天自己的装机。大家关于蒸馏和开源有啥看法，欢迎在评论区进行开麦。我是林毅，咱们下个视频见。