大模型在推理阶段在干什么？ 面试官问你大模型在推理阶段在干什么？你怎么回答呢？今天大厂老徐一条视频给你讲清楚？ #AI #大模型 #程序员 #大学生 #校招

你有没有过这种瞬间？问大模型一个问题，它一个字一个字地往外蹦，你盯着屏幕，心里冒出一个疑问：它到底是在想呢，还是在背，还是在查？ 很多人以为，模型后面有个巨大的数据库，你问什么，它就搜什么，搜到了就贴给你，对吧？但真相完全不是这样的。今天我就把这件事给你彻底讲透，让你以后跟别人聊AI，聊到跟上。 我是大唐老区，这上二十年，研发的也十多年了，目前正在做AI应用的工程发落地。今天这条视频，我跟你把大模型推理阶段到底在干什么，从原理到工程，一层一层给你拔清楚。 首先讲一个反直觉的点，大模型在推理的时候，干的其实就是一件事：猜下一个字。你没听错，就是猜。它不是想好了整段话再往外说，而是只猜一个字，猜完这个字，把它接到后面，再猜下一个字。整个过程就是这样，一个字一个字地拱下去。你看到的那一大段流畅的回答，是它猜了几百上千次，一次一次接出来的。 所以总确说，推理阶段不是生成答案，是预测下一个token。token是它眼里的最小单位，你可以理解成半个字、一个字、一个词。 那它具体是怎么猜的呀？我把整个过程拆成五步，你跟着走一遍，就彻底明白了。第一步，切token。 就你把问题发过去，它先把你这句话切成一小块一小块的token。 每个token换算成一个数字编号。 就比如说“你好”这两个字，可能被切成一个或两个token。 这一步叫token化，本质是把文字变成了模型能吃的数字。 第二步是把token变成了向量，每个token被映射成一个高维的向量。 你可以理解成，给每个字在几万个维度的空间里标一个坐标。 意思相近的字，坐标也挨得很近。 这一步文字就变成了带语义的数字。 第三步，最核心的一步，注意力。 这些向量要穿过几十层的transformer。 每一层都在干同一件事。 让每个字去看上下文里其他所有的字。 算一算，我们谁关系最铁。 然后按照关系的远近，把信息重新融合一遍。 这就是大名鼎鼎的注意力机制。 打个比方。 一句话里，每个字都是个人。 他们互相递眼神。 眼神交流越频繁的越抱成一团。 经过几十层这样的交流。 每个字身上都被埋了整句话的上下文信息。 第四步，算概率。 最后一层，模型输出一个概率分布。 覆盖它认识的整个词料。 有几万到十几万的token。 每一个token都有一个概率。 这就是它猜下一个字的依据。 它不是在翻词典找唯一答案。 是给每一个可能的字都算了一个接下来出现的概率。 第五步，采样。 根据这个概率分布，挑一个字出来。 怎么挑，很有讲究。 最死板的是贪心。 永远挑概率最高的那个，快，但容易卡住、重复。 聪明点的是温度采样。温度越高，它越有创造力；温度越低，它越保守，越照本宣科。还有 top-k、top-p，只在概率最高的那一小坨里挑，兼顾质量和多样性。挑出来这个字，接回输入，重新走一遍。这五步，直到它采出一个结束符，或者达到最大的长度，整段的回答就出来了。 听到这样，如果你觉得有收获，先把老许点个赞点个关注，接下来是最值钱的。 最后机制直接决定了三个你最关心的问题。 一个，为什么它慢，为什么它贵。你看，每猜一个字，都要把整个模型从头到尾跑一遍，几十层，几百亿参数，全过一遍。而且下一个字依赖上一个字，是串行的，没法并行。你想让它说一千个字，就得把这个过程重复一千遍。这就是为什么大模型生成慢，也是为什么 API 要按 token 收费。每个 token 都是真金白银的一次全模型前向计算。 你看，为什么同一个问题，答案每次都不同？因为第五步采样是随机的。温度、top-p 这些参数，本质是在挑哪个字这一步里加了随机性。所以你问两遍同样的问题，它给你两套不一样的话。不是记性差，是它每次都在重新生成的。 第三个，为什么它会一本正经地胡说八道？因为它不是在回忆事实，是在预测下一个最可能的字。当它猜着猜着，猜到一个听起来合理 但其实是错的字，它还会继续送着这个错的往下编，越编越像真的，这就是幻觉的根源。它不是骗你，是它打从根上就没再查，一直在猜。所以说企业在推理阶段做的优化，其实都是在跟主字生成这个串形过程此刻。最经典的一招叫KV Cache缓存，前面已经算过的那些token的中间结果，尤其是注意力的Key和V给它缓存起来，下次算新token的时候，不用从头重算，直接复用，速度能快于大解。还有P处理，把多个请求凑一起并行算，摊薄成本。再进阶一点，投机解码，用一个小模型先快速猜一串，再用大模型去验证，猜对了就省了大模型的火。这些优化最终都落在两个数字上，延迟和成本。老板看账单，你看的是延迟，这俩就是你在会上的弹药。当然说的这一堆东西落在咱们家外，你能直接摸到。你用Spring AI的Tread Client去调大模型，接口返回的是一个流，就SSE流式，你能夹真正看着token，一个字一个字往外蹦，那就是第五步采样在实时呢，吐结果。结构化输出，比如让模型返回一个JSON对象，绑制就是在采样那一步做了约束，限制它只能输出合法的token，所以它才能又重又稳。你理解了推理过程，就理解了为什么流式结构，为什么按token计费，为什么结构化输出能防止它跑偏。当然咱们加码工程师的知觉，其实就是咱们的优势。记住三句话。 大模型推理不是查答案，是一个字一个字地猜下一个字，猜完接上再猜。第二，核心是注意力机制，让每个字去看上下文里最相关的字。第三，逐字生成是串行的，所以慢，所以贵，也所以它会胡说，因为它一直在猜，不是在查。最后说的是，今天讲的大模型推理的原理，也是那些在AI相关岗位面试的一个高频题。面试官就会问，大模型是怎么生成一个字的？你能不能讲讲推理阶段发生了什么？你只答它是预测下一个词，就太浅了。对，你要能说出头token化、注意力机制、概率分布、采样解码、KV cache这一串词，再说一句，它是在猜，不是在查，所以会产生幻觉，面试官就知道你是真懂原理的。当然老徐要把这些高频题也一道一道地拆好了，一道题都按面试官的视角讲清楚，这道题到底在考什么，怎么才能答到点子上，追问的来了你怎么接住。当然这些都整理在老徐的agent面试的，这是酷的，就挂在我的商品的橱窗里。想系统准备面试的，点开橱窗商品的橱窗看一看，背试也不吃亏。还没点关注的，说我点个关注，以后这些硬核的像AI的原理，老徐一条一条给你猜。今天咱们聊的是推理，你发现没有，它猜一下一个字就是一次计算，一次计算就是一笔钱，那这笔钱到底怎么算的？头token到底是什么呀？为什么你的prompt即使词写长了，账单就层层涨？下期老徐带你聊聊头token和成本，把这笔账给你算明白。 谢谢大家，我是老区。