LLM-As-Judge大模型当裁判 LLM-As-Judge大模型当裁判，你知道有哪些坑吗？今天大厂老徐就一条视频给你讲清楚！ #AI #Agent #大学生 #程序员 #校招

你让一个大模型去给另一个黑准的打分啊。就本来指望他当个公正的裁判啊，结果你慢慢发现，这裁判压根靠不住。你的答案写得短，他判你低分，说你不够详细。你稍微顺着他的心一起，他立马打高分，比谁都甜。最底部的是，同样两个答案，你换个数据，他的分数就变了。你拿一把歪尺子去量身高对吧，量出来的数字你敢信吗？我是哪老学啊？这样只唱二十年，也发了十几年。现在再做AI应用的公众化落地啊。今天这条视频啊，我给你把LM-AS炸质。这件事啊，有它的偏见，它的较重。它的工程落地一层一层地给你讲清楚了。咱们先讲一个反直觉的点，就是LM-S炸质。就翻译过来，其实就是让大模型当裁判。但你也别被裁判这两字给骗了，对吧。裁判打分啊，听起来是特观的测量，其实它是在生成的。它跟你的agent一样，本质理解了，对吧。它会偏对吧，会有立场，全是这个本质决定的。那怎么办呢？我把它拆四层啊，一层一层吧。第一层就是先认识它的病，入裁判的偏见。你翻来覆去就那么几类对吧，第一类位置偏见。同样两个答案，还在前面的那个天然样更容易得高分。跟答案的质量没有关系，就像面试观对吧，前面的那个人往往可能会占点便宜啊。 因为后面的人全都被拿来跟前一个去比较，对吧。 第二类呢，就是冗长的偏见。 裁判呢偏袒长的、写得详细的答案。 哪怕里头一半是废话，对吧，他也照给高分。 第三类，就是自我偏好。 裁判呢对自己风格相近的答案， 打分呢就是会偏高，说白了就是自利。 第四类，顺序锚定啊，他给前面几道题打的分数， 就像锚一样，把后面几道题的分数也给带偏了，对吧。 当然这四类并啊，你认不全， 后面的校准就无从下手。 第二层，怎么给裁判治病啊，也就是校准。 第一招，交换位置，打两遍， 把A和B两个答案换个顺序，再让裁判判一次，对吧。 如果两次结果不一致，说明他被位置影响了， 这种答案就不能信了。 第二招是什么，多裁判投票，别让一个模型啊，一言堂， 你可以拉两三个不同家的模型，一起当裁判，取多数票，对吧。 第三招，给他一份明确的评分细分， 别让裁判自由发挥，对吧。 你把标准写死，这个位置我占几分，什么程度算好，对吧。 甚至给他几个参考的锚点，他的打分才会稳定。 第四招是什么，强制结构化输出， 就是让裁判输出啊，结论、打分， 理由、分点、分项细，而不是一段自由的文本，对吧。 逼他把理由给说清楚。 第三层是什么，裁判自己，也得被评估，对吧。 你请了个裁判，你怎么知道他靠不靠谱？ 三个交易。第一个是对齐率，对吧？拿一批人工已经标过好坏的数据，看裁判打的分跟人工打的分，一致性有多高。具体怎么算？把人工的分和裁判的都放在一起，算一个相关系数，比如像SPM、秩相关。因为裁判给你的是排序，不是绝对值，你比的是排名，对吧？就是一致性。 第二个是什么？不是分说插起分，就是一致性。同一批题，让裁判看两次，看他自己稳不稳。看两次都判出不同的分，这裁判就不能用，对吧？ 第三个是交叉。他打了八分，这是真的比六分的好，这个相对关系，对不对？你就认为他是个乱打分的裁判。 第四层是什么？就是工程的落地。怎么把它嵌进去？评估效率，还控制成本。裁判每判一条都是头，都是钱，不能无脑全量。第一是抽样加分层，线上持续评估只抽一部分，重点抽高风险的场景。第二就是裁判的分级，便宜的小模型要先粗筛一遍，对吧？拿不准的再上贵的大模型金派。第三是什么？人工兜底，争议最大的TeeZ，最后还是人来排版。第四，裁判本身也进版本管理，跟你的A正的一起回归，裁判坏了，V是分说要能对齐，对吧？ 听到这，如果你觉得有疏漏，先把老区点个赞，点个关注。到底什么时候该用裁判，怎么用才不会翻车？ 别问裁判好不好用，先问你的场景配不配用。 判断就三个位置： 第一，是能用程序化断言的，不用裁判。数学对不对，代码跑不跑得通，工具参数对不对，这些写代码 assert 就能判，又快又准又不花钱。上裁判，纯属浪费。 第二，必须用裁判的，先问它三个问题：偏不偏，稳不稳，贵不贵。偏不偏看交换位置打两遍；稳不稳看判两次一不一致；贵不贵看投款的账单。 第三，分场景定策略。像客观任务，裁判是做粗筛，细判用程序。主观的任务，比如像总结、创意类的，才真正依赖裁判。这种要多裁判投票，加成功复合。 像企业里的真实做法上，是把裁判当成一个有偏见的净四指，不是真理。它给你的是一个相对稳定的排序，谁比谁好，不是一个绝对正确的分数。所有聪明的团队用裁判做的是相对比较，两两 PK，而不是绝对打分。你问它这两个答案哪个好，它答的比“这个答案打几分”要稳得多，因为二选一嘛，天然就把它的绝对尺子给绕过去了。 就算比这样，就是一个裁判团，每个 case 跑一遍，一个月下来的投款成本，够你请两个实习生手动去标注了。所以企业要花在什么呢？要花在刀刃上，用便宜的模型，金判才上贵的。 人工只处理争议的 KISS， 但这套东西落在家照样也能落地啊。 死贯一个烟的结构化输出， 让裁判直接返回一个什么， 节省的对象， 风术理由扣风点， 自断拿，对吧， 程序里直接比对， 裁判的打风油程， 你用极有你的管起来， 对吧， 跟你的评测级一起进 CN， 每次发败裁判的什么， 对齐律一致性了， 一起出报告， 家瓦工程式的工程纪律， 其实就是我们的优势啊。 你讲裁判他在玄乎， 落到你手里， 他也是代码对吧。 记住三句话， 第一，LM-S 价值的榜质是， 再问一个模型， 不是客观测量； 第二， 四位偏见要防，对吧， 未知， 容尝，自我偏好， 顺序的谋定，对吧； 第三， 裁判也要被评估， 对齐律一致性， 较重， 三个教研一个都不能少， 能用程序断言的别用裁判。 最后我说的是， 今天讲到 LM-S 价值， 就是现在我们 agent 面试里的 狗品追问，对吧， 面试官问你评过 agent， 你说 LM-S 价值， 他紧接着就会追问， 那裁判自己也有偏见， 怎么办呢， 这时候你要能把， 像未知的教主， 多裁判投票， 对齐律这些次往外倒， 面试官就知道你不是背的， 你是真实做过， 并且踩过坑的。 当老薄也把这些高评的 提案一道一道给你拆好了， 每道提案都按面试官的视角， 给你讲清楚， 就这道提案， 他到底在考什么呀， 怎么打， 才能打到点子上。如果面试官的一堆追问来了，你怎么才能结束？对吧？接着都整理在老薄的agent的面试知识库里，接着就挂在我的商品厨房里。如果你正在准备后端面试和agent面试的，点开我的商品厨房去看一看，背一封也不吃亏啊。当然还没点关注的，顺便我给老薄点个关注。