用梯度下降的思想过好人生

如果把梯度下降算法提升到人生的层面，我们会发现它最有价值的地方不是教你努力，而是在教你，在一个你根本看不清全局的复杂世界里，怎样持续做出相对正确的局部更新。 大家好，我是方向彪STARTED HEART，又到了这个胡七八说的环节。 那么人生和训练神经网络其实有一个非常深的相似之处，那就是你几乎永远不知道全局最优解在哪。你不知道哪家公司最终会适合你，你不知道哪项技术十年后最重要，你不知道哪次的选择会改变命运，也不知道今天遇到的人以后意味着什么。你拥有的往往只有当前的位置和局部的反馈，而这恰恰就是梯度下降能够工作的条件。 首先，人生并不只是努力问题，而是目标函数的问题。机器学习里最危险的事情之一，不是优化得慢，而是什么呢？我们优化了错误的损失函数。如果说我们的损失函数定义错了，优化得越强，结果可能越荒谬，也就是我们伟大的毛主席说过的方向错了，知识越多越反动，跟这个意思差不多。 那么我们的人生也是如此。一个人如果把自己的目标函数定义成收入的最大化，或者说我们加一个负号是负的收入最小化，那么他就会自然地不断去优化收入。 如果定义成别人对我的认可最大化，或者说负的别人的认可的最小化，相对比较严谨。设置过这个目标函数的大家都知道我在说什么。 如果说他以收入或者地位来作为人生的目标函数的话，他最终很可能活成一个高度依赖外界评价的人。 如果说目标函数只有这么一个职位，那么家庭、健康、自由、兴趣、尊严等都可能会当作无关变量而被逐渐牺牲掉。 现实中我们会看到有些人为了金钱，为了美貌，为了地位出卖自己的尊严、身体等等一切。 那么真正成熟的人生不应该只有一个指标，更接近现实的可能是什么呢？ 它是一个多目标的优化问题，那就是我们的所谓函数是事业有一个权重，家庭有一个权重，健康有一个权重，重要关系有一个权重，亲密关系有一个权重，自由度有一个重要权重，人生的意义感有一个权重。 那么真正困难的是什么呢？就是每一个目标前面的参数或者说权重应该是多少，这不是数学能替你决定的。 而人生最重要的能力之一就是不断地能修复自己的目标函数。很多人不是不够努力，只是说二十岁时写下了一个损失函数，四十岁的时候还在疯狂地去优化它。 而且我们不要妄图一开始就去看懂整座的山坡、整个的山脉，因为梯度下降有一个非常朴素的智慧，那就是我不需要知道最低点在哪里，我只需要知道现在往哪边走会好一点。 年轻时候容易产生一种焦虑，就是我到底应该选择什么样的方向，人工智能是不是最终的方向呢？巨神智能又怎样呢？是创业还是打工呢？是留在大城市还是回去呢？我未来十年到底应该干什么呢？ 这些问题经常我们无法提前回答，因为我们缺少未来的信息，所以更合理的问题不是十年后的全局最优解是什么，而是在我当前拥有的信息下，下一步最值得走的方向是什么？ 这就是局部梯度，比如说你现在是图像算法工程师，你未必需要知道今天就需要知道自己40岁的时候究竟是CTO还是创业者还是研究员或者是投资人，你只需要判断，如果未来一年把模型训练、边缘部署、工程落地、系统设计，整个的所有的环节，甚至是产品的销售等等，全部设计打通，那么我的能力空间是不是扩大了？ 如果说答案是是是Yes，那么这就是一个负梯度方向，我们先走就完事了，那么我们走到新的位置之后你就能够看到的世界就会变化，然后重新我们去计算梯度，人生并不是一个直接的从A到Z的这么一个过程，而更像是什么？ 我们先有一个目标，目标0。我们到达目标0之后再去设立目标1，再去设立目标2。我们每得到一个新的目标，或者说每得到一个新的损失函数，我们都拥有了以前没有的信息。那么真正重要的不是说永远作对，而是说拥有一个反馈闭环。那么梯度下降原理，它最反直觉的一点是什么呢？ 它允许自己每一步都不完美，允许自己每一步都犯错，它甚至允许走矮振荡、暂时的损失上升、落入到局部最优、被造成干扰等等，只要能够继续获得反馈并且更新参数，我们的系统就还能优化。所以说一个人的长期竞争力不一定来自我每次选择的都很准，而且还可能来自决策到行动到反馈到复盘到更新，整个的闭环跑得足够快。 这也就是说为什么有些人看起来走过很多弯路，但其实呢，它最终你可以看到它达到那个最终的目标时候成长的会非常快，因为它并没有把失败理解成我这个人不行，而是理解成当前参数在这个环境下产生了比较高的loss，然后我们区区优化参数，改参数就可以了。这两种思维方式差异特别巨大，一个是什么呢，就是我在否定整个模型。 你可以看到，这种人其实很多，二十来岁、三十来岁甚至十几岁就认为自己已经不行了，自己已经没有任何希望了。而另一种呢，另一种思想就是损失函数的思想，它会在想，目前我只是损失比较大，我只要去更新我模型相关的参数就可以了。那么在这个梯度下降里边，梯度下降机制里边，就是说有一个非常重要的参数叫学习率，人生其实也有学习率。 有些人的人生的学习率太小，他知道现在的工作不适合自己，不适合自己，他会告知自己，不急，再看看；他知道自己身体越来越差，他会告知自己，我以后再锻炼，今天太累了；知道某种技术已经明显很重要了，甚至他已经看见方向了，但是他会告知自己，今天太懒了，脑袋太累了，等这个技术发展成熟了，我再学吧。 他知道亲密关系出现了问题，但是他会骗自己，应该没事。他每次都更新一点点，甚至不更新，结果几年后，位置几乎没变，甚至还有可能倒退了。但是另一些人学习率又太大，今天看到AI火了，这是另一种极端，他的学习率太大了，这个参数调得太大了。 今天AI火了，他辞职去做AI了；明天看到自媒体赚钱，他去全职搞自媒体了；后天看到机器人火了，去创业机器人了。他追求的是什么？一次反馈他就想大幅度地修改人生的参数，这实际上是什么？我们这个捏他远大于一了，远大于一了，那么可想而知，你这个系统他一定会产生震荡，对不对？所以说成熟的人不是不改变，而是说根据反馈强度控制更新的幅度。 那么在弱信号的情况，而弱信号是什么？还小不实验。强信号我们去大幅调整，也就是说我们需要根据我们现实生活中的损失函数来调整我们实验的步子。 步子迈得太大了，容易扯得大；太小了，你走了又太慢。所以说要进行中庸之道，就是步子既不能太大，也不能太小。 所以说这是一种非常高阶的能力，就是说根据证据的强度来控制调整人生的学习率。 而且每一次的失败，它其实在我们这个梯度下降机制里，我们可以只看作它只是一个batch。 这是我觉得梯度下降对人生最有力量的启示之一。 就是说深度学习从来不会因为一个batch的loss很高就宣布，这个网络没有天赋，我不训了，不会这样，不会这样。 因为我们知道呢，就是说只是当前这一批样本对于真实梯度的一个估计，或者说震荡有点大了，甚至可能造成很大。 转移到我们人身上来说，一次面试失败不代表你的价值就等于零，一次创业失败不代表你不是个创业，一次项目失败也不能推断出你的能力不行，因为那只是某个人、某个时间、某个环境、某个任务下的一次采样。而真正危险的是什么？我们用一次噪声下，或者说一个T图以一种参数下产生的这么一个损失结果来更新整个的人生模型。别人的一句否定就把你整个的能力判断给改掉了，这是典型的过拟合，说明你这个调整，你这个人作为一个模型已经是过拟合了。 反过来也一样啊，也不要被一次的成功骗了，这个反而是更多的情况啊。很多人啊，比如说，就相当于我们在训练网络的时候，某一个batch的loss特别低，也不能说明我们这个模型就完美了。一个项目碰巧赚了这么点钱，你就认为自己商业天赋极高；你写公众号一篇文章突然爆了，你就感觉我牛逼了，我掌握流量规律了；一只股票涨了，你感觉你是巴菲特了，狗屁不是了，对不对？这都是非常危险的更新啊，这都是非常危险的更新。真正可靠的是什么啊？跨样本、跨时间、跨环境，你的这个参数一样能成立，这就是所谓的什么啊，泛化性。 generalization，啊，泛化性，写过这个人工智能相关论文的大家都知道啊，在实验部分会有一个泛化性验证啊， 所以说真正厉害的人会越来越关心我的能力能不能去迁移，而不是说，哎，我这一次我赢没赢，我这一把已经没赢啊， 很多人的思想就是什么，哎，我爽一把是一把，我这把爽的再说，后边我不管啊， 这种就是我们说的短生种，我们呢，而我们呢，都是长生种，人生是一场马拉松， 所以说，再就是说为什么真正值得积累的是底层能力，啊，数学表达，学习工程， 判断能力，沟通能力，组织能力，审美，身体健康，哎，这些能力为什么很重要啊，因为它的泛化性特别强， 啊，所以说，啊，另外一点呢，就是说人生，还有一点是什么呢，就是人生一定要允许这个随机梯度的出现啊， 如果说每一步都要求百分之百确认以后才行动，你基本上啊，不可能探索出新的东西啊， 啊，随机梯度，本身就带有噪声，啊，有意思的是什么呢，就是说，这种噪声有时候反而能够帮助模型跳出局部最优， 举个例子啊，我第一次去做自媒体的时候，嗯，也是非常偶然的把自己给自己师弟讲课的这么一个视频放到了网上， 一个教给大家怎么去搭建虚拟环境的这么一个视频，结果，那个帖子就突然爆了， 我也只是顺手上船，结果就引发我不断地在自媒体上去发教程，也赚到了小小的一笔钱。 说人生也是如此，你偶尔的情况下去一个陌生的行业，就学一个暂时看不到收益的东西，去认识不同领域的人，去一个陌生的城市，去做一个边缘项目，阅读和自己专业无关的书，看起来像噪声。但人生中的重大转折，往往或者说经常就来自这些非线性的偶然连接。一个完全确定的优化系统，很容易越来越高地重复自己，最后困在那个局部最优里面。 所以说真正好的生活并不是每天都百分百服务于眼前的KPI，应该保留一定的探索率。这就是我们的随机梯度下降。那个局部最优呢，反而有可能是人生最大的陷阱。 梯度下降有一个经典的问题，就是说我们的这个梯度等于零，你感觉你就是我们的损失等于零，就你感觉已经挺好了，哎，收入不错，工作稳定，生活稳定，别人觉得你也不错。问题是，你可能只是落进了一个局部的盆地，而真正可怕的状态往往不是失败，而是一个足够舒服让你不再搜索其他可能性的局部最优。 失败反而容易比你进行更新，生活中的一些不舒服，工作上的一些不贴合。 一些让你感觉到不满足的点，反而能够让你去更新自己的人生参数。 小小的成功，往往容易让你冻结参数。 所以说一个人即使过得不错，偶尔也应该问一下： 如果把当前的职业、收入、行业、身份全部拿掉，我真正拥有的能力是什么？ 你目前的好生活究竟是平台带给你的，还是你自己的能力带给你的？ 或者说这两者的比重，谁占得更重？ 如果说未来五年的环境全部变化的情况下， 你还有没有重新学习和迁移的能力？ 这相当于什么？相当于人为给优化的过程加速的扰动， 避免过早地进行收敛。 这个优化系里还有一个很重要的思想，叫momentum，就是动量。 如果说过去很多步的梯度都指向同一个方向， 就不要因为某一次短期的噪声就立刻掉头。 人生也同样如此。 假设你连续三年都确认了，我喜欢技术， 我擅长解决复杂工程问题， 我希望越来越接近真正的系统能力， 那么某一天因为项目被批评， 老板批评你，项目被否定，模型训练失败， 同龄人挣得更多，就突然怀疑是不是你不适合技术， 那么这很可能只是局部噪声。 长期的趋势比某一次损失的变大或变小， 更值得信任，这就是人生里面的动量。 所以说方向不要轻易变，方法可以不断变。 那么真正成熟之后呢？ 我们甚至会修改我们的损失函数，而不只是修改参数。年轻的时候，我们通常就是在优化一个目标函数、一个损失函数下的某个参数，比如说技术水平、工资、学历、职位、影响力。再成熟一点，我们就会去优化我们的目标本身，也就是我们该去怎么学习，我们该怎么决策，该怎么复盘。那么最后的最后，我们就会开始质疑人生的意义到底是什么。大家进入贤者时间的时候往往会想，人生的意义其实就是什么？就是我们的那个损失函数，也就是我到底为什么要赢，我为什么要达到那个点。这是一个非常大的跃迁。就是很多人一辈子都在疯狂优化参数，为了自己的那个损失函数，比如说可能是财富自由，可能是地位达到最高，却从来没有检查过自己的损失函数是谁写的。究竟这个损失函数、你的目标、你的损失函数是父母给你写的，还是社会在一种景观的塑造下给你的，让你觉得是自己写的，还是同侪写的，还是自己的嫉妒心写的，还是自己的贪欲去写的，这个你要去思考。就一个人真正开始拥有自己的人生，可能就是从这一刻开始的：你的损失函数不再是社会强加给你的，不再是父母家庭强加给你的，不是你的欲望逼迫的，而是你自己亲手定义的。但是呢，人生和梯度下降， 还有一个根本的区别，就是我们的模型训练，最终通常只有一个明确的任务。而我们人生呢，是一个多目标动态的、不可逆的、部分可观测的优化问题，而且目标函数往往还会随着年龄、随着时代的变化而变化。二十岁时候的最优解呢，可能是三十岁的时候的损失非常大的这么一个解；三十岁的最优解呢，也可能或者说大概率就不是五十岁的时候的最优解。所以说，不存在一种人生说，我终于找到的最优参数，从此不再改变。真正健康的状态应该是什么？终身保持可训练，永远保持你的泛化性，而不是永远焦虑，是始终拥有更新自己的能力。那么和人生相比呢，人工智能的模型还是太简单了，人生何其复杂。我是方向彪，start hard，我们以后再见，拜拜。