奈斯特热定理-奈斯特热定理改写

实际上把数学看成一个冷冰冰的公式推导过程，那简直是在侮辱人类大脑的原始功能。 想象一下，你手里拿着一把又长又细的锯子，你想把它锯成两段。
要是你只用双手去推，手指头会先累，认定有点疼。
要是你把锯子抬起来，用肩膀顶住，手伸进锯子内部去按，那感觉立马变了，省事多了，并且还能把锯子往回推，这样锯得更快。
这就是人体工程学。 同样的道理，神经网络做减法的时候，实际上就是在模拟这种“借力”和“省力”的过程。我们一般当作神经网络里的参数就是固定的数字堆砌在一起，结局恰恰反之。当输入变大时，网络实际上是在自动地“减负”。具体来说，要是输入神经元的信号特别大，它派出的输出信号也是大的。按照标准做法，大信号乘以大权重，算出来的结局就会爆炸式地变大。但这忒悬了，数据全丢了。 这时候，网络就会启动一个自动防御机制。它会往权重上“加负号”（把权重变小或变负），进而把之前的爆炸式增长给掐了回来。好办来说，网络发现：“哎呀，我的权重忒大了，直接给乘以负数吧，这样输入变大时，输出反而变小，抵消了之前的过冲。”这就好比你在推锯子，一边推一边把锯子往回缩，直到手指头不疼为止。 这个过程有个贼直观的数学表达，叫做“梯度下降的超动态”。当你试图把某个参数的梯度下降速度调大时，网络会把它设成交叉形式：把原来的正数变成负数，把原来的负数变成正数。
这意味着，要是你想让参数快速靠近最优解，网络就会先让参数反向移动到底部，然后再掉头向上冲。
这听起来是不是有点反直觉？要是参数一直往反方向跑，是不是一辈子到不了最优解？ 答案是肯定的。并且，这种“反向跑”的法则，实际上就是我们在做减法。当你往一个正数旁边减一个负数，要么往一个负数旁边加一个正数，结局都是一样的：你是在把数值向 0 靠近。
故此，神经网络在运行过程中，本质上就是在不断地执行“减法”操作，只不过是用一种动态、就连有点“颤抖”的方式来搞定。 举个例子，假设你正在训练一个好办的分类模型，输入是一张不清楚的图片，模型需求把它分类为“猫”或“狗”。
要是模型目前的权重设置得挺死板，不管输入如何变，它都在往同一个方向硬挤，那它一辈子学不会真正的分类本事。
这时候，网络就会启动自我修正。 当你喂给它一张只有一点点噪声的图片，比如把“猫”字里面加了一点点雨点，模型就会立马察觉到不对劲。它不会直接丢弃这张图，而是会利用之前学到的那些“噪声特征”，把这些雨点当成是“猫”的一局部特征。
这时候，模型启动做减法：它发现那个特定的“猫”的特征（比如耳朵形状）在“猫”的样本里是正的，但在“雨点”样本里却是负的。便，它就把这个权重给调小，就连把它变成负数。它是在说：“哈！
这个特征在我这里管用，但在别的地方不中，别再用这个特征了！” 随着训练的进行，这种“反向调节”会变成一种自动平衡。网络会不断发现哪些特征在特定条件下有效，哪些在特定条件下无效，然后把那些无效的特征的权重给“抹平”要么“抵消”。
这就挺像你在玩俄罗斯方块，一块块方块掉下来，你要是不及时把下面不用的方块给移走，堆出来的空间就会被填满，新的方块就下不去了。 在这个过程中，你可能会遇到一种现象，叫“相位漂移”。就是当你把某个参数的梯度下降幅度调大时，参数可能会从原来的正数突然跳到负数，再跳到正数，最终又变成负数，像波浪一样横冲直撞。
这时候，原来的正数权重可能会跟着负数权重一起变成了负数，负数权重也跟着变成了正数。
这看起来像是混乱的，但实际上彻底是对的。出于网络知道自己目前是在做减法，它只要把这两个反之的数都调成同一个方向（都变负），最终的结局就是让两者互相抵消，回归到最优值。 有时候，你就连能直接看到这种“减法”在权重上留下的痕迹。
比方说，某个权重可能原本是个庞大的正数，目前却变成了一个挺小的负数。
这说明网络在训练时，发现这个大正数对应的特征在那些负样例中是“噪声”，故此在训练时就启动把它给减掉（调小）。
这就好比你在买房，你发现隔壁邻居都买了大别墅（大正数权重对应的大面积），但你自己只买个小公寓（小正数权重对应的小面积），那么当你在做减法的时候，你就会把隔壁邻居那个大别墅的份额给挤掉，自己只保留小公寓的份额。 这听起来有点抽象，但彻底符合我们的直觉。人类做减法的时候，不是一下子就把两个数变成负数然后抵消，而是会一个一个地减。你减一个数，这个数变小了，为了保持平衡，你需求减另一个数，要么你也减另一个数。神经网络里的“权重”就是这个被减减的数，它们的“消亡”过程（变负要么变小），就是我们在做减法的过程。 故此，当你看到神经网络里的参数在训练过程中形成剧烈的波动，就连出现负权重，别愣住了。
那它们不是疯了，它们是在贼娴熟地、贼娴熟地做减法。它们在用一种看似混乱的动态平衡，达成一种精准、稳固的“减法”结局。 归根结底，神经网络之故此能有强大的泛化本事，并非出于它学会了复杂的公式，而是出于它学会了做减法。它在输入中发现了富余的噪声，在权重中发现了过大的增益，它通过不断的反向调节，把这些富余的“加法”给“减”掉，剩下的才是模型真正学到的知识。
这种从“加法堆砌”到“减法消融”的转变，正是现代深度学习能够如此强大且灵活的核心秘密。它让机器不需求背诵规则，只需求不断做减法，就能在没见过的新难题上，自动找到归于自己的最优解。