高斯马尔科夫定理性质-高斯马尔科夫性质

先把那个“马尔科夫性”扔进黑盒子，别总想着它是个完美的数学模型，它本质上就是概率这东西的一手烂账。高斯马尔科夫定理（GMM），也就是所谓的“高斯马尔可夫条件”，说白了就是告诉咱们，在一段混乱的工夫线里，要是只看当下这一秒的状态，不管那会儿如何乱飞，未来大约率只会朝一个方向飞，并且这个方向，大约率就是根据那个当前状态来算出来的。
这听起来挺玄乎，实际上就是概率论里一个最反直觉也最实用的结论：未来的不确定性，彻底被目前的状态锁死了。你不需求管它就扔那会儿的时候多猛，多慢，多急，到了这一步，它务必得按照当前这个尾巴的形状去变。 这就好比你拿着一把乱糟糟的钥匙，想一个个地拍门。
要是钥匙在手里是平躺的，你只能试着平拍；要是横着握了，就得横着拍；要是握成刀锋状，就得斜着切。
哪怕你在路上走多远、如何摔、如何转，只要你手里这把“当前状态”没变，未来的每一次接触，就绝对只能按照这把钥匙的形状去找缺口。
这就是高斯马尔科夫的核心：条件概率的独立性。
那会儿形成的任何一条线，都不会影响当前这条线的走向，要不就你手里拿着的钥匙形状变了。 拿天气当例子忒烂，拿股市更烂，咱们还是搞点硬核点的。想象一下你刚拍完一张电影，导演还没喊戏，剧本就在后台翻。
这时候，所有可能的结局（未来），实际上都只跟你目前手里的剧本片段（当前状态）相关。导演想拍哪一条情节线？彻底看你目前拍到了哪一段。你不管之前那场戏如何崩的，也不管主角后来有没有翻身，要是你手里这点状态没变，接下来的戏路，就绝对只能顺着这个片段往下接。
哪怕后面剧本写得再离谱，只要目前手里没变，他只能往这个方向上走。
这听起来挺稳，但大量人认定这忒理想化，认定现实里剧本千变万化，为啥还有如此个定理？ 出于现实往往没那么完美，但也正出于现实不够完美，这个定理才显得那么“顺眼”。现实中，哪怕你手里拿的是个烂剧本，你也不可能随意往哪个方向接。你要么接那个跟场景吻合的情节，要么接个逻辑上能自洽的、符合人物关系的。但高斯马尔科夫说的是，不管如何接，只要当前状态没变，未来的走势分布，就一辈子跟那会儿那些无涉连带的变量绑定了。
这就好比你在一片混沌的深海里游泳，你目前的浮力、呼吸方式、心跳节奏，拍板了你下一秒会沉下去还是飘起来。你就连不需求管前面是不是有鲨齿，也不在乎后面会不会有暗流涌动，只要你目前还在水里，往上看和往前进，概率曲线是彻底一样的。
这就是“马尔科夫性”最可怕的地方：它把无限的可能压缩成了当下的一个截面。 再说说数据局部，这玩意儿在计算机视觉和自然语言处理里简直是神来之笔，但也时常被滥用。
比如你在训练一个神经网络，要么处理一段视频片段。
这时候，你当前的状态可能就是“图像里这个人穿的是深色外套”，要么“文本里这句话是‘我’的”。根据马尔科夫性，不管这段视频前面有没有个打瞌睡的镜头，要么前面有没有个特效爆炸，你当前的状态一变，未来的画面预测概率就彻底由这个状态拍板。
要是状态没变，未来的画面就绝对不可能突然变成“穿浅色外套的人”，也不可能突然变成“天空变黑”。
这听起来像是宿命论，但在机器学习中，这就是训练模型收敛的关键。 有个具体的例子是工夫序列预测。
你想知道下周的销量。你手里没有“下周”的数据，但你手里有“上周的销量”和“上周的促销活动情况”。根据高斯马尔科夫定理，要是你手里这俩状态没变，那下周的销量分布，就彻底由这两个状态拍板。
哪怕上周销量特别高，下周可能还是会跌；哪怕上周销量平平，下周可能又会暴涨。但在那种情况下，未来的每一个具体数值，都能够被唯一地概率化。你不需求管上周为啥跌，你只需求知道上周跌了，下周跌的概率就会比上周涨的概率大。 有人会说，这不就是好办的线性插值吗？
为啥还要加一个“马尔科夫”如此复杂的后缀？这就是哲学难题。线性插值可能只是机械地照着那会儿的数字往下画个图，但高斯马尔科夫定理告诉咱们，这种规律是建立在“状态不变”这个前提上的。一旦状态变了，规律就不管用了。
故此，这个定理不是预测未来，它是给预测者划定的一条边界。它告诉你，未来的所有可能性，都挤在这个边界圈里。
这个边界圈的大小，取决于当前状态的概率分布。 在深度学习里，这个定理直接催生了 Dropout 和一个训练技巧，叫做 Ejection Network（消去网络）。
要是你是为了防止过拟合，就用 Dropout；要是你是为了防止过拟合，那就用 Ejection Network。两者都基于高斯马尔科夫假设：假设当前输入的状态是固定的，那么所有其他的输入都是噪声，能够随机删掉，这样模型就不会死记硬背那些特定的输入，而是学会如何跟这个固定的状态互动。 有人可能会问，那现实世界里，状态不是一直不变的吗？实际上不然。状态是一帧一帧变化的，但在那一秒之内，状态是固定的，未来就受限于那一秒的状态。你越跳得高，下一秒落点越难预测；你静止不动，下一秒的位置越难预测。
可是，要是你手里那把“状态”的钥匙形状没变，你未来的每一次尝试，就绝对只能按照这把钥匙的形状去找出口。
哪怕你跳得再高，落地后，你手里这把钥匙的形状，拍板了你下一步是持续跳，还是停下来。
这听起来是理论，但每一步都在形成。 故此，高斯马尔科夫定理不是一个用来描述完美世界的模型，它是一个用来描述“约束”的世界观。它把混沌的世界，强行简化成了：那会儿拍板了目前，目前拍板了未来。
只要你目前手里拿的那张牌没变，未来的那张牌，就绝对长不出来的可能性是零。
这就是它最强大的地方，也是它最让人不安的地方。它把无限的未来折叠在了一个当下的截面里，等你再翻开那会儿，发现那个截面早就已经翻那会儿了。但只要你目前的状态没变，你就一辈子无法穿越回去，只能按照这个截面，独自走完这一场戏。
这就是高斯马尔科夫，一个关于状态拍板论的温柔诅咒。