因子分解定理统计-因子分解定理统计

真正的因子分解定理，压根儿不是坐在图书馆里啃那本厚厚的教科书，也不是在黑板上 derivation 出一个完美的矩阵。它更像是一口深井，你只需求往下挖，总能挖到那个底层的东西。别跟我谈啥“起初、其次、最终”，哪怕你心里盘算着要把这三步走完美，那不过是给一场注定要荒谬的即兴演奏做铺垫。在这个难题上，逻辑的链条往往不是线性的，而是一种概率上的共振。 你想想看，当处理那些成千上万的数据流时，我们到底是在计算啥？我们不是在求 $A^{-1}$，我们是在求啥能让矩阵变得“好”的参数。统计学家们早就有个直觉，那个直觉就是高斯分布。当你把一堆乱糟糟的数据扔进模型，它会自动把那些离群点要么那些特别稀疏的尾巴给缩掉，最终剩下的，大约率就是围绕着一个正态分布打转的剩下的局部。
这个分布，就是所谓的“核心”。 也就是说，因子分解定理的核心，实际上就是一场针对数据“尾部”的清洗。你不需求知道数据里藏着哪个具体的元组，你只需求知道，那些离群点是如何形成的。是计算噪声忒大了？还是样本量忒小根本构不成分布？
要么是某个庞大的元组把整个空间给撑爆了？不管缘由是啥，统计做的事件，就是把整个复杂的世界，强行压扁成一个好办的数学公式。
这个公式，就是那个 $N$ 维的正态分布 $N(mu, Sigma)$。 为了看看这个过程是如何跑的，我们得做个小小的实验。假设我们有一组数据，看起来乱七八糟，有的地方特别密集，有的地方特别稀疏。
要是你直接扔进标准的线性回归要么一般/平平的线性模型里，效果肯定差到离谱。出于没有那个统一的“标准差”来解释那些庞大的波动。
这时候，你就要启动寻思分布了。你可能会先算出一个均值 $mu$，看看数据是不是都往这个方向聚；然后你又要算一个协方差矩阵 $Sigma$，看看不同维度之间的相关性有多大，有没有哪个维度是特别孤立的。 实际上，当你把这两个步骤混合在一起，用贝叶斯视野去审视整个模型时，你就会发现，最优解往往就在那个正态分布的峰值附近。
这不只是是数学上的巧合，而是贝叶斯逻辑的必然结局。先验分布告诉我们要关切啥，后验分布则告诉你，当证据来了之后，啥才是最有意义的东西。
要是你强行要求模型去拟合那些极端值，结局就是灾难；但要是你准模型去“不清楚”掉那些极端值，把注意力聚拢在中间的、众多的点上，那么模型就能跑得飞快，并且误差也管住得相当好。 举个例子，假设你要分析一组电商销售数据。
这组数据里，A 类产品的销量可能挺高，但 B 类产品可能连个零头都没有。
要是你硬要把它们强行拉回一个正态分布去拟合，A 类会被拉平，B 类会被拉平，中间的结局反而更平滑，更符合机器学习的直觉。
这时候，要是你只是关切中心值，那个正态分布的中心参数，往往就直奔 A 类产品的平均销量而去；而那些离群点的本事，就交给了分布的方差参数去承担。 再换个角度想，因子分解的本质，实际上就是一种“降维”的哲学。高维空间里的每个点，都是独一无二的，充满了随机性。但当我们把它们投影到低维空间时，那些随机性就被压缩了，只剩下最核心的趋势。
这个趋势，一般就体现为一个均值和一个方差。均值告诉你“哪儿是中心”，方差告诉你“哪儿是波动”。至于那些极端值、那些离群点，在低维投影后，往往就变成了噪声，要么是某种系统性的偏差，只要不破坏整体的分布形态，我们就不需求管它。 有时候我们还会遇到一种情况，就是数据本身就不符合正态分布。
比如你有一堆严格的二元分类数据，要么有一堆服从均匀分布的随机变量。
这时候，强行套用正态分布，结局就是拟合不准。
这时候，因子分解定理就不再单纯是匹配正态分布了，它变成了寻找一个能够描述数据先验特性的分布。
哪怕这个分布是 Gamma 分布，是 Beta 分布，就连是其他复杂的分布，只要它能合理地解释数据的结构，它就能够成为那个“核心”。 这就解释了为啥在现实世界的工程应用中，我们极少看到完美的因子分解。出于现实世界忒脏了。数据里有采样误差，有入样误差，有噪声，还有各种各样的离群变量干扰。我们需求的，不是一个完美的数学模型，而是一台能在这个充满干扰的环境中依然能够稳定运行的机器。而做这件事的关键，往往就在于那个能够概括全局、忽略局部的分布参数。 当你把数据扔进矩阵运算，要求它收敛到一个解的时候，你会发现，这个解往往就在那个正态分布的中心附近徘徊。
这就像一个在茫茫海洋中游泳的人，别看海浪汹涌，但只要你朝着一个方向游，挺快你就会发现，水流实际上是在向一个特定的坐标点汇聚的。
这个坐标点，就是均值；而围绕这个点的范围大小，就是方差。至于那些偏离这个点的水花，只要不影响到你的航行，就只是背景噪音。 故此，因子分解定理统计，说到底，就是告诉我们要学会“无视”。学会无视那些贼特殊的极端值，学会无视那些彻底随机的噪声，学会只用两个好办的参数来描述这个世界的本质。
这听起来挺反直觉，就连有点冷酷，出于它要求我们对那些无法解释的离群点视而不见。但这正是统计学的智慧所在：要是数据本身无法被理解，那么我们就应当尝试在更低的维度上去重构它。 归根结底，那口深井里的定理，不是要你背下来。你要做的是，当你面对一堆乱码的时候，脑子里自动浮现出那个正态分布的轮廓。当你看到数据突然变得特别稀疏要么特别密集时，你知道那背后一定藏着一个分布参数的变化。
这就是因子分解定理在数据世界中真的样子。它不需求教科书式地推导，它只需求你愿意信任数据自己就会持续讲话，并且告诉你，它想说的，实际上就在那两个数里。