t分布，卡方分布，F分布

前言

很对模型都会默认一个很基本的假设：噪声是服从高斯分布的（高斯分布也叫做常态分布，这是更好理解的。反而是正态分布z这个名字让人疑惑）。

如果一个随机变量$X$服从高斯分布，即$X \sim \mathcal{N}(\mu, \sigma^{2})$, 那么其pmf记为：

$$f(x) = \frac{1}{\sqrt{2\pi \sigma^{2}}}\mathrm{exp}(-\frac{(x-\mu)^{2}}{2\sigma^{2}}),$$

其中，$\mu$和$\sigma$分别为均值和标准差。

对于任何一个高斯分布，都可以经过变换得到一个$\mu=0$且$\sigma=1$的标准高斯分布。

$$\begin{aligned} X &\sim \mathcal{N}(\mu, \sigma^{2}), \\ \frac{X-\mu}{\sigma} &\sim \mathcal{N}(0, 1). \end{aligned}$$

这个过程一般被叫做标准化。

接下来的t分布，卡方分布和F分布都是基于高斯分布。

t分布

对于服从任意高斯分布的变量$X\sim \mathcal{N}(\mu, \sigma^{2})$，我们独立随机采样$n$次，记作$\{x_{1}, x_{2}, \dots, x_{n}\}$。

令样本均值为

$$\bar{x}_{n} := \frac{x_{1} + x_{2} + \dots + x_{n}}{n}.$$

有中心极限定理，我们有

$$\bar{x}_{n}\sim \mathcal{N}{(\mu, \frac{\sigma^{2}}{n})}.$$

随意，样本的均值也是一个随机变量，且也服从高斯分布。

接下来，我们对$\bar{x}_{n}$进行标准化，

$$\frac{\bar{x}_{n} - \mu}{\frac{\sigma}{\sqrt{n}}} \sim \mathcal{N}(0, 1).$$

然而对于样本而言，我们并不知道总体的$\sigma$， 我们只能通过样本进行推测。 样本方差为

$$s^{2}_{n} = \frac{1}{n-1}\sum_{i=1}^{n}(x_{i} - \bar{x}_{n})^{2}.$$

我们用样本标准差替换总体标准差，并将得到的随机变量记作$T$。

$$T := \frac{\bar{x}_{n} - \mu}{\frac{s_{n}}{\sqrt{n}}}$$

而这个随机变量$T$所服从的分布就是t分布。

t分布的形式与标准高斯分布很相似，但他的尾端更厚，也就是说，在分布两端的样本会更多。 这主要是因为，我们得到的$T$不是基于$\bar{x}_{n}$所服从分布的标准差的，而是基于样本估计的标准差。 而总体标准差是个常数，样本标准差则是个随机变量，这使得当样本数量很小的时候，$T$并不稳定。

t分布的一个很重要的应用便是T检测。 假设我们对总体的均值$\mu$感兴趣。我们先对$\mu$做一个猜测， 比如说假定为$\mu_{0}$。 那么我们把这个猜测称为零假设，

$$H_{0} : \mu = \mu_{0}$$

我们并不知道也无法计算总体的均值是否真的为$\mu$。 但我们可以采样，并利用样本我们可以计算出样本均值$\bar{x}_{n}$和样本方差 $ s_{n} $。 那么我们可以构建一个统计量

$$\frac{\bar{x}_{n} - \mu_{0}}{\frac{s_{n}}{\sqrt{n}}}$$

这个时候，如果$H_{0}$是对的话，上面构建的统计量应该服从自由度为$n-1$的t分布。 如果计算出来的值在t分布很极端的位置，那么可以拒绝$H_{0}$，即我们猜测的$\mu$是不对的。

卡方分布

t检验主要着眼于高斯分布的均值的检测。

假设我们关心数据的离散程度（方差）和异常情况。 进一步假设我们有很多独立的异常或者误差，并且这些偏差都服从标准高斯分布。 我们将这些误差记作：$\{Z_{1}, Z_{2}, \dots, Z_{n} \}$。

那么，总的误差应该真么表示呢？ 我们可以定义如下的统计量

$$Q:=Z^{2}_{1} + Z^{2}_{2} + \dots + Z^{2}_{n}$$

而$Q$就是服从卡方分布的随机变量。 卡方分布是多个独立标准高斯分布的和，一般表示总误差或者总波动。

最后，卡方分布的自由度是由独立相加的标准高斯分布的个数决定的，比如说上例的卡方分布的自由度就为$n$，记作$Q\sim \chi^{2}(n)$。

卡方分布的一个重要应用是卡方检验。

F分布

基于卡方分布的定义，我们只能表示一组数据的总误差，我们将这个卡方随机变量记作$U\sim \chi^{2}(m)$。 如果我们还有一组数据，并且也得到一个总误差，我们将这个卡方随机记作$V\sim \chi^{2}(n)$。 我们是否能对两组数据的总误差进行比较呢？

答案是可以的，我们如下定义随机变量$F$：

$$F := \frac{\frac{U}{m}}{\frac{V}{n}}，$$

其中$m$和$n$分别为自由度。

F分布的重要应用是方差齐性检验和方差分析（ANOVA）。