Bootstrap

简述

这里写一些对于bootstrap的理解。 在进行线性回归的时候，我经常遇到的问题是，我不知道回归出来的系数是否显著不为0。

如果只有二元随机变量的时候，我们可以借助HSIC之类的方法进行独立性检测。如果两个变量相互独立，那他俩必然不线性相关。当然，在假定随机变量是非高斯的时候，这个命题的逆命题一般并不成立。

我们也可以通过Wald Test来对回归出来的参数进行假说检验。当然，我们需要知道我们估计的这个参数的标准误差。

除了上述方法，bootstrap也是一种简单且神奇的方法。 这里写一些对于bootstrap的理解。

概念图

这里的“Aggregation”也可以被认为是“Bagging”。

流程

1. Bootstrap 重采样：进行$B$次有放回的采样，每次采样的大小一般默认与原样本的大小一致。用每一采集到的样本进行参数估计。
2. 构造置信区间：上一步中会得到的$B$个估计值。根据给定的显著水平（比如说，$\alpha = 0.05$），得到$\alpha / 2$和$1-(\alpha - 2)$分位点的估计值（双尾检验）。
3. 判断是否显著：如果我们原假设的参数值（比如说，$H_{0}:\quad \theta = 0$）落入到了上一步骤求得两个分位点数据所构成的区间（置信区间）里面，则不拒绝原假设。反之，拒绝原假设。

Note：这里的置信区间不对分布进行假设，而是直接用分位点法。