Horvitz–Thompson估计量

简述

对于某一个一维随机变量$X$，我们让它的观测$\boldsymbol{x} = \{x_{1}, x_{2}, \dots, x_{N}\}$为总体。 接下来，我们对$X$的这$n$个数据进行等概率随机抽样，获取大小为$n$的样本，记作：$\boldsymbol{y}:=\{y_{1}, y_{2}, \dots, y_{n}\}$。

我们一般通过抽样数据对总体进行估计。 例如我们要估计总体的均值我们一般，如下操作：

$$\hat{\bar{y}} := \frac{\sum_{i:y_{i} \in \boldsymbol{y}}y_{i}}{n}.$$

但实际操作中，我们抽取的样本可能被选择的概率并不均等，或者有数据缺失的情况。 比如，极端情况下我们只能采样$y_{1}$或者$y_{1}$总被采样。 这种情况，总体的估计会完全受$y_{1}$影响而导致很高的标准误。

面对这个情况，我们需要用到Horvitz–Thompson估计量，通过加权对每个样本进行修正。

估计量

$$\hat{\bar{y}}_{HT} = \frac{1}{N}\sum_{i:y_{i} \in \boldsymbol{y}}\frac{y_{i}}{\pi_{i}},$$

其中$\pi_{i}$是$y_{i}$属于被抽样群体的概率(注意这里只写了$y_{i}$，实际上对于没被取样的样本也有对应的概率)。 注意，这里均值除的是总体的数量$N$，而不是样本的数量$n$。 我们将$\frac{1}{\pi_{i}}$看作$y_{i}$的权重的话，我们会得到

$$\hat{\bar{y}}_{HT} = \frac{1}{N}\sum_{i:y_{i} \in \boldsymbol{y}}w_{i}y_{i},$$

这里，我们定义$w_{i}:=\frac{1}{\pi_{i}}$。 所以，这个定义方式也叫做逆概率加权。

无偏估计

在进行逆概率加权之后，我们对样本进行了改变，此时加权后的样本能正确估计总体吗？

通过对估计量的期望值进行计算，

$$\begin{aligned} \mathbb{E}[\hat{\bar{y}}_{HT}] &= \mathbb{E}[\frac{1}{N}\sum_{i:y_{i} \in \boldsymbol{y}}\frac{y_{i}}{\pi_{i}}] \\ &= \mathbb{E}[\frac{1}{N}\sum_{j:x_{j} \in \boldsymbol{x}}\frac{x_{i}}{\pi_{j}} \delta(x_{i} \in \boldsymbol{y})] \\ &=\frac{1}{N}\sum_{j:x_{j} \in \boldsymbol{x}}\frac{x_{i}}{\pi_{j}} \mathbb{E}[\delta(x_{j} \in \boldsymbol{y})] \\ &=\frac{1}{N}\sum_{j:x_{j} \in \boldsymbol{x}}\frac{x_{i}}{\pi_{j}} \pi_{j} \\ &= \frac{1}{N}\sum_{j:x_{j} \in \boldsymbol{x}}x_{i}\\ &= \mathbb{E}[X]. \end{aligned}$$

分层采样

我们对数据进行分割，记作，$U_{1}, U_{2}, \dots, U_{H}$，使得$U_{1}\cup U_{2}\cup \dots\cup U_{H} = \boldsymbol{x}$且$U_{i}\cap U_{j}= \emptyset$ for any $(U_{i}, U_{j})$。 如果我们对每一个区块都采样$n_{h}$的话， 对于来自不同的区块区块的样本，逆概率加权所需的概率为

$$\pi_{i} = \frac{n_{h}}{\vert U_{i} \vert}, \text{for all } i \in [H].$$