一些专业名词的定义及解释

简述

这里主要对一些我经常遇到的专业名词进行记录

概率统计

---

随机变量（Random Variable） 定义：一个在实验或观测前无法确定其取值，只能通过概率分布来描述的变量。

类型： 离散型：如掷骰子的结果 $X \in \{1, 2, 3, 4, 5, 6\}$ 连续型：如身高、体重等 本质：是一个函数，将样本空间映射到实数域。

特点： 是一个“变量”，表示可能的结果； 有对应的概率分布（如正态分布、伯努利分布等）； 不能观察，只能观察其“取值”。

示例： 掷一次骰子，定义 $X$ 表示点数，则 $X$ 是一个随机变量。

---

统计量（Statistic） 定义：对样本数据进行函数运算得到的结果，本身也是一个随机变量，用于概括样本特征。 本质：函数 $\theta = f(X_1, \dots, X_n)$，其中 $X_i$ 是样本。 常见统计量： 样本均值：$\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$ 样本方差：$S^2 = \frac{1}{n-1} \sum_{i=1}^{n}(X_i - \bar{X})^2$ 中位数、最大值、偏度、峰度等

---

估计量（Estimator）

定义：一种用于估计总体参数的统计量。比如你想估计总体均值 $\mu$，你就可以使用样本均值 $\bar{X}$ 来作为“估计量”。

关系： 估计量 = 统计量 + 明确的估计目标

估计量是“命名后的统计量”，其目的是估计某个具体的参数

举例： 样本均值 $\bar{X}$ 是总体均值 $\mu$ 的估计量； 样本方差 $S^2$ 是总体方差 $\sigma^2$ 的估计量。

区别于统计量： 统计量泛指对样本进行的任意函数运算； 估计量是统计量中用于估计未知总体参数的那一类。

---

估计值（Estimate） 定义：估计量在一个具体样本上的取值，即实际计算出来的具体数字。

举例： 你有一个样本 $[2, 4, 6]$，样本均值为 $\bar{X} = 4$，那么这个“4”就是估计值。 $S^2 = 4$ 也是一个估计值，是用这个样本计算出来的结果。

---

依概率收敛（Convergence in Probability） 定义：随机变量列 ${X_n}$ 依概率收敛于常数 $X$，记作：

$$X_{n} \stackrel{P}{\to} X$$

如果对任意$\varepsilon > 0$，有：

$$\lim_{n \to \infty} {\rm Pr}(\vert X_{n} - X \vert > \varepsilon) = 0$$

直观理解： 随着样本量 $n$ 的增加，$X_n$ 和 $X$ 的差距“以高概率”变得非常小。

举例（大数法则）： 样本均值 $\bar{X}_n$ 依概率收敛于总体均值 $\mu$，即：

$$\bar{X}_{n} \stackrel{P}{\to} \mu$$

---

依分布收敛（Convergence in Distribution） 定义：随机变量列 ${X_n}$ 依分布收敛于随机变量 $X$，记作：

$$X_{n} \stackrel{d}{\to} X$$

如果当 $n \to \infty$ 时，$X_n$ 的分布函数 $F_n(x)$ 收敛于 $X$ 的分布函数 $F(x)$，即：

$$\lim_{n \to infty} F_{n}(x) = F(x), \text{ 对所有F的连续点x成立}$$

直观理解： $X_n$ 的“分布形状”越来越像 $X$ 的分布，但 $X_n$ 本身的值未必靠近 $X$。

举例（中心极限定理）：

$$\sqrt{n}(\bar{X}_{n} - \mu) \stackrel{d}{\to} {\cal N}(0, \sigma^{2})$$

机器学习