首页课程笔记统计系多元统计分析

# 预备知识

# Wishart 分布

如果 Zi∼iidNp(0,Σ)Z_i \sim^{iid} N_p(0, \Sigma)，那么 ∑i=1mZiZiT∼Wp(m,Σ)\sum_{i=1}^m Z_i Z_i^T \sim W_p(m, \Sigma)。这可以看作是多元正态分布中卡方分布的推广。

Wishart 分布有两个重要性质：

  • 可加性：如果 A1∼Wp(m1,Σ)A_1 \sim W_p(m_1, \Sigma) 和 A2∼Wp(m2,Σ)A_2 \sim W_p(m_2, \Sigma) 独立，那么它们的和 A1+A2∼Wp(m1+m2,Σ)A_1 + A_2 \sim W_p(m_1 + m_2, \Sigma)。
  • 线性变换：如果 A∼Wp(m,Σ)A \sim W_p(m, \Sigma)，那么对于任意矩阵 CC，有 CACT∼Wp(m,CΣCT)CAC^T \sim W_p(m, C\Sigma C^T)。

# 样本均值与样本方差的独立性

可以证明，对于正态分布样本，样本均值 Xˉ\bar{X} 与样本方差 SS 是独立的。

# 单总体均值检验

# 一元情况

对于来自 N(μ,σ2)N(\mu, \sigma^2) 的样本，有以下统计量：

  • 当 σ2\sigma^2 已知时，n(xˉ−μ0)σ∼N(0,1)\frac{\sqrt{n}(\bar{x} - \mu_0)}{\sigma} \sim N(0, 1)。
  • 当 σ2\sigma^2 未知时，样本方差 s2s^2 满足 (n−1)s2σ2∼χn−12\frac{(n-1)s^2}{\sigma^2} \sim \chi^2_{n-1}。
  • 将上述两个统计量结合，得到 tt 统计量：t=n(xˉ−μ0)s∼tn−1t = \frac{\sqrt{n}(\bar{x} - \mu_0)}{s} \sim t_{n-1}。
  • 这个 tt 统计量的平方 t2=(xˉ−μ0)(s2n)−1(xˉ−μ0)t^2 = (\bar{x} - \mu_0)(\frac{s^2}{n})^{-1}(\bar{x} - \mu_0) 服从 tn−12t^2_{n-1} 分布，同时它也服从 F1,n−1F_{1, n-1} 分布。

# 多元情况

对于来自 Np(μ,Σ)N_p(\mu, \Sigma) 的样本，有以下统计量：

  • 样本均值 Xˉ\bar{X} 满足 n(Xˉ−μ0)∼Np(0,Σ)\sqrt{n}(\bar{X} - \mu_0) \sim N_p(0, \Sigma)。
  • 样本协方差矩阵 SS 满足 (n−1)S∼Wp(n−1,Σ)(n-1)S \sim W_p(n-1, \Sigma)。
  • 将上述统计量结合，得到 Hotelling's T2T^2 统计量：T2=(Xˉ−μ0)T(Sn)−1(Xˉ−μ0)T^2 = (\bar{X} - \mu_0)^T(\frac{S}{n})^{-1}(\bar{X} - \mu_0)。
    • Hotelling's T2T^2 统计量 服从 p(n−1)n−pFp,n−p\frac{p(n-1)}{n-p}F_{p, n-p} 分布。
    • 拒绝域：当 T2>p(n−1)n−pFp,n−p(α)T^2 > \frac{p(n-1)}{n-p}F_{p, n-p}(\alpha) 时，拒绝原假设。
    • 线性变换下的不变性：如果 Y=CX+dY = CX + d，那么 TY2=TX2T^2_Y = T^2_X，即 Hotelling's T2T^2 统计量在仿射变换下保持不变。

# 似然比检验 (LRT)

似然比检验的统计量 Λ\Lambda 定义为：

Λ=max⁡H0L(μ0,Σ)max⁡H0∪H1L(μ0,Σ)=(∣Σ^0∣∣Σ^∣)−n/2\Lambda = \frac{\max_{H_0} L(\mu_0, \Sigma)}{\max_{H_0 \cup H_1} L(\mu_0, \Sigma)} = \left(\frac{|\hat{\Sigma}_0|}{|\hat{\Sigma}|}\right)^{-n/2}

其中，Σ^0=1n∑i=1n(Xi−μ0)(Xi−μ0)T\hat{\Sigma}_0 = \frac{1}{n}\sum_{i=1}^n (X_i - \mu_0)(X_i - \mu_0)^T 是原假设下的最大似然估计，Σ^=1n∑i=1n(Xi−Xˉ)(Xi−Xˉ)T\hat{\Sigma} = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})(X_i - \bar{X})^T 是无约束下的最大似然估计。

通过代数运算，可以证明似然比与 Hotelling's T2T^2 统计量之间的关系：

∣Σ^0∣∣Σ^∣=1+T2n−1\frac{|\hat{\Sigma}_0|}{|\hat{\Sigma}|} = 1 + \frac{T^2}{n-1}

利用此关系，可以先计算 Hotelling's T2T^2 统计量来完成 LRT 检验，从而避免直接求逆。

# 单总体均值的置信域与置信区间

# 置信域

基于 Hotelling's T2T^2 统计量，可以构建一个置信域，它是一个以 Xˉ\bar{X} 为中心的椭球：

Tμ2=n(Xˉ−μ)TS−1(Xˉ−μ)≤c2=T2(α)=p(n−1)n−pFp,n−p(α)T_\mu^2 = n(\bar{X} - \mu)^T S^{-1} (\bar{X} - \mu) \le c^2 = T^2(\alpha) = \frac{p(n-1)}{n-p}F_{p, n-p}(\alpha)

这个椭球包含了真实均值 μ\mu 的概率为 1−α1-\alpha。

# 置信区间

置信区间可以理解为置信域在特定方向上的投影。

# 单个分量的置信区间

对于一个线性组合 z=aTXz = a^T X，其样本估计为 ψ^=aTXˉ\hat{\psi} = a^T \bar{X}，标准误为 se^(ψ^)=aTSan\hat{se}(\hat{\psi}) = \sqrt{\frac{a^T S a}{n}}。
因此，置信区间为：

Iψ(z)=ψ^±tn−1(α2)se^(ψ^)=aTXˉ±tn−1(α2)aTSanI_\psi(z) = \hat{\psi} \pm t_{n-1}\left(\frac{\alpha}{2}\right)\hat{se}(\hat{\psi}) = a^T\bar{X} \pm t_{n-1}\left(\frac{\alpha}{2}\right)\sqrt{\frac{a^T Sa}{n}}

# Hotelling's T2T^2 置信区间

由于 T2T^2 统计量考虑了所有方向，它的置信区间是所有可能方向上投影的包络线。
在任意方向 aa 上的置信区间为：

Ia(z)=aTXˉ±caTSanI_a(z) = a^T\bar{X} \pm c\sqrt{\frac{a^T Sa}{n}}

其中 c2=T2(α)=p(n−1)n−pFp,n−p(α)c^2 = T^2(\alpha) = \frac{p(n-1)}{n-p}F_{p, n-p}(\alpha)。由于 max⁡at2≤T2\max_a t^2 \le T^2，此置信区间比单个分量的置信区间更宽。

# Bonferroni 置信区间

当需要同时对 mm 个分量或线性组合构建置信区间时，为了保证所有区间都包含真值的联合概率为 1−α1-\alpha，可以对每个区间的显著性水平进行调整。
根据 Bonferroni 不等式，只需让每个区间的显著性水平为 α/m\alpha/m 即可。

Iψk(z)=ψ^k±tn−1(α2m)se^(ψ^k)=akTXˉ±tn−1(α2m)akTSaknI_{\psi_k}(z) = \hat{\psi}_k \pm t_{n-1}\left(\frac{\alpha}{2m}\right)\hat{se}(\hat{\psi}_k) = a_k^T\bar{X} \pm t_{n-1}\left(\frac{\alpha}{2m}\right)\sqrt{\frac{a_k^T Sa_k}{n}}

最终的联合置信区间为所有单个区间的笛卡尔乘积 Iψ(z)=∏k=1mIψk(z)I_\psi(z) = \prod_{k=1}^m I_{\psi_k}(z)。

# Hotelling's T2T^2 与 Bonferroni 置信区间的比较

Hotelling's T2T^2 置信区间和 Bonferroni 置信区间在大小上没有绝对的优劣。通常来说，当需要同时考察的线性组合数量 mm 相对维度 pp 不太大时，Bonferroni 置信区间通常更窄，因此更优。