1. 多元统计分析引言

# 多元数据的矩阵表示

多元统计分析主要处理多变量数据。为了方便表示和计算，我们将数据组织成矩阵形式：

矩阵的行数是样本量 $n$ ，列数是变量数 $p$ 。

样本均值向量 $\bar x$ ：一个列向量，其第 $i$ 个元素是第 $i$ 个变量的样本均值 $\bar x_i$ 。
$\bar x_i = \frac{1}{n} \sum_{k=1}^n x_{ki}$
样本协方差矩阵 $S$ ：一个 $p \times p$ 的实对称矩阵，其第 $(i,j)$ 个元素是第 $i$ 和第 $j$ 个变量的样本协方差 $s_{ij}$ 。
$s_{ij} = \frac{1}{n-1} \sum_{k=1}^n (x_{ki} - \bar x_i)(x_{kj} - \bar x_j)$
对角线元素 $s_{ii}$ 是第 $i$ 个变量的样本方差 $s_i^2$ 。
样本相关系数矩阵 $R$ ：一个 $p \times p$ 的实对称矩阵，其第 $(i,j)$ 个元素是第 $i$ 和第 $j$ 个变量的样本相关系数 $r_{ij}$ 。
$r_{ij} = \frac{s_{ij}}{\sqrt{s_{ii}}\sqrt{s_{jj}}}$
对角线元素均为 1。

总体协方差矩阵 $\Sigma$ ：一个 $p \times p$ 的实对称矩阵，其第 $(i,j)$ 个元素是第 $i$ 和第 $j$ 个变量的总体协方差 $\sigma_{ij}$ 。
$\Sigma = Var(X) = E[(X-\mu)(X-\mu)^T]$
其中， $\sigma_{ij} = cov(X_i, X_j) = E[(X_i - \mu_i)(X_j - \mu_j)]$ 。

多元统计中常用的距离度量考虑了变量之间的相关性。

标准距离：当变量相互独立时，可以使用标准距离。它对每个变量进行标准化，以消除量纲差异。
$d(P, Q) = \sqrt{\sum_{i=1}^p \frac{(x_i - y_i)^2}{s_{ii}}}$
马氏距离（Mahalanobis Distance）：考虑了变量之间的协方差，是更通用的距离度量。
$d(x, \mu) = \sqrt{(x-\mu)^T \Sigma^{-1} (x-\mu)}$
当协方差矩阵 $\Sigma$ 为对角阵时，马氏距离退化为标准距离。

利用期望的性质 $E[X^TAX] = tr(A\Sigma) + \mu^TA\mu$ ，可以推导出一些关于距离的有趣结论：

$E[||X-\mu||^2_2] = E[(X-\mu)^T(X-\mu)] = tr(\Sigma) = \sum_{i=1}^p \sigma_{ii}$
$E[d(x, \mu)^2] = E[(x-\mu)^T \Sigma^{-1} (x-\mu)] = p$
$E[d(x, y)^2] = E[(x-y)^T \Sigma^{-1} (x-y)] = p$

需要注意的是，马氏距离与协方差矩阵有关，而非与其无关。

探索性数据分析（EDA）旨在通过可视化等方式洞察数据特征。

箱线图用于展示单个变量的分布特征和异常值。

散点图矩阵可以同时展示多个变量两两之间的关系。

三维散点图用于展示三个变量之间的关系。