3. 贝叶斯仿真与渐进性

# 联合分布采样

有多种方法可以从联合分布中进行采样，主要包括：

ECDF (经验累积分布函数)：

${\hat{F}}(x,y)={\frac{1}{m}}\sum_{i=1}^{m}I(x_{i}\leq x,y_{i}\leq y)\to F(x,y)$

当样本量 $m$ 趋近于无穷时，经验累积分布函数 $\hat{F}(x,y)$ 会收敛到真实的累积分布函数 $F(x,y)$ 。
离散网格采样法：
该方法适用于维度较低的分布。具体步骤如下：
- 确定范围与网格划分：选择一个足以覆盖大部分概率空间的范围，并将其划分为细密的网格。
- 计算网格概率：将每个网格中心的概率密度 $p(\alpha, \beta | y)$ 作为该网格的采样概率，并进行归一化。
- 边缘采样：将所有网格的概率求和，计算出边缘概率 $p(\alpha | y)$ ，并基于该分布对 $\alpha$ 进行采样。
- 条件采样：对每个 $\alpha$ 网格，将相应概率求和，计算出条件概率 $p(\beta | \alpha, y)$ ，并基于此对 $\beta | \alpha$ 进行采样。
- 增加扰动：在采样的 $\alpha$ 和 $\beta$ 值上，增加一个零均值且恰好覆盖该网格的随机扰动，以模拟连续分布。

当样本量足够大时，后验分布通常可以近似为正态分布。

最大后验估计 (MAP)
最大后验估计 $\hat{\theta}$ 是使对数后验概率达到最大值的参数值，即：

$\left[{\frac{d}{d\theta}}\log p(\theta|y)\right]_{\theta=\hat{\theta}}=0$
泰勒展开
对数后验概率 $\log p(\theta|y)$ 在 $\hat{\theta}$ 附近进行二阶泰勒展开，可得：

$\log p(\theta|y)=\log p({\hat{\theta}}|y)+{\frac{1}{2}}(\theta-{\hat{\theta}})^{T}\left[{\frac{d^{2}}{d\theta^{2}}}\log p(\theta|y)\right]_{\theta={\hat{\theta}}}(\theta-{\hat{\theta}})+\cdots$

忽略高阶项后，后验分布近似为一个与参数 $\theta$ 相关的二次函数。
渐近正态近似
从泰勒展开结果可以看出，后验分布 $p(\theta|y)$ 可以近似为一个正态分布：

$p(\theta|y)\approx\mathrm{N}(\hat{\theta},[I(\hat{\theta})]^{-1})$

其中， $I(\theta)$ 是负的对数后验概率的二阶导数，即信息矩阵：

$I(\theta)=-\,\nabla^2_{\theta}\log p(\theta|y)$
评估与注意
- 在低维参数空间中，正态近似的精度更高。值得注意的是，联合正态分布的边缘分布是正态的，但反之不成立。
- 通过对参数进行变换，可以显著提高正态近似的准确性。在有限样本量的情况下，不同参数化方式的近似精度可能存在较大差异。

贝叶斯大样本理论研究当样本量趋于无穷时，后验分布的收敛性质。

KL 信息用于衡量两个概率分布之间的差异。假设真实的数据分布为 $f(y)$ ，模型分布为 $p(y|\theta)$ ，则 KL 信息为：

$H(\theta)=E_{f}\left[\log\left(\frac{f(y)}{p(y|\theta)}\right)\right]=\int\log\left(\frac{f(y)}{p(y|\theta)}\right)f(y)d y$

根据吉布斯不等式，KL 信息恒为非负，且在 $\theta$ 等于真实参数 $\theta_0$ 时达到最小值 0。

若参数空间是有限的，且真实参数 $\theta_0$ 的先验概率 $P(\theta=\theta_0)>0$ ，那么当样本量 $n \rightarrow \infty$ 时，后验概率 $P[\theta=\theta_0 | y]$ 将收敛到 1。

证明思路：考虑任意一个非真实参数 $\theta \neq \theta_0$ $θ \neq = θ_{0}$ 。我们分析其与真实参数的对数后验比值：
$\log\left(\frac{p(\theta|y)}{p(\theta_{0}|y)}\right)=\log\left(\frac{p(\theta)}{p(\theta_{0})}\right)+\sum_{i=1}^{n}\log\left(\frac{p(y_{i}|\theta)}{p(y_{i}|\theta_{0})}\right)$
- 等式右侧的第一项为先验比值，是一个有限常数。
- 等式右侧的第二项为对数似然比之和。其期望值为：
  $E_{f}\left[\log\left(\frac{p(y_{i}|\theta)}{p(y_{i}|\theta_{0})}\right)\right]=H(\theta_{0})-H(\theta)$
  根据 KL 信息性质，该期望恒为负值。
- 因此，当 $n \rightarrow \infty$ 时，根据大数定律，第二项将趋近于 $-\infty$ 。
结论：由于右侧趋近于 $-\infty$ ，对数后验比值也趋近于 $-\infty$ ，这表明 $p(\theta|y) \rightarrow 0$ ，而 $p(\theta_{0}|y) \rightarrow 1$ 。

若参数空间是一个有界闭集， $A$ 是一个包含真实参数 $\theta_0$ 的开集，且先验 $P(\theta \in A)>0$ ，那么当 $n \rightarrow \infty$ 时，后验概率 $P[\theta \in A | y]$ 将收敛到 1。

如果模型中存在一个参数 $\theta$ 使得模型分布 $p(y|\theta)$ 与真实数据分布 $f(y)$ 完全一致，即 $p(y|\theta)=f(y)$ ，那么后验众数 $\hat{\theta}$ 将收敛到该真实参数 $\theta_0$ 。
如果模型本身无法完全描述真实分布，那么后验众数 $\hat{\theta}$ 将收敛到使得 $p(y|\theta)$ 与 $f(y)$ 最接近的参数值 $\theta_0$ 。

$[{\cal I}(\hat{\theta})]^{1/2}(\theta-\hat{\theta})\mid y\sim\mathrm{N}(0,I)$

$[{\cal I}(\hat{\theta})]^{1/2}(\hat{\theta}-\theta_0)\mid \theta_0\sim\mathrm{N}(0,I)$