2. 多参数贝叶斯模型

# 常见概率分布

一元正态分布

$p(y|\mu,\sigma^{2})=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2\sigma^{2}}(y-\mu)^{2}}$
多元正态分布

$p(y|\mu,\Sigma)\propto|\Sigma|^{-1/2}\exp\left(-\frac{1}{2}(y-\mu)^{T}\Sigma^{-1}(y-\mu)\right)$

概率质量函数
$p(y|\theta)\propto\prod_{j=1}^{k}\theta_{j}^{y_{j}} \quad \text{其中 } \sum_{j=1}^{k}\theta_{j}=1 \text{ 且 } \sum_{j=1}^{k}y_{j}=n$

本节展示了两个常见多参数模型（多项式分布与正态分布）的贝叶斯分析，包括先验、后验及其参数推导。

似然函数： 遵循多项式分布 $Multinomial(\theta_1, \cdots, \theta_k)$ 。
共轭先验： 狄利克雷分布 $Dirichlet(\alpha_1, \cdots, \alpha_k)$ 是多项式分布的共轭先验。
- Jeffery 先验 对应于 $\alpha_j=1/2$ 。
- 对 $\theta_j$ 均匀的先验对应于 $\alpha_j=1$ 。
- 对 $logit(\theta_j)$ 均匀的先验对应于 $\alpha_j=0$ 。
后验分布： 同样遵循狄利克雷分布，其参数为先验参数与观测数据的和。

$Dirichlet(\alpha_1+y_1, \cdots, \alpha_k+y_k)$

当缺乏关于均值 $\mu$ 和方差 $\sigma^2$ 的先验信息时，可以采用如下的无信息先验。

先验：

$p(\mu,\sigma^{2})\propto(\sigma^{2})^{-1}$
条件后验：
- 在给定 $\sigma^2$ 和数据 $y$ 的条件下， $\mu$ 的后验服从正态分布：
  $\mu|\sigma^{2},y\sim\mathrm{N}(\overline{y},\sigma^{2}/n)$
- 在给定 $\mu$ 和数据 $y$ 的条件下， $\sigma^2$ 的后验服从逆卡方分布：
  $\sigma^{2}|\mu,y\sim\mathrm{Inv}-\chi^{2}(n,v)$
边缘后验：
- $\mu$ 的边缘后验服从 t分布：
  $\mu\mid y\sim t_{n-1}(\bar{y},s^2/n)$
- $\sigma^2$ 的边缘后验服从 逆卡方分布：
  $\sigma^{2}\mid y\sim\mathrm\chi^{2}(n-1,s^{2})$
- 上述分布可以表示为：
  $\frac{\mu-\overline{y}}{s/\sqrt{n}}\mid y \sim t_{n-1} \quad \text{和} \quad \frac{(n-1)s^{2}}{\sigma^{2}}\mid y\sim \chi_{n-1}^{2}$

当有先验信息时，可以采用正态分布的共轭先验。

先验： 均值 $\mu$ 和方差 $\sigma^2$ 联合先验服从正态-逆卡方分布。

$\mu, \sigma^2\sim \mathrm{N-Inv-}\chi^{2}\big(\mu_0,\,\sigma_{0}^{2}\big/\kappa_0;\nu_0,\sigma_{0}^{2}\big)$

这相当于 $\mu$ 的条件先验和 $\sigma^2$ 的边缘先验分别为：

$\mu|\sigma^{2}\;\sim\;\mathrm{N}(\mu_{0},\sigma^{2}/\kappa_{0}) \quad \text{和} \quad \sigma^{2}\ \sim\ \mathrm{Inv-}\chi^{2}(\nu_{0},\sigma_{0}^{2})$
联合后验： 后验分布仍然是正态-逆卡方分布，参数经过更新。

$\mu, \sigma^2|y\sim \mathrm{N-Inv-}\chi^{2}\big(\mu_n,\,\sigma_{n}^{2}\big/\kappa_n;\nu_n,\sigma_{n}^{2}\big)$

其中后验参数由以下公式计算：

$\begin{aligned} \mu_{n} &= \frac{\kappa_{0}}{\kappa_{0}+n}\mu_{0}+\frac{n}{\kappa_{0}+n}\overline{y}\\ \kappa_{n} &= \kappa_{0}+n\\ \nu_{n} &= \nu_{0}+n\\ \nu_{n}\sigma_{n}^{2} &= \nu_{0}\sigma_{0}^{2}+(n-1)s^{2}+\frac{\kappa_{0}n}{\kappa_{0}+ n}(\overline{y}-\mu_{0})^{2} \end{aligned}$
条件与边缘后验：
- 条件后验：
  $\mu|\sigma^2,y\sim N(\mu_n, \sigma^2/\kappa_n)$
- 边缘后验：
  $\sigma^{2}|y \sim\ \mathrm{Inv-}\chi^{2}(\nu_{n},\sigma_{n}^{2}) \quad \text{和} \quad \mu|y\sim t_{\nu_{n}}(\mu|\mu_{n},\sigma_{n}^{2}/\kappa_{n})$
后验预测分布： 对新观测 $\tilde{y}$ 的预测分布服从 t分布。

$\tilde{y} |y \sim {t}_{\nu_n}\left(\mu_{n},\frac{\kappa_{n}+1}{\kappa_{n}}\sigma_{n}^{2}\right)$