2. ARMA模型

# AR 模型

# AR(1) 模型

1. 模型定义

AR(1) 模型，也称一阶自回归模型，其递推式为：

$$y_t=\phi y_{t-1}+\varepsilon_t,~\varepsilon_t\sim WN(0,\sigma^2)$$

其中 $WN(0,\sigma^2)$ 表示均值为 0、方差为 $\sigma^2$ 的白噪声。该模型可使用滞后算子 $B$ 表示为：

$$\phi(B)y_t=(1-\phi B)y_t=\varepsilon_t$$

对应的特征方程为：

$$\phi(z)=1-\phi z=0$$

其根为 $z=1/\phi$。

2. 弱平稳性

AR(1) 模型是弱平稳的，当且仅当其特征方程的根在单位圆外，即 $|\phi|<1$。

3. 性质

• 自协方差函数 (ACVF) 与自相关函数 (ACF)：在弱平稳条件下，模型的 ACVF $\gamma_j$ 和 ACF $\rho_j$ 分别为：

  $$\gamma_j=\frac{\sigma^2}{1-\phi^2}\phi^j,~\rho_j=\phi^j,~j\in N$$

• Wold 分解 ($MA(\infty)$ 表示)：在弱平稳条件下，AR(1) 模型可表示为无限阶移动平均（$MA(\infty)$）模型：

  $$y_t=\sum_{j=0}^\infty \phi^j\varepsilon_{t-j}$$

• 本征模函数 (IMF)：模型对过去白噪声冲击的响应函数为：

  $$\frac{dy_t}{d\varepsilon_{t-j}}=\phi^j,~j\in N$$

• 均值回归行为：模型具有均值回归行为。令 $\Delta y_t=y_t-y_{t-1}$，则：

  $$\Delta y_t=(\phi-1)y_{t-1}+\varepsilon_t$$

  故

  $$\begin{cases} E[\Delta y_t|F_{t-1}]<0 & y_{t-1}>0 \\ E[\Delta y_t|F_{t-1}]>0 & y_{t-1}<0 \end{cases},~ F_t:=\sigma(y_j,j\le t)$$

  其中，$F_t$ 表示在 $t$ 时刻之前的可观测信息。

# AR(2) 模型

1. 模型定义

AR(2) 模型，也称二阶自回归模型，其递推式为：

$$y_t=c+\phi_1y_{t-1}+\phi_2y_{t-2}+\varepsilon_t,~\varepsilon_t\sim WN(0,\sigma^2)$$

其中 $c$ 为常数项。该模型可使用滞后算子 $B$ 表示为：

$$\phi(B)y_t=(1-\phi_1B-\phi_2B^2)y_t=c+\varepsilon_t$$

对应的特征方程为：

$$\phi(z)=1-\phi_1z-\phi_2z^2=0$$

2. 弱平稳性与均值

AR(2) 模型是弱平稳的，当且仅当其特征方程的根均在单位圆外，即满足下列条件：

$$-1<\phi_2<1,~\phi_2-\phi_1<1,~\phi_2+\phi_1<1$$

在弱平稳条件下，模型的均值为：

$$\mu=\frac{c}{1-\phi_1-\phi_2},~\phi_1+\phi_2\ne1$$

去均值后的模型为：

$$y_t-\mu=\phi_1(y_{t-1}-\mu)+\phi_2(y_{t-2}-\mu)+\varepsilon_t$$

或

$$\phi(B)(y_t-\mu)=\varepsilon_t$$

3. 矩方程与性质

• 矩方程：对于模型的自协方差函数 $\gamma_j$，有：

  $$\gamma_j=\phi_1\gamma_{j-1}+\phi_2\gamma_{j-2},~j\ge1$$

  自相关函数（ACF）为：

  $$\rho_0=1,~\rho_1=\frac{\phi_1}{1-\phi_2}\\ \rho_j=\phi_1\rho_{j-1}+\phi_2\rho_{j-2},~\phi(B)\rho_j=0$$

• Yule-Walker 方程：通过 ACF 可建立 Yule-Walker 方程，用于估计模型参数：

  $$\begin{bmatrix} \rho_1\\\rho_2 \end{bmatrix} = \begin{bmatrix} 1&\rho_1\\\rho_2&1 \end{bmatrix} \begin{bmatrix} \phi_1\\\phi_2 \end{bmatrix}$$

• $MA(\infty)$ 表示：弱平稳的 AR(2) 模型可表示为 $MA(\infty)$ 模型：

  $$y_t-\mu=\frac{1}{\phi(B)}\varepsilon_t=(1+\psi_1B+\psi_2B^2+\cdots)\varepsilon_t=\varepsilon_t+\psi_1\varepsilon_{t-1}+\psi_2\varepsilon_{t-2}+\cdots$$

• 随机周期的平均长度：对于弱平稳且特征根为复数的 AR(2) 模型，其随机周期的平均长度为：

  $$T_0=\frac{2\pi}{\arccos \phi_1/(2\sqrt{-\phi_2})}$$

• 解析解：令特征方程的根为 $\omega_1,\omega_2$，其倒数为 $\lambda_1,\lambda_2$，即 $\phi(z)=(1-\lambda_1z)(1-\lambda_2z)=0$，则模型的 $MA(\infty)$ 表示可进一步分解为：

  $$y_t-\mu=\frac{1}{(1-\lambda_1B)(1-\lambda_2B)}\varepsilon_t=(1+\psi_1B+\psi_2B^2+\cdots)\varepsilon_t$$

# AR(p) 模型

1. 模型定义

AR(p) 模型，也称 p 阶自回归模型，其递推式为：

$$y_t=c+\phi_1y_{t-1}+\phi_2y_{t-2}+\cdots+\phi_py_{t-p}+\varepsilon_t,~\varepsilon_t\sim WN(0,\sigma^2)$$

该模型可使用滞后算子 $B$ 表示为：

$$\phi(B)y_t=(1-\phi_1B-\phi_2B^2-\cdots-\phi_pB^p)y_t=c+\varepsilon_t$$

对应的特征方程为：

$$\phi(z)=1-\phi_1z-\phi_2z^2-\cdots-\phi_pz^p=0$$

2. 弱平稳性与均值

AR(p) 模型是弱平稳的，当且仅当其特征方程的根均在单位圆外。一个必要条件是 $\phi_1+\phi_2+\cdots+\phi_p\ne1$。
在弱平稳条件下，模型的均值为：

$$\mu=\frac{c}{1-\phi_1-\phi_2-\cdots-\phi_p},~\phi_1+\phi_2+\cdots+\phi_p\ne1$$

去均值后的模型为：

$$\phi(B)(y_t-\mu)=\varepsilon_t$$

3. 性质

• 自协方差函数 (ACVF) 与自相关函数 (ACF)：令 $c=\mu=0$，则 ACVF 满足：

  $$\gamma_j-\phi_1\gamma_{j-1}-\cdots-\phi_p\gamma_{j-p}=\begin{cases} \sigma^2&j=0 \\ 0&j>0 \end{cases}$$

  ACF 满足：

  $$\rho_j-\phi_1\rho_{j-1}-\cdots-\phi_p\rho_{j-p}=\begin{cases} \sigma^2/\gamma_0&j=0 \\ 0&j>0 \end{cases}$$

• Yule-Walker 方程：模型的 Yule-Walker 方程为：

  $$\begin{bmatrix} \rho_1\\\rho_2\\\vdots\\\rho_p \end{bmatrix} = \begin{bmatrix} 1&\rho_1&\rho_2&\cdots&\rho_{p-1} \\ \rho_2&1&\rho_1&\cdots&\rho_{p-2} \\ \vdots&\vdots&\vdots&\ddots&\vdots& \\ \rho_{p-1}&\rho_{p-2}&\rho_{p-3}&\cdots&1 \end{bmatrix} \begin{bmatrix} \phi_1\\\phi_2\\\vdots\\\phi_p \end{bmatrix}$$

• $MA(\infty)$ 表示：弱平稳的 AR(p) 模型可表示为 $MA(\infty)$ 模型：

  $$y_t-\mu=\frac{1}{\phi(B)}\varepsilon_t=(1+\psi_1B+\psi_2B^2+\cdots)\varepsilon_t=\varepsilon_t+\psi_1\varepsilon_{t-1}+\psi_2\varepsilon_{t-2}+\cdots$$

  其中 $\psi_j$ 称为冲激响应函数。$\psi_j$ 的系数可以通过比较滞后算子 $B$ 幂次系数相等来计算：

  $$1=(1-\phi_1B-\phi_2B^2-\cdots-\phi_pB^p)(1+\psi_1B+\psi_2B^2+\cdots)$$

• 偏自相关函数 (PACF)：对于一个 AR(p) 过程，其 PACF $\phi_{kk}$ 在 $k>p$ 时截尾为 0。
  PACF 的渐近分布为：

  $$\sqrt{n}\hat{\phi}_{kk}\sim N(0,1)$$

# AR 模型参数估计

1. Yule-Walker 估计

通过 Yule-Walker 方程，AR 模型的参数可通过样本自相关函数来估计：

$$\hat{\phi}=\hat{R}_p^{-1}\hat\rho_p,~\hat{\sigma}^2=\hat{\gamma}_0(1-\hat{\rho}_p^T\hat{R}_p^{-1}\hat\rho_p)$$

其中 $\hat{R}_p=(\hat{\rho}_{k-j})_{j,k=1}^p$，$\hat{\rho}_p=(\hat{\rho_1},\cdots,\hat{\rho}_p)^T$。
当样本量 $n$ 很大时，参数估计量具有渐近正态性：

$$\sqrt{n}(\hat{\phi}-\phi)\to N(0,\sigma^2\Gamma_p^{-1}),~\hat{\sigma}^2\to\sigma^2$$

特别地，当 $p=1$ 时，$\Gamma_p=\gamma_0=\sigma^2/(1-\phi^2)$，因此：

$$\sqrt{n}(\hat{\phi}-\phi)\to N(0,1-\phi^2),~|\phi|<1$$

2. 最大似然估计 (MLE)

以 AR(1) 模型为例，最大似然估计可分为无条件和条件两种。

• 无条件最大似然函数：

  $$L(\mu,\phi,\sigma^2)=(2\pi\sigma^2)^{-n/2}(1-\phi^2)^{1/2}\exp(-\frac{S(\mu,\phi)}{2\sigma^2})$$

  其中，无条件平方和为：

  $$S(\mu,\phi)=(1-\phi^2)(y_1-\mu)^2+\sum_{t=2}^n[y_t-\mu-\phi(y_{t-1}-\mu)]^2$$

  无条件 MLE 估计量为：

  $$\hat{\sigma}^2=\frac{S(\hat{\mu},\hat{\phi})}{n}$$

• 条件最大似然函数：

  $$L(\mu,\phi,\sigma^2|y_1)=(2\pi\sigma^2)^{-(n-1)/2}\exp(-\frac{S_c(\mu,\phi)}{2\sigma^2})$$

  其中，条件平方和为：

  $$S_c(\mu,\phi)=\sum_{t=2}^n[y_t-\mu-\phi(y_{t-1}-\mu)]^2$$

  条件 MLE 估计量为：

  $$\hat{\sigma}=\frac{S_c(\hat{\mu},\hat{\phi})}{n-1}$$

---

# MA 模型

# MA(1) 模型

1. 模型定义

MA(1) 模型，也称一阶移动平均模型，其递推式为：

$$y_t=\varepsilon_t+\theta\varepsilon_{t-1},~\varepsilon_t\sim WN(0,\sigma^2)$$

该模型可使用滞后算子 $B$ 表示为：

$$y_t=\theta(B)\varepsilon_t=(1+\theta B)\varepsilon_t$$

2. 可逆性

MA(1) 模型是可逆的，当且仅当其特征方程的根在单位圆外，即 $|\theta|<1$。

3. 性质

• 自协方差函数 (ACVF) 与自相关函数 (ACF)：模型的 ACVF 为：

  $$\gamma_0=\sigma^2(1+\theta^2),~\gamma_1=\sigma^2\theta,~\gamma_j=0,~j>1$$

  ACF 为：

  $$\rho_0=1,~\rho_1=\theta/(1+\theta^2),~\rho_j=0,~j>1$$

  注意到 ACF 在滞后 1 处截尾，且 $\rho_1\le0.5$。
• 偏自相关函数 (PACF)：模型的 PACF 为：

  $$\phi_{kk}=\frac{-(-\theta)^k(1-\theta^2)}{1-\theta^{2(k+1)}},~k\ge1$$

• $AR(\infty)$ 表示：可逆的 MA(1) 模型可表示为无限阶自回归（$AR(\infty)$）模型：

  $$\varepsilon_t=\sum_{j=0}^\infty(-\theta)^jy_{t-j}$$

• 动量估计：MA(1) 模型的参数可通过样本 ACF 矩匹配来估计：

  $$\frac{\hat{\theta}}{1+\hat{\theta}^2}=\hat{\rho}_1$$

# MA(q) 模型

1. 模型定义

MA(q) 模型，也称 q 阶移动平均模型，其递推式为：

$$y_t=\mu+\varepsilon_t+\theta_1\varepsilon_{t-1}+\cdots+\theta_q\varepsilon_{t-q},~\varepsilon_t\sim WN(0,\sigma^2)$$

其中 $\mu$ 为常数均值。该模型可使用滞后算子 $B$ 表示为：

$$y_t-\mu=\theta(B)\varepsilon_t=(1+\theta_1 B+\cdots+\theta_qB^q)\varepsilon_t$$

对应的特征方程为：

$$\theta(z)=1+\theta_1z+\cdots+\theta_qz^q=0$$

2. 弱平稳性与可逆性

• 弱平稳性：有限的 MA(q) 模型均为弱平稳过程。
• 可逆性：当且仅当 MA 特征方程的根在单位圆外。

3. 性质

• $AR(\infty)$ 表示：可逆的 MA(q) 模型可表示为 $AR(\infty)$ 模型：

  $$\varepsilon_t=\frac{1}{\theta(B)}(y_t-\mu)=\frac{\mu}{1+\theta_1+\cdots+\theta_1}+\sum_{j=0}^{\infty}\pi_jy_{t-j}$$

• 自协方差函数 (ACVF) 与自相关函数 (ACF)：模型的 ACVF 为：

  $$\gamma_j=\begin{cases} \sigma^2(1+\theta_1^2+\cdots+\theta_q^2)&j=0\\ \sigma^2\sum_{i=0}^{q-j}\theta_i\theta_{i+j}&j=1,\cdots,q\\ 0&j>q \end{cases}$$

  其中 $\theta_0=1$。
  ACF 为：

  $$\rho_j=\begin{cases} 1&j=0\\ (\sum_{i=0}^{q-j}\theta_i\theta_{i+j})/(1+\theta_1^2+\cdots+\theta_q^2)&j=1,\cdots,q\\ 0&j>q \end{cases}$$

---

# ARMA 模型

# ARMA(1,1) 模型

1. 模型定义

ARMA(1,1) 模型，也称一阶自回归一阶移动平均模型，其递推式为：

$$y_t=c+\phi y_{t-1}+\varepsilon_t+\theta\varepsilon_{t-1},~\varepsilon_t\sim WN(0,\sigma^2)$$

该模型可使用滞后算子 $B$ 表示为：

$$(1-\phi B)y_t=\phi(B)y_t=\theta(B)\varepsilon_t+c=(1+\theta B)\varepsilon_t+c$$

2. 弱平稳性与可逆性

• 弱平稳性：当且仅当 AR 部分特征方程的根在单位圆外，即 $|\phi|<1$。
• 可逆性：当且仅当 MA 部分特征方程的根在单位圆外，即 $|\theta|<1$。

3. 均值

在弱平稳条件下，模型的均值为：

$$\mu=c/(1-\phi)$$

4. 自协方差函数 (ACVF) 与自相关函数 (ACF)

• ACVF：

  $$\gamma_0=\frac{1+2\theta\phi+\theta^2}{1-\phi^2}\sigma^2,~\gamma_j=\frac{(1+\theta\phi)(\phi+\theta)}{1-\phi^2}\phi^{j-1}\sigma^2,~j\ge1$$

• ACF：

  $$\rho_0=1,~\rho_j=\frac{(1+\theta\phi)(\phi+\theta)}{1+2\theta\phi+\theta^2}\phi^{j-1},~j\ge1$$

# ARMA(p,q) 模型

1. 模型定义

ARMA(p,q) 模型，其递推式为：

$$y_t=\phi_1y_{t-1}+\cdots+\phi_py_{t-p}+\varepsilon_t+\theta_1\varepsilon_{t-1}+\cdots+\theta_q\varepsilon_{t-q},~\varepsilon_t\sim WN(0,\sigma^2)$$

该模型可使用滞后算子 $B$ 表示为：

$$(1-\phi_1B-\cdots-\phi_pB^p)y_t=\phi(B)y_t=\theta(B)\varepsilon_t=(1+\theta_1B+\cdots+\theta_qB^q)\varepsilon_t$$

模型的 AR 特征方程和 MA 特征方程分别为：

• AR 特征方程：

  $$\phi(z)=1-\phi_1z-\cdots-\phi_pz^p=0$$

• MA 特征方程：

  $$\theta(z)=1+\theta_1z+\cdots+\theta_qz^q=0$$

2. 弱平稳性与可逆性

• 弱平稳性：当且仅当 AR 特征方程的根在单位圆外。
• 可逆性：当且仅当 MA 特征方程的根在单位圆外。

3. 模型表示

• MA 表示：弱平稳的 ARMA(p,q) 模型可表示为 $MA(\infty)$ 模型：

  $$y_t=\psi(B)\varepsilon_t=\frac{\theta(B)}{\phi(B)}\varepsilon_t$$

• AR 表示：可逆的 ARMA(p,q) 模型可表示为 $AR(\infty)$ 模型：

  $$\varepsilon_t=\pi(B)y_t=\frac{\phi(B)}{\theta(B)}y_t$$

4. 自协方差函数 (ACVF) 与自相关函数 (ACF)

• ACVF：

  $$\phi(B)\gamma_j=\begin{cases} (1+\theta_1\psi_1+\cdots+\theta_q\psi_q)\sigma^2&j=0\\ (\theta_j+\theta_{j+1}\psi_1+\cdots+\theta_q\psi_{q-j})\sigma^2&j=1,\cdots,q \\ 0&j>q \end{cases}$$

  其中 $\psi_0=1$，$\theta_j=0,~j>q$。
• ACF：对于 $j>q$，ACF 满足：

  $$\phi(B)\rho_j=\rho_j-\phi_1\rho_{j-1}-\cdots-\phi_p\rho_{j-p}=0$$

5. Yule-Walker 方程

对于 ARMA(p,q) 模型，Yule-Walker 方程可用于估计 AR 部分的参数：

$$\begin{bmatrix} \rho_{q+1}\\\rho_{q+2}\\\vdots\\\rho_{q+p} \end{bmatrix} = \begin{bmatrix} \rho_{q}&\rho_{q-1}&\cdots&\rho_{q+1-p} \\ \rho_{q+1}&\rho_{q}&\cdots&\rho_{q+2-p} \\ \vdots&\vdots&\ddots&\vdots& \\ \rho_{q+p-1}&\rho_{q+p-2}&\cdots&\rho_{q} \end{bmatrix} \begin{bmatrix} \phi_1\\\phi_2\\\vdots\\\phi_p \end{bmatrix}$$

6. 其他特性

• 低维有效性：对于金融数据，通常 $p, q$ 小于 3 的 ARMA 模型已足够。
• 聚合性：若 $y_{1t}\sim ARMA(p_1,q_1)$，$y_{2t}\sim ARMA(p_2,q_2)$，则它们的和 $y_{1t}+y_{2t}$ 仍是 ARMA 模型，其阶数为 $p=p_1+p_2$，$q=\max(p_1+q_2,q_1+p_2)$。
• 状态空间表示：ARMA(p,q) 模型可转化为状态空间模型。令 $y_t=(1,0,\cdots,0)\alpha_t$，则状态转移方程为：

  $$\alpha_{t+1}=\begin{bmatrix} \phi_1&1&0&\cdots&0\\ \phi_2&0&1&\cdots&0\\ \vdots&\vdots&\vdots&\ddots&\vdots\\ \phi_{m-1}&0&0&\cdots&1\\ \phi_{m}&0&0&\cdots&0\\ \end{bmatrix} \alpha_t + \begin{bmatrix} 1\\\theta_1\\\vdots\\\theta_{m-1}\\\theta_{m-1} \end{bmatrix}\varepsilon_t$$

  其中 $m=\max(p,q+1)$。

---

# ARIMA 模型

# ARIMA(p,d,q) 模型

1. 模型定义

ARIMA(p,d,q) 模型，也称差分自回归移动平均模型，用于处理具有趋势的非平稳时间序列。
如果一个时间序列 $y_t$ 存在一个 $d$ 阶趋势，则对其进行 $d$ 次差分后，得到的新序列 $\Delta^d y_t=(1-B)^d y_t$ 不再有趋势，从而成为一个弱平稳的 ARMA(p,q) 模型。
ARIMA(p,d,q) 模型可表示为：

$$\phi_p(B)(1-B)^dy_t=\theta_q(B)\varepsilon_t$$

其中 $\phi_p(B)$ 和 $\theta_q(B)$ 分别是 $p$ 阶和 $q$ 阶的自回归和移动平均滞后多项式。