首页课程笔记电子工程系随机过程

# 二阶矩过程基础概念

二阶矩过程是指随机过程 {X(t),t∈T}\{X(t), t \in T\}，其中对于任意 t∈Tt \in T，随机变量 X(t)X(t) 的均值 E[X(t)]E[X(t)] 和方差 Var[X(t)]Var[X(t)] 都存在且有限。

# 均值、相关函数与协方差函数

对于二阶矩过程，其均值、自相关函数和自协方差函数总是存在：

  • 自相关函数
    RX(t1,t2)=E(X(t1)X∗(t2))R_X(t_1, t_2) = E\left( X(t_1) X^*(t_2) \right)

  • 自协方差函数
    CX(t1,t2)=E([X(t1)−E(X(t1))][X(t2)−E(X(t2))]∗)=RX(t1,t2)−E(X(t1))E(X∗(t2))C_X(t_1, t_2) = E\left([X(t_1) - E(X(t_1))] [X(t_2) - E(X(t_2))]^*\right) = R_X(t_1, t_2) - E(X(t_1))E(X^*(t_2))

如果存在两个二阶矩过程 {X(t)}\{X(t)\} 和 {Y(t)}\{Y(t)\}，则它们之间的互相关函数和互协方差函数也总是存在：

  • 互相关函数
    RXY(t1,t2)=E(X(t1)Y∗(t2))R_{XY}(t_1, t_2) = E\left( X(t_1) Y^*(t_2) \right)

  • 互协方差函数
    CXY(t1,t2)=E([X(t1)−E(X(t1))][Y(t2)−E(Y(t2))]∗)=RXY(t1,t2)−E(X(t1))E(Y∗(t2))C_{XY}(t_1, t_2) = E\left([X(t_1) - E(X(t_1))] [Y(t_2) - E(Y(t_2))]^*\right) = R_{XY}(t_1, t_2) - E(X(t_1))E(Y^*(t_2))

# 自相关函数的性质

  • 共轭对称性
    RX(t1,t2)=RX∗(t2,t1)R_X(t_1, t_2) = R_X^*(t_2, t_1)

  • 非负定性
    对于任意一组 t1,⋯ ,tNt_1, \cdots, t_N 和任意一组复数 c1,⋯ ,cNc_1, \cdots, c_N，有 ∑i,j=1Ncicj∗RX(ti,tj)≥0\sum_{i,j=1}^N c_i c_j^* R_X(t_i, t_j) \ge 0。

# 平稳过程

平稳性是随机过程的重要特性，它表明过程的统计特性不随时间平移而改变。

# 严平稳过程

随机过程 {X(t),t∈T}\{X(t), t \in T\} 称为严平稳过程，若对于任意正整数 NN、任意时间点 t1,⋯ ,tNt_1, \cdots, t_N 以及任意时间平移 τ∈R\tau \in \mathbb{R}，随机向量 (X(t1),⋯ ,X(tN))\left( X(t_1), \cdots, X(t_N) \right) 与 (X(t1+τ),⋯ ,X(tN+τ))\left( X(t_1+\tau), \cdots, X(t_N+\tau) \right) 具有相同的联合概率分布。

FX(t1),⋯ ,X(tN)(x1,⋯ ,xN)=FX(t1+τ),⋯ ,X(tN+τ)(x1,⋯ ,xN)F_{X(t_1), \cdots, X(t_N)} (x_1, \cdots, x_N) = F_{X(t_1+\tau), \cdots, X(t_N+\tau)} (x_1, \cdots, x_N)

严平稳过程的性质：

  • 一维概率分布函数与时间无关：FX(x,t)=FX(x,t+τ)=FX(x,0)F_X(x, t) = F_X(x, t+\tau) = F_X(x, 0)
  • 二维概率分布函数仅与时间差 τ=t1−t2\tau = t_1 - t_2 有关：FX(x1,x2,t1,t2)=FX(x1,x2,t1−t2,0)=FX(x1,x2,τ)F_X(x_1, x_2, t_1, t_2) = F_X(x_1, x_2, t_1 - t_2, 0) = F_X(x_1, x_2, \tau)
  • 均值为常数 μX\mu_X
  • 自相关函数仅与时间差 τ\tau 有关：RX(t1,t2)=RX(t1−t2,0)=RX(τ)R_X(t_1, t_2) = R_X(t_1 - t_2, 0) = R_X(\tau)
  • 自协方差函数仅与时间差 τ\tau 有关：CX(t1,t2)=RX(t1,t2)−∣μX∣2=RX(τ)−∣μX∣2C_X(t_1, t_2) = R_X(t_1, t_2) - |\mu_X|^2 = R_X(\tau) - |\mu_X|^2
  • 方差为常数：Var[X(t)]=CX(t,t)=RX(0)−∣μX∣2Var[X(t)] = C_X(t, t) = R_X(0) - |\mu_X|^2

# 宽平稳过程

二阶矩过程 {X(t),t∈T}\{X(t), t \in T\} 称为宽平稳过程，若其均值为常数，且自相关函数仅是时间差 τ=t1−t2\tau = t_1 - t_2 的函数。

E[X(t)]=μX,RX(t1,t2)=RX(t1−t2)=RX(τ)E[X(t)] = \mu_X, \quad R_X(t_1, t_2) = R_X(t_1 - t_2) = R_X(\tau)

宽平稳过程的性质：

  • 协方差函数仅与时间差 τ=t1−t2\tau = t_1 - t_2 有关：CX(τ)=RX(τ)−∣μX∣2C_X(\tau) = R_X(\tau) - |\mu_X|^2
  • 方差为常数：Var[X(t)]=CX(0)Var[X(t)] = C_X(0)
  • 自相关函数与自协方差函数满足共轭对称性：RX(τ)=RX∗(−τ),CX(τ)=CX∗(−τ)R_X(\tau) = R_X^*(-\tau), \quad C_X(\tau) = C_X^*(-\tau)
  • 自相关函数和自协方差函数在 τ=0\tau = 0 处取得最大值：∣RX(τ)∣≤RX(0),∣CX(τ)∣≤CX(0)=Var[X(t)]|R_X(\tau)| \le R_X(0), \quad |C_X(\tau)| \le C_X(0) = Var[X(t)]

# 联合宽平稳过程

两个随机过程 {X(t)}\{X(t)\} 与 {Y(t)}\{Y(t)\} 称为联合宽平稳过程，若其互相关函数满足 RXY(t,s)=RXY(t+τ,s+τ)R_{XY}(t, s) = R_{XY}(t + \tau, s + \tau)，其中 ∀t,s,τ∈T\forall t, s, \tau \in T。这表明互相关函数仅依赖于时间差。

# 宽平稳过程的相关系数与相关时间

  • 相关系数：衡量过程在不同时间点的相关性
    rX(τ)=CX(τ)CX(0)=CX(τ)Var(X)r_X(\tau) = \frac{C_X(\tau)}{C_X(0)} = \frac{C_X(\tau)}{Var(X)}

  • 相关时间：衡量过程起伏变化的快慢
    τ0=∫0+∞∣rX(τ)∣dτ\tau_0 = \int_{0}^{+\infty} |r_X(\tau)| d\tau
    τ0\tau_0 越小，说明过程随时间变化越剧烈；反之，变化越缓慢。

# 增量过程

增量过程关注随机过程在不同时间段的变化情况。

  • 正交增量过程：二阶矩过程 {X(t)}\{X(t)\}，若对于任意 t1<t2≤t3<t4t_1 < t_2 \le t_3 < t_4，其增量是正交的：E[(X(t2)−X(t1))(X(t4)−X(t3))∗]=0E\left[ (X(t_2) - X(t_1)) (X(t_4) - X(t_3))^* \right] = 0。

  • 独立增量过程：二阶矩过程 {X(t)}\{X(t)\}，若对于任意 t1<t2≤t3<t4t_1 < t_2 \le t_3 < t_4，随机变量 (X(t2)−X(t1))(X(t_2) - X(t_1)) 与 (X(t4)−X(t3))(X(t_4) - X(t_3)) 相互独立。

  • 平稳增量过程：二阶矩过程 {X(t)}\{X(t)\}，若其增量 X(t2)−X(t1)X(t_2) - X(t_1) 的概率分布仅与时间差 τ=t2−t1\tau = t_2 - t_1 有关。

正交增量过程的性质：

  • 若 X(0)=0X(0) = 0，则 X(t)X(t) 为正交增量过程的充要条件是其自相关函数满足 RX(t1,t2)=F(min⁡(t1,t2))R_X(t_1, t_2) = F(\min(t_1, t_2))，其中 F(⋅)F(\cdot) 是一个单调不减函数。

# 均方意义下的连续、导数与积分

均方收敛是分析二阶矩过程连续性、可导性和可积性的重要工具。

# 均方收敛

随机变量序列 X1,X2,⋯X_1, X_2, \cdots 均方收敛到 XX，若 lim⁡n→+∞E[∣Xn−X∣2]=0\lim_{n \to +\infty} E\left[ |X_n - X|^2 \right] = 0。记作 Xn→m.s.XX_n \xrightarrow{m.s.} X。

均方收敛的性质：

  • 唯一性：均方极限是唯一的。
  • 可加性：均方收敛的序列的线性组合也均方收敛。
  • 利普希茨性：如果 F(x)F(x) 是利普希茨函数（即存在常数 KK，使得 ∣F(x1)−F(x2)∣≤K∣x1−x2∣|F(x_1) - F(x_2)| \le K |x_1 - x_2|），且 Xn→m.s.XX_n \xrightarrow{m.s.} X，则 F(Xn)→m.s.F(X)F(X_n) \xrightarrow{m.s.} F(X)。
  • 数字特征的收敛性：若 Xn→m.s.XX_n \xrightarrow{m.s.} X 和 Yn→m.s.YY_n \xrightarrow{m.s.} Y，则 E[Xn]→E[X]E[X_n] \to E[X]，Var[Xn]→Var[X]Var[X_n] \to Var[X]，E[XnYm∗]→E[XY∗]E[X_nY_m^*] \to E[XY^*]。
  • 柯西准则：随机变量序列 {Xn}\{X_n\} 均方收敛的充要条件是 E(∣Xn−Xm∣2)→0E(|X_n - X_m|^2) \to 0 当 n,m→∞n, m \to \infty。
  • 洛伊夫准则：随机变量序列 {Xn}\{X_n\} 均方收敛的充要条件是 E(XnXm∗)→ConstE(X_nX_m^*) \to Const 当 n,m→∞n, m \to \infty。

# 均方连续

二阶矩过程 {X(t)}\{X(t)\} 在 t0t_0 处均方连续，若当 t→t0t \to t_0 时，X(t)→m.s.X(t0)X(t) \xrightarrow{m.s.} X(t_0)。

均方连续与自相关函数的性质：

对于二阶矩过程 {X(t)}\{X(t)\}，以下命题是等价的：

  • 自相关函数 RX(t,s)R_X(t, s) 在对角线 (t0,t0)(t_0, t_0) 上连续。
  • {X(t)}\{X(t)\} 在 TT 上均方连续。
  • RX(t,s)R_X(t, s) 在 T×TT \times T 上连续。

对于宽平稳过程 {X(t)}\{X(t)\}，以下命题是等价的：

  • 自相关函数 RX(τ)R_X(\tau) 在 τ=0\tau = 0 处连续。
  • {X(t)}\{X(t)\} 在 TT 上均方连续。
  • RX(τ)R_X(\tau) 在 TT 上连续。

# 均方导数

称二阶矩过程 {X(t)}\{X(t)\} 在 t0t_0 处的均方导数为 Y(t0)Y(t_0)，若 lim⁡h→0E[∣X(t0+h)−X(t0)h−Y(t0)∣2]=0\lim_{h \to 0} E\left[ \left| \frac{X(t_0+h) - X(t_0)}{h} - Y(t_0) \right|^2 \right] = 0。

均方导数判定定理：
若 ∂2RX(t,s)∂t∂s\frac{\partial^2R_X(t, s)}{\partial t \partial s} 在 (t0,t0)(t_0, t_0) 处存在且连续，则 {X(t)}\{X(t)\} 在 t0t_0 处存在均方导数。

均方导数的性质：

  • E(X′(t))=ddtE(X(t))E\left( X^\prime(t) \right) = \frac{d}{dt} E\left( X(t) \right)
  • E(X′(t)X∗(s))=∂∂tRX(t,s)E\left( X^\prime(t) X^*(s) \right) = \frac{\partial}{\partial t} R_X(t, s)
  • E(X(t)X′∗(s))=∂∂sRX(t,s)E\left( X(t) X^{\prime*}(s) \right) = \frac{\partial}{\partial s} R_X(t, s)
  • E(X′(t)X′∗(s))=∂2∂t∂sRX(t,s)E\left( X^\prime(t) X^{\prime*}(s) \right) = \frac{\partial^2}{\partial t \partial s} R_X(t, s)
  • 均方意义下的乘积求导法则：ddt(f(t)X(t))=f(t)X′(t)+f′(t)X(t)\frac{d}{dt}\left(f(t)X(t)\right) = f(t)X^\prime(t) + f^\prime(t)X(t)

# 均方积分

设 {X(t)}\{X(t)\} 是定义在 [a,b][a, b] 上的二阶矩过程，如果黎曼和 ∑k=1nX(vk)h(vk)(tk−tk−1)\sum_{k=1}^n X(v_k) h(v_k) (t_k - t_{k-1}) 在均方意义下收敛到某个随机变量 YY，则称 {X(t)}\{X(t)\} 均方可积，积分结果记为 ∫abX(t)h(t)dt=Y\int_a^b X(t)h(t)dt = Y。

均方积分的性质：

  • 均值的可积性：E(∫abX(t)h(t)dt)=∫abE(X(t))h(t)dtE\left( \int_a^b X(t)h(t)dt \right) = \int_a^b E\left( X(t) \right) h(t) dt
  • 相关函数的性质：E[(∫abX(t)h(t)dt)(∫abY(s)g(s)ds)∗]=∫ab∫abE(X(t)Y∗(s))h(t)g∗(s)dtdsE\left[ \left( \int_a^b X(t)h(t)dt \right) \left( \int_a^b Y(s)g(s)ds \right)^* \right] = \int_a^b \int_a^b E\left( X(t)Y^*(s) \right) h(t) g^*(s) dt ds
  • 均方积分与均方导数的联系：若二阶矩过程 {X(t)}\{X(t)\} 在 [a,b][a, b] 上均方连续，则其均方积分 Y(t)=∫atX(s)dsY(t) = \int_a^t X(s)ds 存在均方导数，且 Y′(t)=X(t)Y^\prime(t) = X(t)。

# 随机过程的遍历性

遍历性是指一个宽平稳过程的时间平均与集合平均相等，这使得我们能够通过单个样本函数来推断整个过程的统计特性。

# 均值遍历性

若宽平稳过程 {X(t)}\{X(t)\} 的时间平均值 <X(t)>=lim⁡T→+∞12T∫−TTX(t)dt\left< X(t) \right> = \lim_{T \to +\infty} \frac{1}{2T} \int_{-T}^{T} X(t) dt 与其均值 E[X(t)]=μXE[X(t)] = \mu_X 依均方收敛，则称 {X(t)}\{X(t)\} 的均值具有遍历性。

  • 均值遍历性的充要条件：Var(<X(t)>)=lim⁡T→+∞12T∫−2T2T(1−∣τ∣2T)(RX(τ)−∣μX∣2)dτ=0Var(\left< X(t) \right>) = \lim_{T \to +\infty} \frac{1}{2T} \int_{-2T}^{2T} \left( 1 - \frac{|\tau|}{2T} \right) \left( R_X(\tau) - |\mu_X|^2 \right) d\tau = 0。
  • 实数过程的充要条件：对于实数宽平稳过程，均值具有遍历性的充要条件是 lim⁡T→+∞12T∫−TTCX(τ)dτ=0\lim_{T \to +\infty} \frac{1}{2T} \int_{-T}^{T} C_X(\tau) d\tau = 0。
  • 充分条件：若 ∫0+∞∣CX(τ)∣dτ<+∞\int_0^{+\infty} |C_X(\tau)| d\tau < +\infty 或者 CX(τ)→0C_X(\tau) \to 0 当 τ→+∞\tau \to +\infty，则均值具有遍历性。

# 自相关函数的遍历性

若宽平稳过程的时间相关函数平均值 <X(t+τ)X∗(τ)>=lim⁡T→+∞12T∫−TTX(t+τ)X∗(t)dt\left< X(t+\tau)X^*(\tau)\right> = \lim_{T \to +\infty} \frac{1}{2T} \int_{-T}^{T} X(t+\tau)X^*(t) dt 与自相关函数 RX(τ)=E[X(t+τ)X∗(t)]R_X(\tau) = E[X(t+\tau)X^*(t)] 依均方收敛，则称 {X(t)}\{X(t)\} 的自相关函数具有遍历性。

# 随机过程的线性展开

# 周期性宽平稳过程的傅里叶级数展开

若宽平稳过程 {X(t)}\{X(t)\} 的自相关函数 RX(τ)R_X(\tau) 是周期函数，则称 {X(t)}\{X(t)\} 为周期性宽平稳过程。等价地，若 E(∣X(t+T)−X(t)∣2)=0E\left( \left| X(t + T) - X(t) \right|^2 \right) = 0，则称 {X(t)}\{X(t)\} 是均方周期的，周期为 TT。

均方周期的宽平稳过程可以在均方意义下展开为傅里叶级数：
X(t)=∑n=−∞+∞cnejnω0tX(t) = \sum_{n=-\infty}^{+\infty} c_n e^{jn\omega_0 t}
其中 ω0=2πT\omega_0 = \frac{2\pi}{T}，展开系数 cn=1T∫0TX(t)e−jnω0tdtc_n = \frac{1}{T} \int_{0}^{T} X(t) e^{-jn\omega_0 t} dt 满足正交性 E(cncm∗)=0,∀n≠mE(c_n c^*_m) = 0, \forall n \ne m。

# 卡胡曼-洛伊夫展开

在区间 [a,b][a, b] 上零均值、均方连续的复随机过程 {X(t),t∈[a,b]}\{X(t), t\in [a, b]\} 可以在均方意义下展开为：
X(t)=∑k=1∞Xkϕk(t)X(t) = \sum_{k = 1}^{\infty} X_k \phi_k(t)
其中 ϕk(t)\phi_k(t) 是协方差函数 CX(t,s)C_X(t, s) 的特征函数，满足默瑟定理：
∫abCX(t,s)ϕk(s)ds=λkϕk(t),t∈[a,b]\int_a^b C_X(t, s) \phi_k(s) ds = \lambda_k \phi_k(t), \quad t \in [a, b]
CX(t,s)=∑k=1∞λkϕk(t)ϕk∗(s)C_X(t, s) = \sum_{k=1}^{\infty} \lambda_k \phi_k(t) \phi_k^*(s)
ϕk(t)\phi_k(t) 满足正交性：∫abϕk(t)ϕm∗(t)dt=δkm\int_a^b \phi_k(t) \phi^*_m(t) dt = \delta_{km}。
展开系数 Xk=∫abX(t)ϕk∗(t)dtX_k = \int_a^b X(t) \phi^*_k(t) dt 满足正交性：E(XiXj∗)=λiδijE(X_i X^*_j) = \lambda_i \delta_{ij}。

# 随机向量的主成分分析（K-L 展开的离散形式）

零均值的 nn 元实随机向量 X∈Rn\mathbf{X} \in \mathbb{R}^n 可以作如下展开：
X=∑k=1nXkek\mathbf{X} = \sum_{k=1}^{n} X_k \mathbf{e}_k
其中 ek\mathbf{e}_k 是协方差矩阵 Σ=E(XXT)\mathbf{\Sigma} = E(\mathbf{X}\mathbf{X}^T) 的特征向量，λk\lambda_k 是对应的特征值。
Σek=λkek\mathbf{\Sigma} \mathbf{e}_k = \lambda_k \mathbf{e}_k
Σ=∑k=1nλkekekT\mathbf{\Sigma} = \sum_{k=1}^{n} \lambda_k \mathbf{e}_k \mathbf{e}_k^T
ek\mathbf{e}_k 满足正交性：eiTej=δij\mathbf{e}_i^T \mathbf{e}_j = \delta_{ij}，且 λk\lambda_k 非负。
展开系数 Xk=ekTXX_k = \mathbf{e}_k^T \mathbf{X} 满足正交性：E(XiXj)=λiδijE(X_i X_j) = \lambda_i \delta_{ij}。

主成分分析（Principal Component Analysis, PCA）通过求解以下优化问题来寻找最佳投影方向：
min⁡∣∣μ∣∣2=1E∣∣X−ημ∣∣2\min_{||\mathbf{\mu}||^2 = 1} E\left||\mathbf{X} - \eta \mathbf{\mu} \right||^2
其中 η=μTX\eta = \mathbf{\mu}^T \mathbf{X} 是投影系数。最优投影方向 μ1\mathbf{\mu}_1 是协方差矩阵的最大特征值对应的特征向量，即第一主成分方向。