精选分类

课程笔记

2 个子项，111 篇文章

文章列表

2.3k字2 分钟

# 什么是图神经网络（GNN）？ GNN 是一种基于图结构数据的神经网络模型，用于处理节点（VVV）、边（EEE）和全局（UUU）信息。 # GNN 的基本步骤 GNN 的核心思想是通过迭代地聚合和更新节点信息来学习节点的表示。具体步骤如下： 收集信息： 聚合节点自身及其邻居节点的信息，有时也会聚合全局信息。这些信息会被映射到相同的维度空间。 聚合信息： 对收集到的信息进行聚合操作，例如求和、取最大值或取平均值，以得到聚合后的表示。 更新节点： 使用一个更新函数 fff 来整合聚合后的信息和节点自身上一层的表示，从而得到该节点在下一层的表示。 # GNN 的矩阵表示 在数学上，图通常用以下
1.3k字1 分钟

# 核心结构与工作原理 LSTM 是 RNN 的一种改进，通过引入门控机制（gating mechanism） 来有效解决梯度消失问题，从而更好地捕获长距离依赖关系。它在每个时间步保留两个状态：隐藏状态（HtH_tHt​）和单元状态（CtC_tCt​）。 # 门控机制 LSTM 通过三个门（遗忘门、输入门和输出门）来控制信息的流动，这些门控单元都由Sigmoid激活函数和矩阵乘法组成，其输出值在 [0, 1] 之间，决定了信息的“通过”程度。 遗忘门 (F(t)F^{(t)}F(t))：决定单元状态中应该保留多少上一时间步的信息。 F(t)=σ(WfH(t−1)+UfX(t)+
1.7k字2 分钟

# 核心结构与工作原理 RNN 的核心思想是在序列数据处理中，将前一时刻的信息传递给下一时刻，从而实现对序列依赖关系的建模。 # 网络结构 RNN 的每个时间步都接收一个输入，并结合上一时间步的隐藏层状态来计算当前时间步的隐藏层状态和输出。 输入层 输入：通常是独热向量（one-hot vector），表示为 x(t)∈RVx^{(t)} \in \mathbb{R}^Vx(t)∈RV，其中 VVV 是词汇表大小。 词嵌入：将独热向量转换为词向量（word embedding），表示为 e(t)=Ex(t)e^{(t)} = E x^{(t)}e(t)=Ex
5.3k字5 分钟

# CNN 与多层感知机 (MLP) 的优势对比 相比传统的 MLP，CNN 在处理图像数据时具有显著优势： 局部连接 (Local Connectivity)：每个神经元只与输入图像的局部区域相连。这种连接方式大幅减少了网络参数，有效降低了过拟合的风险。 参数共享 (Parameter Sharing)：同一个卷积核（过滤器）在整个输入图像上滑动，提取相同的特征类型。这种机制能够捕捉图像中的空间结构和局部模式，提高了计算效率并进一步减少了参数量。 层次化特征学习 (Hierarchical Feature Learning)：通过多层卷积，CNN 能够逐层学习从简单的局部特征（如边缘、角点
8.2k字7 分钟

# 降维：主成分分析（PCA） # 算法概述 PCA 是一种无监督的降维算法，其核心思想是在保留数据最大方差的前提下，将高维数据映射到低维空间。 # 算法步骤 数据准备：假设每个样本有 kkk 个特征，共 nnn 个样本。每个样本 xxx 是一个 k×1k \times 1k×1 的列向量。 中心化：计算所有样本的均值 x‾\overline{x}x，将每个样本减去均值以进行中心化处理，即 xcentered=x−x‾x_{centered} = x - \overline{x}xcentered​=x−x。中心化的目的是防止主成分方向偏向于数据中均值过大的特征
4.2k字4 分钟

# 概述 泊松过程是一种重要的随机过程，常用于描述在固定时间段内，独立事件以恒定平均速率发生的情况。 # 计数过程的定义与性质 计数过程 {N(t);t≥0}\{N(t); t \ge 0\}{N(t);t≥0} 是一个用于记录在时间段 [0,t][0, t][0,t] 内某类事件发生次数的随机过程。 性质: 非负性与整数性: N(t)N(t)N(t) 是一个非负整数。 单调性: 对任意 0≤s<t0 \le s < t0≤s<t，有 N(t)≥N(s)N(t) \ge N(s)N(t)≥N(s)。 增量表示: N(t)−N(s)N(t) - N(s)N(t)−N(s) 表
8.3k字8 分钟

# 马尔可夫链的定义 # 基本概念 马尔可夫过程（马尔可夫链）：一个随机过程 {X(t),t∈T}\{X(t), t \in T\}{X(t),t∈T}，若其未来的状态只依赖于当前状态，而与过去的状态无关，则称其为马尔可夫过程。数学上，对于任意 t1<t2<⋯<tn∈Tt_1 < t_2 < \cdots < t_n \in Tt1​<t2​<⋯<tn​∈T，该过程满足： (X(t1),X(t2),⋯ ,X(tn))⊥X(tn+1)∣X(tn)\left( X(t_1), X(t_2), \cdots, X(t_n) \rig
4.5k字4 分钟

# 概述 高斯过程是一个在统计学和机器学习中非常重要的概念，它是一种随机过程。一个随机过程 {X(t),t∈T}\{X(t), t \in T\}{X(t),t∈T} 被称为高斯过程，如果对于任意一个有限的时间点集合 t1,t2,⋯ ,tn∈Tt_1, t_2, \cdots, t_n \in Tt1​,t2​,⋯,tn​∈T，对应的随机向量 (X(t1),X(t2),⋯ ,X(tn))T\left( X(t_1), X(t_2), \cdots, X(t_n)\right)^T(X(t1​),X(t2​),⋯,X(tn​))T 都服从 nnn 元高斯分布（或称多元正态分布）。 多元高斯分布
8k字7 分钟

# 确定性信号的频域分析 # 傅里叶级数展开与傅里叶变换 狄利克雷(Dirichlet)条件： 若周期为 TTT 的确定性信号 x(t)x(t)x(t) 满足以下条件，则可进行傅里叶级数展开： 在一个周期内，间断点的数量是有限的。 在一个周期内，极大值和极小值的数量是有限的。 在一个周期内绝对可积，即 ∫0T∣x(t)∣dt<+∞\int_{0}^{T} |x(t)| dt < +\infty∫0T​∣x(t)∣dt<+∞。 傅里叶级数： 满足狄利克雷条件的周期信号 x(t)x(t)x(t) 可表示为： x(t)=∑n=−∞+∞cnejnω0t
7.9k字7 分钟

# 二阶矩过程基础概念 二阶矩过程是指随机过程 {X(t),t∈T}\{X(t), t \in T\}{X(t),t∈T}，其中对于任意 t∈Tt \in Tt∈T，随机变量 X(t)X(t)X(t) 的均值 E[X(t)]E[X(t)]E[X(t)] 和方差 Var[X(t)]Var[X(t)]Var[X(t)] 都存在且有限。 # 均值、相关函数与协方差函数 对于二阶矩过程，其均值、自相关函数和自协方差函数总是存在： 自相关函数 RX(t1,t2)=E(X(t1)X∗(t2))R_X(t_1, t_2) = E\left( X(t_1) X^*(t_2) \righ