11. RNN与LSTM
# 循环神经网络 (RNN)
# 网络结构
RNN 的核心在于其能够处理序列数据。在每个时间步 ttt,它接收一个输入 x(t)x^{(t)}x(t) 和前一个时间步的隐藏层状态 h(t−1)h^{(t-1)}h(t−1),并计算出当前的隐藏层状态 h(t)h^{(t)}h(t) 和输出 y(t)y^{(t)}y(t)。
输入: 一个 one-hot 向量 x(t)∈RVx^{(t)} \in \mathbb{R}^Vx(t)∈RV,其中 VVV 是词汇表大小。
词向量: e(t)=Ex(t)e^{(t)} = E x^{(t)}e(t)=Ex(t)。EEE 是
more...







