<font color=#0099ff size=10 face=”STCAIYUN”>RNN 笔记</font> <font color=#0099ff> <p align="right">———xmxxiong</p></font>

RNN模型结构如图所示：

• 

RNN要点：

1. pytorch的RNN仅支持两个激活函数：tanh, ReLU
2. RNN只有 $ h_t $ , 没有 $ y_t $, 在 $ h_t $ 后面接几层全连接网络，而全连接网络的输出才是$ y_t $。

• 

参考：https://zhuanlan.zhihu.com/p/32103001