认知计算创新实验室2020秋季学期讨论班(7)

一、 主题：梯度消失及RNN变体

主讲人：杨涛

摘要：传统的RNN中存在着梯度消失问题，导致模型很难保留较长时间步前的信息。本次讨论，分析产生梯度消失问题的原因，并对解决这一问题的两种RNN变体（LSTM，GRU）进行介绍。