分类: 系列活动

认知计算创新实验室2020秋季学期讨论班(8)

一、 主题:机器翻译、seq2seq与注意力机制主讲人:侯庆锐摘要:本节课引入了一个新的NLP任务:机器翻译,并介绍了seq2seq模型。seq2seq是一种重要的encoder-decoder式模型,在多种NLP任务中发挥了重要的作用。而在对它的改进中,注意力(Attention)机制是十分关键的,它同样可以应用于多种机器学习任务。时间和地点:11月21日15:00-17:00(星期六下午3点-5点),软件学院办公楼310会议

认知计算创新实验室2020秋季学期讨论班(7)

一、 主题:梯度消失及RNN变体主讲人:杨涛摘要:传统的RNN中存在着梯度消失问题,导致模型很难保留较长时间步前的信息。本次讨论,分析产生梯度消失问题的原因,并对解决这一问题的两种RNN变体(LSTM,GRU)进行介绍。 时间和地点:11月14日15:00-17:00(星期六下午3点-5点),软件学院办公楼201会议

认知计算创新实验室2020秋季学期讨论班(6)

一、 主题:语言模型和RNN 主讲人:吴佳琪 摘要:本次课程的主题为语言模型和RNN,语言模型能够在给定已有词的情况下预测可能出现的下一个词,即对自然语言的概率分布进行建模。传统的n-gram和神经语言模型具有诸多弊端,本次讨论我们通过RNN的介绍引出序列语言模型,详述现在主流语言模型的建模方式。  时间和地点:11月10日16:00-17:00(星期二下午4点-5点),软件学院办公楼201会议

认知计算创新实验室2020秋季学期讨论班(5)

一、 主题:反向传播和计算图  主讲人:夏天宇  摘要:首先介绍如何使用链式法则获得梯度,然后我们把神经网络方程表示成一个图,即计算图,反向传播就是沿着边应用回传梯度。最后举例介绍正向和反向传播的过程。   时间和地点:11月3日16:00-17:00(星期二下午5点-5点),软件学院办公楼201会议

认知计算创新实验室2020秋季学期讨论班(4)

一、 主题:Word Window Classification, Neural Networks, and Matrix Calculus   主讲人:侯庆锐   摘要:本课从传统的线性分类器开始,引入对人工神经网络技术的介绍,并以Window Classification算法为例,讲解其在命名实体识别等领域的应用。  二、 时间和地点:    10月24日15:00-17:00(星期六下午3点-5点)     软件学院办公楼201会议