一、 主题：一种新的预训练文本编码器——ELECTRA

主讲人：杨涛

摘要：本次讨论班讨论一种新的叫作ELECTRA的预训练文本编码器。论文提出了一个新的预训练任务——replace token detection，即以判别式模型判定单词是否被修改，解决了以MLM这一生成式任务做预训练所带来的一些问题，如两阶段输入不匹配、计算代价高等。实验证明，ELECTRA以更低的参数量和计算量，获得了在下游任务上比BERT等更好的表现。

时间和地点：11月28日9:00-10:30（星期六上午9点-10点30分），软件学院办公楼201会议室

二、 主题：词嵌入的可解释性

主讲人：侯庆锐

摘要：对词嵌入可解释性的研究与改进，以及将词嵌入与知识库结合的问题，在最近几年备受关注。本文提出一种将ConceptNet知识库概念分配到词嵌入上的方法以及测量一组词的一致性或语义关联性的评价指标，并通过分析它们的对应关系将两种方法结合起来。

时间和地点：11月28日10:30-12:00（星期六上午10点30分-12点），软件学院办公楼201会议室

三、 主题：NLP中的CNN

主讲人：夏天宇

摘要：本节课介绍CNN在NLP中的应用。首先介绍如何进行卷积和池化操作，然后具体介绍了CNN的一个应用——句子分类，最后介绍如何优化CNN的应用以及结合了RNN和CNN优点的QRNN

时间和地点：11月28日13:30-15:00（星期六下午1点30分-3点），软件学院办公楼201会议室

四、 主题：深度生成模型-玻尔兹曼机

主讲人：谢翌

摘要：玻尔兹曼机的原理起源于统计物理学，是一种基于能量函数的建模方法，能够描述变量之间的高阶相互作用。受限玻兹曼机是一种玻兹曼机的变体，但限定模型必须为二分图。模型中包含对应输入参数的输入单元和对应训练结果的隐单元，图中的每条边必须连接一个可见单元和一个隐单元。这一限定使得相比一般玻兹曼机更高效的训练算法成为可能，特别是基于梯度的对比分歧算法。受限玻兹曼机也可被用于深度学习网络。具体地，深度信念网络可使用多个RBM堆叠而成，并可使用梯度下降法和反向传播算法进行调优。

时间和地点：12月1日13:30-16:00（星期二下午1点30分-4点），软件学院实验楼126会议室