一、 主题：语言表示中的常识与偏见主讲人：刘天元摘要：词向量/预训练语言模型等方法为NLP任务提供了基础的特征表示。本周讲解的两篇文章，一篇主要探讨这些基本表示能否捕获语言中的常识性信息并据此进行推断。另一篇探讨了这些表示又捕获了怎样的偏见，以及如何避免。时间和地点：12月5日9:00-10:30（星期六上午9点-10点30分），软件学院办公楼201会议室二、 主题：文本生成主讲人：王舰摘要：序列到序列模型在当前文本生成...
一、 主题：NLP中的CNN主讲人：夏天宇摘要：本节课介绍CNN在NLP中的应用。首先介绍如何进行卷积和池化操作，然后具体介绍了CNN的一个应用——句子分类，最后介绍如何优化CNN的应用以及结合了RNN和CNN优点的QRNN时间和地点：11月28日13:30-15:00（星期六下午1点30分-3点），软件学院办公楼201会议
一、 主题：一种新的预训练文本编码器——ELECTRA主讲人：杨涛摘要：本次讨论班讨论一种新的叫作ELECTRA的预训练文本编码器。论文提出了一个新的预训练任务——replace token detection，即以判别式模型判定单词是否被修改，解决了以MLM这一生成式任务做预训练所带来的一些问题，如两阶段输入不匹配、计算代价高等。实验证明，ELECTRA以更低的参数量和计算量，获得了在下游任务上比BERT等更好的表现。时间和地点：11月28日9:00...
一、 主题：机器翻译、seq2seq与注意力机制主讲人：侯庆锐摘要：本节课引入了一个新的NLP任务：机器翻译，并介绍了seq2seq模型。seq2seq是一种重要的encoder-decoder式模型，在多种NLP任务中发挥了重要的作用。而在对它的改进中，注意力（Attention）机制是十分关键的，它同样可以应用于多种机器学习任务。时间和地点：11月21日15:00-17:00（星期六下午3点-5点），软件学院办公楼310会议
一、 主题：以深度论文推荐相关方法为例的文献综述经验分享主讲人：谢翌摘要：经典的引文推荐模型可被分为三种主要方式：基于文本的过滤、协同过滤、基于图的推荐。这类方法往往受到数据稀疏、冷启动等困扰，无法为用户提供优质的推荐结果。近年来，相关科研人员将注意力集中到利用复杂的深度神经网络来进行引文推荐，捕获论文的语义表征和相关上下文信息，从而显著改善最终推荐结果。本次讨论班针对深度论文推荐问题，综述这...
