一、 主题：针对命名实体识别的预训练方法主讲人：吴佳琪摘要：近年来，预训练模型如BERT在命名实体识别任务上取得了较大的成功，但是现有的预训练技术都是学到了文本的一般特征表示，并不包含命名实体的知识。本周介绍论文中提出的针对命名实体知识进行预训练的方法在多个数据集上提升了现有模型的性能。时间和地点：3月20日9:00-10:30（星期六上午9点-10点30分），软件学院办公楼201会议室二、 主题：用于自然语言理解和生成...

2021年3月13日，东南大学李小平教授应邀来山东大学软件学院做学术交流，在数字媒体技术教育部工程研究中心107会议室为师生做了题为“复杂系统智能优化与系统调度”的学术报告。李小平教授在报告中着重介绍了复杂制造过程现状及相关难题、复杂制造调度特点及理论技术需求、典型应用调度、调度特点及本质解决方案、云服务随机请求的单队列性能分析与调度，以及智能优化和系统调度的未来发展方向。报告之后，李教授还和参会师生就...

一、 主题：可控的文本生成主讲人：王舰摘要：可控的文本生成是目前文本生成领域的一个研究热点。本周讲解两篇关联性的文章，一篇介绍离散编码形式的变分自编码。另外一篇文章介绍离散编码的变分自编码器在可控文本生成领域的应用，该文章同时兼顾了文本多样性的问题。时间和地点：3月13日9:30-11:00（星期六上午9点30分-11点），软件学院办公楼201会议

一、 主题：语言表示中的常识与偏见主讲人：刘天元摘要：词向量/预训练语言模型等方法为NLP任务提供了基础的特征表示。本周讲解的两篇文章，一篇主要探讨这些基本表示能否捕获语言中的常识性信息并据此进行推断。另一篇探讨了这些表示又捕获了怎样的偏见，以及如何避免。时间和地点：12月5日9:00-10:30（星期六上午9点-10点30分），软件学院办公楼201会议室二、 主题：文本生成主讲人：王舰摘要：序列到序列模型在当前文本生成...

一、 主题：一种新的预训练文本编码器——ELECTRA主讲人：杨涛摘要：本次讨论班讨论一种新的叫作ELECTRA的预训练文本编码器。论文提出了一个新的预训练任务——replace token detection，即以判别式模型判定单词是否被修改，解决了以MLM这一生成式任务做预训练所带来的一些问题，如两阶段输入不匹配、计算代价高等。实验证明，ELECTRA以更低的参数量和计算量，获得了在下游任务上比BERT等更好的表现。时间和地点：11月28日9:00...