一、 主题：针对命名实体识别的预训练方法

主讲人：吴佳琪

摘要：近年来，预训练模型如BERT在命名实体识别任务上取得了较大的成功，但是现有的预训练技术都是学到了文本的一般特征表示，并不包含命名实体的知识。本周介绍论文中提出的针对命名实体知识进行预训练的方法在多个数据集上提升了现有模型的性能。

时间和地点：3月20日9:00-10:30（星期六上午9点-10点30分），软件学院办公楼201会议室

二、 主题：用于自然语言理解和生成任务的预训练语言模型-UniLM

主讲人：察胜男

摘要：预训练语言模型大大提高了各种自然语言处理任务的技术水平。UniLM（Unified  pre-trained Language Model）是由微软提出的预训练语言模型，结合自回归语言模型和自编码语言模型的优点，使用三种语言建模任务对模型进行预先训练:单向、双向和序列对序列预测。无论是在自然语言理解任务还是自然语言生成任务都取得良好的结果。

时间和地点：3月20日10:30-12:00（星期六上午10点30分-12点），软件学院办公楼201会议室