一、 主题：学术推荐

       主讲人：谢翌

       摘要：基于Bert的自然语言处理模型在表示学习问题上具有突出表现。但仅针对上下文中句子级别的训练目标，限制了文档级别的模型表示能力，无法实现面向不同任务的科研论文嵌入。Specter、SciBert、Sentence-Bert等工作提出多种基于Bert的科研论文嵌入模型，将论文之间的引用融入文本编码，使具有引用关系的论文表示更接近，以应对论文分类、用户活跃度预测、论文推荐等任务。

二、 主题：表示学习之BERT的继承者和竞争者们

      主讲人：吴佳琪

      摘要：BERT的提出引发了预训练语言模型研究的热潮,其中不乏一些性能出众的热门模型。先有XLNet复兴自回归预训练方法，引入排列语言模型，融合Transformer-XL,性能大幅超越BERT。后有针对BERT进行极致工程调优的RoBERTa，性能比肩甚至超越XLNet，证明BERT依然很强。现有ALBERT减少模型参数，瘦身成功，性能超越BERT、XLNet、RoBERTa, 直观展示了什么叫更小但是更强。本次主题探讨BERT的继承者和竞争者们之间的异同和特性。

三、 时间和地点

10月17日9:00-12:00（星期六上午9-12点）

软件学院办公楼201会议室