语义计算实验室2022春季学期讨论班(5)

一、 主题:融入依存句法信息的预训练语言模型

主讲人:刘天元


摘要:依存句法分析在挖掘和表示语言中词汇间的语义关系时具有简洁、具体的特点和优势。现有的预训练语言模型主要基于文本序列的建模分析。本次讨论的两篇文章,探讨将依存句法树融入预训练语言模型的方法,并对句法信息融入后对下游任务的提升进行了探究。


时间和地点:4月2日9:00-10:00(星期六上午9点-10点)

    腾讯会议 ID:522-7068-6445

二、主题:融入外部知识的预训练和融入外部知识的自然语言推理


主讲人:杨涛



摘要本次分享的第一篇论文是在自然语言推理中融入外部知识辅助推理,提出ExBERT模型在原始BERT的基础上融入来自知识图谱中的外部知识,显著提升了自然语言推理任务的性能,第二篇论文是在预训练的时候,以富含信息量的实体注入来自外部知识库的信息。



时间和地点:4月2日10:00-11:00(星期六上午10点-11点)

   腾讯会议 ID:522-7068-6445


图文作者:杨涛    责任编辑:孙宇清