主讲人：黄钿

摘要：语言模型的预训练已被证明可以捕获惊人数量的世界知识，这对问答等NLP任务至关重要。然而，这些知识隐式地存储在神经网络的参数中，需要更大的网络来覆盖更多的事实。为了以更模块化和可解释的方式捕获知识，为了以一种更可解释和模块化的方式捕获知识，本次介绍的第一篇工作提出了一种新的预训练框架，使用潜在的知识检索器增强了语言模型的预训练。它允许模型从一个大型语料库中检索和关注文档，如维基百科，在预训练、微调和推理中使用。展示了如何以无监督的方式预先训练这样的知识检索器，使用掩码语言建模作为学习信号，并通过考虑数百万个文档的检索步骤进行反向传播；通过对开放领域问题回答(Open-QA)的具有挑战性的任务的微调，证明了增强语言模型预训练（领域）的有效性。另一篇工作基于此类流程，结合EM思想，进行对开放域，基于多文档问答任务的优化。

时间和地点：3月12日10:00-11:00（星期六上午10点-11点），软件学院办公楼201会议室

     腾讯会议 ID：610-992-713