一、 主题： 多文档问答中的知识图提示主讲人： 梁延杰摘要： 大型语言模型（LLM）的“预训练、提示、预测”范式在开放域问答（OD-QA）方面取得了显着的成功。然而，很少有作品在多文档问答（MD-QA）中探索这种范式，这项任务需要彻底理解文档内容和结构之间的逻辑关联。为了填补这一关键空白，我们提出了一种知识图提示（KGP）方法来制定正确的上下文来提示法学硕士进行MD-QA，该方法由图构建模块和图遍历模块组成。对于图构建...
12月23日上午，语义计算实验室举行了年度总结会暨博士毕业生经验分享会。在年度总结会议上，实验室负责人孙宇清教授对2023年度的工作进行了全面回顾，内容涉及项目进展、科研成果以及人才培养，并就2024年发展目标分别从个体目标和群体目标两个角度进行规划和展望。在博士毕业生经验交流环节中，刘天元同学分享了科研和学习经历，特别是在文献阅读、模型设计、实验编码等方面的独到见解和心得，以及在科研过程中与导师积极沟通...
一、 主题： 元强化学习主讲人： 范禄珂摘要： 元强化学习代理需要从一系列轨迹中推断任务。此外，它需要一个快速的适应策略来调整其策略以适应新的任务，这可以通过使用自注意机制来实现。以此新提出的TrMRL (Transformer for Meta-Reinforcement Learning)是一个使用transformer架构模拟记忆恢复机制的元强化学习代理。它将最近的工作记忆联系起来，通过转换层递归地建立情景记忆。研究表明，自关注计算出一种共识表示，它在...
一、 主题：句子嵌入的简单对比学习 主讲人： 李呈韬摘要： 本文介绍了SimCSE，一个对比学习框架。首先描述了一种无监督方法，该方法采用输入句子并在对比目标中预测自身，仅使用标准dropout作为噪声。这个简单的方法效果出奇地好，与之前的有监督的方法相当。作者发现dropout作为最小的数据增强，删除它会导致表示崩溃。提出了一种监督方法，该方法将来自自然语言推理数据集的注释对结合到对比学习框架中，使用“蕴涵”对作为...
一、 主题： 基于预训练模型的少样本命名实体识别主讲人： 李成摘要： 少样本命名实体识别的目标是识别具有有限标记实例的命名实体。以往的工作主要集中在优化传统的标记分类框架，而忽视了基于 NER 数据特征的信息探索。针对这一问题，本次分享基于联合任务特定预训练(MSDP)的多任务语义分解框架。示范性对比学习的启示，本文主要介绍了两个新颖的预训练任务: 基于演示的掩蔽语言建模(MLM)和类对比鉴别。这些任务有效地整合了...
