分类: 系列活动

语义计算2024春季讨论班——多文档问答中的知识图提示、对...

一、 主题: 多文档问答中的知识图提示主讲人: 梁延杰摘要: 大型语言模型(LLM)的“预训练、提示、预测”范式在开放域问答(OD-QA)方面取得了显着的成功。然而,很少有作品在多文档问答(MD-QA)中探索这种范式,这项任务需要彻底理解文档内容和结构之间的逻辑关联。为了填补这一关键空白,我们提出了一种知识图提示(KGP)方法来制定正确的上下文来提示法学硕士进行MD-QA,该方法由图构建模块和图遍历模块组成。对于图构建...

语义计算2023秋季讨论班——元强化学习、弱监督学习方法中...

一、 主题: 元强化学习主讲人: 范禄珂摘要: 元强化学习代理需要从一系列轨迹中推断任务。此外,它需要一个快速的适应策略来调整其策略以适应新的任务,这可以通过使用自注意机制来实现。以此新提出的TrMRL (Transformer for Meta-Reinforcement Learning)是一个使用transformer架构模拟记忆恢复机制的元强化学习代理。它将最近的工作记忆联系起来,通过转换层递归地建立情景记忆。研究表明,自关注计算出一种共识表示,它在...

语义计算2023秋季讨论班——句子嵌入的简单对比学习、多样...

一、 主题:句子嵌入的简单对比学习 主讲人: 李呈韬摘要: 本文介绍了SimCSE,一个对比学习框架。首先描述了一种无监督方法,该方法采用输入句子并在对比目标中预测自身,仅使用标准dropout作为噪声。这个简单的方法效果出奇地好,与之前的有监督的方法相当。作者发现dropout作为最小的数据增强,删除它会导致表示崩溃。提出了一种监督方法,该方法将来自自然语言推理数据集的注释对结合到对比学习框架中,使用“蕴涵”对作为...

语义计算2023秋季讨论班——基于预训练模型的少样本命名实...

一、 主题: 基于预训练模型的少样本命名实体识别主讲人: 李成摘要: 少样本命名实体识别的目标是识别具有有限标记实例的命名实体。以往的工作主要集中在优化传统的标记分类框架,而忽视了基于 NER 数据特征的信息探索。针对这一问题,本次分享基于联合任务特定预训练(MSDP)的多任务语义分解框架。示范性对比学习的启示,本文主要介绍了两个新颖的预训练任务: 基于演示的掩蔽语言建模(MLM)和类对比鉴别。这些任务有效地整合了...

语义计算2023秋季讨论班——模式探索训练,通过稳健的人类...

一、 主题: 模式探索训练主讲人: 杨磊稳摘要:通过提供具有自然语言“任务描述”的预训练语言模型,可以以完全无监督的方式解决一些NLP任务,虽然这种方法的表现不如监督方法,本次介绍论文将两种想法可以结合起来:模式探索训练(PET),这是一种半监督训练程序,将输入示例重新表述为完形填空风格的短语,以帮助语言模型理解给定的任务。时间和地点:11月4日9:00-10:00(星期六上午九点-十点)办公楼310会议室           ...
首页< 12345...8>尾页