语义计算2023秋季讨论班——原型学习,零样本学习,提示学习

一、 主题:原型学习

主讲人:梁延杰


摘要本文设计了一种新的 N-way-K-shot 连续关系提取(NK-CRE Continual Relation Extraction)任务,并且在不同的模型上使用了该固定设置,以便于评估不同模型的具体效果,使得效果更可比较且合理,并且提出了一种采用一致性原型学习 Consistent Prototype Learning(ConPL)的新颖的少样本连续关系提取方法来解决灾难性遗忘问题。


时间和地点:9月16日9:00-10:00(星期六上午九点-十点)办公楼310会议室

                        腾讯会议 ID:832-9044-3496


二、 主题:零样本学习

主讲人:贾颖欣


摘要通过在提示输入(指令+输入)的情况下生成正确答案来微调各种下游任务这种方式进行元训练的大语言模型对不同的标签词敏感,这意味着标准的元训练大语言模型通常无法推广到包含新标签的任务。在这篇文章中,作者介绍了一种称为FLIPPED LEARING的替代元训练方法,该方法翻转任务指令和标签空间,训练底层大语言模型在给定输入实例和标签时生成指令。此外,作者为FLIPPED LEARING添加了不可能性(unlikelihood)损失,使大语言模型不会为不正确的标签选项生成任务指令。


时间和地点:916日10:00-11:00(星期六上午十点-十一点)办公楼310会议室

                       腾讯会议 ID:832-9044-3496


三、 主题:提示学习

主讲人:范禄珂


摘要在小样本分类任务中,元学习取得了不错的效果,但是也存在着需要大量数据的问题,而提示学习作为一种高效的方法,在小样本场景下取得了相当不错的效果,作者通过将两种方法相结合的方式,提出了PBML,通过添加提示的方式弥补了元学习需要大量数据的问题。这篇论文发表在EMNLP2022上。提示学习的目的是遵循参数学习范式的同时,通过提示学习的方式,使得模型取得更好地小样本表现,但是,在学习的过程中,模型存在死记硬背的问题,可能会过拟合浅模式。因此作者提出了RETROPROMPT,来解决这个问题。这篇工作发表在NeurIPS2022上。


时间和地点:916日11:00-12:00(星期六上午十点-十二点)办公楼310会议室

                       腾讯会议 ID:832-9044-3496




图文作者:杨磊稳    责任编辑:孙宇清