一、 主题：上下文学习示例检索主讲人：杨磊稳摘要：上下文学习是一种新的学习范式，其中语言模型以几个输入输出对（演示）和测试输入为条件，并直接输出预测。它已被证明高度依赖于所提供的演示，从而促进了演示检索的研究：给定测试输入，从训练集中检索相关示例，作为上下文学习的信息演示。虽然以前的工作侧重于分别为几个任务训练特定任务的检索器，但这些方法通常很难在各种任务上转移和扩展，并且单独训练的检索器会产生...

一、 主题：DeBERTa主讲人：杨磊稳摘要：本次分享一种新的模型架构DeBERTa（具有解纠缠注意力的解码增强型BERT），该架构使用两种新技术改进了BERT和RoBERTa模型。第一种是解纠缠注意力机制，其中每个单词使用分别编码其内容和位置的两个向量来表示，并且单词之间的注意力权重分别使用关于其内容和相对位置的解纠缠矩阵来计算。其次，使用增强的掩码解码器在解码层中结合绝对位置，以预测模型预训练中的掩码令牌。时间和地点：9...

一、 主题：原型学习主讲人：梁延杰摘要：本文设计了一种新的 N-way-K-shot 连续关系提取（NK-CRE Continual Relation Extraction）任务，并且在不同的模型上使用了该固定设置，以便于评估不同模型的具体效果，使得效果更可比较且合理，并且提出了一种采用一致性原型学习 Consistent Prototype Learning（ConPL）的新颖的少样本连续关系提取方法来解决灾难性遗忘问题。时间和地点：9月16日9：00-10：00（星期六上午九点-十点）...

一、 主题：少样本学习主讲人：梁延杰摘要：目前小样本文本摘要研究缺乏一个统一的评价基准。过去的研究一方面集中只关注一类文本的研究，如：新闻摘要或对话摘要，这导致很难评估模型在不同类型文本上的泛化能力；另一方面，过去研究训练所用的样本并不公开。而小样本学习对数据非常敏感，这会造成样本选择误差（Sample Selection Bias）的问题。为解决这两个问题，本文提出了UniSumm，可以利用以往摘要数据进行预训练并通过前...

一、 主题：弱监督文本分类主讲人：杨磊稳摘要:本次介绍的工作是与弱监督文本分类相关。弱监督文本分类旨在仅使用类描述和未标记数据来训练分类器。以往的方法不仅依赖于精心绘制的类描述来获得特定于类的关键字，而且还需要大量未标记的数据，并且需要很长时间来训练。本文提出了一种高效的弱监督分类方法FastClass，在分类精度方面优于传统模型，并且训练速度快了几个数量级。时间和地点：4月23日9：00-9：30（星期日上午九点...