分类: 系列活动

语义计算2023秋季讨论班——大模型是否能够理解幽默,新的...

一、 主题:大模型是否能够理解幽默主讲人:王舰摘要:大型神经网络现在可以生成笑话,但它们真的「理解」幽默吗?本文通过三项任务来测试人工智能模型,包括将笑话与卡通相匹配、选出优质配文(caption)以及解释优质配文为何有趣。完成这些任务的关键是「理解」图像和配文之间复杂且出人意料的关系。该论文研究了多模态模型和纯语言模型对幽默的理解能力,结果表明这些模型仍然大程度的落后于人类表现。时间和地点:9月23日9...

语义计算2023秋季讨论班——上下文学习示例检索,大型语言...

一、 主题:上下文学习示例检索主讲人:杨磊稳摘要:上下文学习是一种新的学习范式,其中语言模型以几个输入输出对(演示)和测试输入为条件,并直接输出预测。它已被证明高度依赖于所提供的演示,从而促进了演示检索的研究:给定测试输入,从训练集中检索相关示例,作为上下文学习的信息演示。虽然以前的工作侧重于分别为几个任务训练特定任务的检索器,但这些方法通常很难在各种任务上转移和扩展,并且单独训练的检索器会产生...

语义计算2023秋季讨论班——解构注意力机制,可控文本生成...

一、 主题:DeBERTa主讲人:杨磊稳摘要:本次分享一种新的模型架构DeBERTa(具有解纠缠注意力的解码增强型BERT),该架构使用两种新技术改进了BERT和RoBERTa模型。第一种是解纠缠注意力机制,其中每个单词使用分别编码其内容和位置的两个向量来表示,并且单词之间的注意力权重分别使用关于其内容和相对位置的解纠缠矩阵来计算。其次,使用增强的掩码解码器在解码层中结合绝对位置,以预测模型预训练中的掩码令牌。时间和地点:9...

语义计算2023秋季讨论班——原型学习,零样本学习,提示学...

一、 主题:原型学习主讲人:梁延杰摘要:本文设计了一种新的 N-way-K-shot 连续关系提取(NK-CRE Continual Relation Extraction)任务,并且在不同的模型上使用了该固定设置,以便于评估不同模型的具体效果,使得效果更可比较且合理,并且提出了一种采用一致性原型学习 Consistent Prototype Learning(ConPL)的新颖的少样本连续关系提取方法来解决灾难性遗忘问题。时间和地点:9月16日9:00-10:00(星期六上午九点-十点)...

语义计算2023秋季讨论班——少样本学习,零样本学习,提示...

一、 主题:少样本学习主讲人:梁延杰摘要:目前小样本文本摘要研究缺乏一个统一的评价基准。过去的研究一方面集中只关注一类文本的研究,如:新闻摘要或对话摘要,这导致很难评估模型在不同类型文本上的泛化能力;另一方面,过去研究训练所用的样本并不公开。而小样本学习对数据非常敏感,这会造成样本选择误差(Sample Selection Bias)的问题。为解决这两个问题,本文提出了UniSumm,可以利用以往摘要数据进行预训练并通过前...