语义计算2023秋季讨论班——大模型是否能够理解幽默,新的...

一、 主题:大模型是否能够理解幽默主讲人:王舰摘要:大型神经网络现在可以生成笑话,但它们真的「理解」幽默吗?本文通过三项任务来测试人工智能模型,包括将笑话与卡通相匹配、选出优质配文(caption)以及解释优质配文为何有趣。完成这些任务的关键是「理解」图像和配文之间复杂且出人意料的关系。该论文研究了多模态模型和纯语言模型对幽默的理解能力,结果表明这些模型仍然大程度的落后于人类表现。时间和地点:9月23日9...

语义计算2023秋季讨论班——上下文学习示例检索,大型语言...

一、 主题:上下文学习示例检索主讲人:杨磊稳摘要:上下文学习是一种新的学习范式,其中语言模型以几个输入输出对(演示)和测试输入为条件,并直接输出预测。它已被证明高度依赖于所提供的演示,从而促进了演示检索的研究:给定测试输入,从训练集中检索相关示例,作为上下文学习的信息演示。虽然以前的工作侧重于分别为几个任务训练特定任务的检索器,但这些方法通常很难在各种任务上转移和扩展,并且单独训练的检索器会产生...

语义计算2023秋季讨论班——解构注意力机制,可控文本生成...

一、 主题:DeBERTa主讲人:杨磊稳摘要:本次分享一种新的模型架构DeBERTa(具有解纠缠注意力的解码增强型BERT),该架构使用两种新技术改进了BERT和RoBERTa模型。第一种是解纠缠注意力机制,其中每个单词使用分别编码其内容和位置的两个向量来表示,并且单词之间的注意力权重分别使用关于其内容和相对位置的解纠缠矩阵来计算。其次,使用增强的掩码解码器在解码层中结合绝对位置,以预测模型预训练中的掩码令牌。时间和地点:9...

语义计算2023秋季讨论班——原型学习,零样本学习,提示学...

一、 主题:原型学习主讲人:梁延杰摘要:本文设计了一种新的 N-way-K-shot 连续关系提取(NK-CRE Continual Relation Extraction)任务,并且在不同的模型上使用了该固定设置,以便于评估不同模型的具体效果,使得效果更可比较且合理,并且提出了一种采用一致性原型学习 Consistent Prototype Learning(ConPL)的新颖的少样本连续关系提取方法来解决灾难性遗忘问题。时间和地点:9月16日9:00-10:00(星期六上午九点-十点)...

实验室新年聚餐暨毕业生告别联欢会

聚餐历来是实验室小伙伴欢聚一堂的乐事,在即将告别2023年之际,12月23日,我们满怀喜悦,举办了一场温馨热烈的新年聚餐会。甜蜜的蛋糕与红烧猪蹄的香气交织,不仅瞬间唤醒了每个人的味蕾,更将对毕业伙伴的不舍之情和由衷祝福转化为了一场美食的盛宴。同学们畅所欲言,交流学术研究过程中的探索经历和收获,分享生活旅途中的精彩瞬间,使实验室群像更为立体饱满,令在场的每一个人深深感受到科研旅程中协同互助的珍贵和团队的...