语义计算实验室

10.27日下午，清华大学朱军教授受山东大学语义计算实验室邀请，主讲了主题为“多模态扩散模型及其应用”的学术报告，本次报告由语义计算实验室负责人、山东大学孙宇清教授主持。

题目：多模态扩散模型及其应用
摘要：AIGC发展迅速，扩散概率模型是AIGC的关键技术之一，在跨模态的文图生成、3D生成、视频生成等方面取得显著进展。该报告将介绍扩散概率模型的若干进展，包括大规模多模态扩散模型的构建以及基于预训练扩散模型的高效文到3D生成、可控视频生成等内容。

一、 主题：大模型是否能够理解幽默主讲人：王舰摘要：大型神经网络现在可以生成笑话，但它们真的「理解」幽默吗？本文通过三项任务来测试人工智能模型，包括将笑话与卡通相匹配、选出优质配文（caption）以及解释优质配文为何有趣。完成这些任务的关键是「理解」图像和配文之间复杂且出人意料的关系。该论文研究了多模态模型和纯语言模型对幽默的理解能力，结果表明这些模型仍然大程度的落后于人类表现。时间和地点：9月23日9...

一、 主题：上下文学习示例检索主讲人：杨磊稳摘要：上下文学习是一种新的学习范式，其中语言模型以几个输入输出对（演示）和测试输入为条件，并直接输出预测。它已被证明高度依赖于所提供的演示，从而促进了演示检索的研究：给定测试输入，从训练集中检索相关示例，作为上下文学习的信息演示。虽然以前的工作侧重于分别为几个任务训练特定任务的检索器，但这些方法通常很难在各种任务上转移和扩展，并且单独训练的检索器会产生...

一、 主题：DeBERTa主讲人：杨磊稳摘要：本次分享一种新的模型架构DeBERTa（具有解纠缠注意力的解码增强型BERT），该架构使用两种新技术改进了BERT和RoBERTa模型。第一种是解纠缠注意力机制，其中每个单词使用分别编码其内容和位置的两个向量来表示，并且单词之间的注意力权重分别使用关于其内容和相对位置的解纠缠矩阵来计算。其次，使用增强的掩码解码器在解码层中结合绝对位置，以预测模型预训练中的掩码令牌。时间和地点：9...