语义计算2023秋季讨论班——模式探索训练,通过稳健的人类...

一、 主题: 模式探索训练主讲人: 杨磊稳摘要:通过提供具有自然语言“任务描述”的预训练语言模型,可以以完全无监督的方式解决一些NLP任务,虽然这种方法的表现不如监督方法,本次介绍论文将两种想法可以结合起来:模式探索训练(PET),这是一种半监督训练程序,将输入示例重新表述为完形填空风格的短语,以帮助语言模型理解给定的任务。时间和地点:11月4日9:00-10:00(星期六上午九点-十点)办公楼310会议室           ...

实验室博士生刘天元同学参加EMNLP 2023会议

2023年自然语言处理实证方法会议(The 2023 Conference on Empirical Methods in Natural Language Processing,EMNLP2023)于12月6日至10日在新加坡举办。EMNLP是自然语言处理领域的旗舰会议,会议主题涉及语音、词汇、语义、句法分析等理论方法,以及信息抽取、文本挖掘、信息检索、文本生成、机器翻译等自然语言处理技术与应用等话题。本年度会议的主题为“大型预训练语言模型与自然语言处理的未来”,会议邀请Christopher D...

祝贺刘天元同学顺利通过博士学位论文答辩

  语义计算实验室刘天元同学的博士学位论文答辩于2023年12月3日在山东大学软件园校区办公楼310会议室举行。答辩委员会主席为电子科技大学秦志光教授,答辩委员会委员包括复旦大学顾宁教授、山东师范大学刘弘教授、山东大学刘治教授、山东大学徐庸辉教授,答辩委员会秘书为山东大学刘宁助理教授。  刘天元在博士研究生阶段,深入研究了无监督可控文本改写领域的若干重要问题,提出了基于依存句法和词汇语用模式的词汇组合知...

语义计算2023秋季讨论班——多样性文本生成和Stable diffus...

一、 主题:多样性文本生成和Stable diffusion的可解释性主讲人:韩雨辰摘要:第一篇工作提出了一个基于Transformer的循环变分编码器结构TRACE。该方法根据时间序列信息构造隐变量,并通过残差参数化构造后验分布。实验证明该方法能够提高生成文本的多样性。第二篇工作为了探究文生图模型Stable diffusion的可解释性,作者提出了DAAM方法。该方法通过对去噪网络中的交叉注意力进行变化和汇总,得到文本对图片像素级的影响。作者...