语义计算实验室2022春季学期讨论班(4)
一、 主题:提示学习和偏见消解
主讲人:王舰
摘要:第一篇文章关注于提示学习方法,针对目前人工设计提示语不一定最优且难以优化的问题,提出使用连续向量表示提示语,从而能够快速优化。第二篇文章描述了测量 GPT-2 生成中政治偏见的指标,并提出了一个强化学习 (RL) 框架来减轻生成文本中的政治偏见。整个过程无需访问训练数据或需要重新训练模型。
时间和地点:3月26日9:00-10:00(星期六上午9点-10点),软件学院实验楼105会议室
腾讯会议 ID:522-7068-6445
二、主题:文本生成和关键词抽取
主讲人:郑璐阳
摘要:本次分享的第一篇论文是关于可控文本生成的,跳出了以往工作以简单变量作为控制因素,该工作以文本输入来控制语言模型的输出文本,而且,对于没有现成数据集的情况,本文提出了自监督学习的方法来训练模型。第二篇论文是关于神经方法的关键词的生成,他们通过重要句子选择以及加入逐层coverage attention机制来解决长文本的关键词抽取和生成问题,其中,逐层coverage attention机制是他们这篇工作的一个很大亮点。
时间和地点:3月26日10:00-11:00(星期六上午10点-11点),软件学院实验楼105会议室
腾讯会议 ID:522-7068-6445
图文作者:杨涛 责任编辑:孙宇清