一、 主题：文本生成

主讲人：王舰

摘要：预训练模型在不同类型的语言模型任务上进行训练，通常应用于文本理解型的任务而非生成型任务。将预训练模型应用于文本生成领域是目前的一个热点。本次讲的文章内容包括三个方面：预训练模型和文本生成任务的结合；一种有效利用预训练模型知识的方式；自回归生成文本时提升模型预测能力的方法。

时间和地点：6月5日9:00-10:00（星期六上午9点-10点），软件学院办公楼201会议室

                  腾讯会议 ID：173 111 223

二、 主题：一种基于对比学习框架的句嵌入方法

主讲人：杨涛

摘要：早期的句子嵌入方法基于分布式假设学习句子嵌入，近些年的预训练语言模型如BERT等也可以提供句子的嵌入表示，但是预训练语言模型的嵌入空间是各项异性的，也就是说所有嵌入向量的相似度都很高，不适合文本语义相似性任务。无监督SimCSE模型使用dropout mask策略进行数据增强获取正样本对，基于对比学习方法训练句子嵌入。有监督SimCSE模型基于人工标注的NLI数据进行对比学习训练句嵌入。以对比学习框架训练得到的嵌入空间趋于各向同性，在语义文本相似性任务上大幅超越之前的SOTA。

时间和地点：6月5日10:00-11:00（星期六上午10点-11点），软件学院办公楼201会议室

                  腾讯会议 ID：173 111 223