一、 主题：句子嵌入的简单对比学习 

主讲人： 李呈韬

摘要： 本文介绍了SimCSE，一个对比学习框架。首先描述了一种无监督方法，该方法采用输入句子并在对比目标中预测自身，仅使用标准dropout作为噪声。这个简单的方法效果出奇地好，与之前的有监督的方法相当。作者发现dropout作为最小的数据增强，删除它会导致表示崩溃。提出了一种监督方法，该方法将来自自然语言推理数据集的注释对结合到对比学习框架中，使用“蕴涵”对作为正例，使用“矛盾”对作为强负例。作者在标准语义文本相似度(STS)任务上对SimCSE进行了评估，使用BERTbase的无监督和有监督模型分别实现了76.3%和81.6%的Spearman相关性，与之前的最佳结果相比，分别提高了4.2%和2.2%。作者还从理论上和经验上表明，对比学习目标将预训练的嵌入的各向异性空间正则化，使其更加均匀，并且当有监督信号可用时，它能更好地对齐正样本。

时间和地点：12月2日9：00-10：00（星期六上午九点-十点）办公楼202会议室

                        腾讯会议 ID：832-9044-3496

二、 主题： 多样性文本生成

主讲人： 韩雨辰

摘要： 第一篇工作提出了一种半自回归的扩散模型SSD-LM,迭代的生成文本块。在推理过程支持灵活的输出长度，支持双向的上下文更新。同时能够使用已有的判别器对生成过程进行控制，不需要重新训练判别器。第二篇工作探究了Transformer中的“平庸陷阱”形成的原因，并提出了CARE损失对原损失进行修改，提高了生成文本的多样性。

时间和地点：12月2日10：00-11：00（星期六上午十点-十一点）办公楼202会议室

                       腾讯会议 ID：832-9044-3496

三、 主题： 背包词向量编辑方法

主讲人： 李成

摘要： 我们提出背包: 一个新的神经结构，结合强大的建模性能与界面的解释和控制。背包为词汇表中的每个单词学习多个非上下文意义向量，并将一个单词在一个序列中表示为依赖于上下文的非负线性组合意义向量。我们发现，经过训练，意义向量专门化，每个编码一个词的不同方面。我们可以通过检查感觉向量在输出空间上的(非上下文的，线性的)投影来解释感觉向量，并干预这些可解释的钩子以可预测的方式改变模型的行为。我们在 OpenWebText 上训练了一个170M 参数的 Backpack 语言模型，与 GPT-2小型(124M 参数)变压器的损失相匹配。在词汇相似性评价中，我们发现 Backpack 意义向量的表现甚至优于6B 参数 Trans-formLM 的词汇嵌入。最后，我们提出了一些简单的算法，通过对感觉向量的干预来实现可控的文本生成和去偏。例如，我们可以编辑感觉词汇，使其更倾向于一个话题，或者将性别偏见的来源定位于一个感觉向量，并在全球范围内抑制这种感觉。

时间和地点：12月2日11：00-12：00（星期六上午十一点-十二点）办公楼202会议室

                       腾讯会议 ID：832-9044-3496

图文作者：杨磊稳    责任编辑：孙宇清