一、 主题：DeBERTa

主讲人：杨磊稳

摘要：本次分享一种新的模型架构DeBERTa（具有解纠缠注意力的解码增强型BERT），该架构使用两种新技术改进了BERT和RoBERTa模型。第一种是解纠缠注意力机制，其中每个单词使用分别编码其内容和位置的两个向量来表示，并且单词之间的注意力权重分别使用关于其内容和相对位置的解纠缠矩阵来计算。其次，使用增强的掩码解码器在解码层中结合绝对位置，以预测模型预训练中的掩码令牌。

时间和地点：9月23日9：00-9：30（星期六上午九点-九点半）

                        腾讯会议 ID：832-9044-3496

二、 主题：可控文本生成评价方法

主讲人：吴慧倩

摘要：现有的无参考指标对于评估可控文本生成模型具有明显的局限性。 无监督指标只能提供与任务无关的评估结果，与人类判断相关性较弱，而有监督指标可能会过度拟合特定于任务的数据，而对其他数据集的泛化能力较差。本次分享一种名为 CTRLEval 的无监督无参考指标，它通过将每个方面制定为多个文本填充任务来从不同方面评估受控文本生成。 除了这些任务之外，该指标还从预先训练的语言模型中组合生成概率，而无需任何模型训练。

时间和地点：9月23日9：30-10：00（星期六上午九点半-十点）

                       腾讯会议 ID：832-9044-3496

图文作者：杨磊稳    责任编辑：孙宇清