语义计算2023秋季讨论班——模式探索训练,通过稳健的人类评估进行基础总结评估

一、 主题: 模式探索训练

主讲人: 杨磊稳


摘要通过提供具有自然语言“任务描述”的预训练语言模型,可以以完全无监督的方式解决一些NLP任务,虽然这种方法的表现不如监督方法,本次介绍论文将两种想法可以结合起来:模式探索训练(PET),这是一种半监督训练程序,将输入示例重新表述为完形填空风格的短语,以帮助语言模型理解给定的任务。


时间和地点:11月4日9:00-10:00(星期六上午九点-十点)办公楼310会议室

                        腾讯会议 ID:832-9044-3496


二、 主题: 通过稳健的人类评估进行基础总结评估

主讲人: 吴慧倩


摘要人工评估是摘要系统和自动指标评估的基础。 然而,现有的人类评价摘要研究要么表现出较低的注释者间一致性,要么规模不足,并且缺乏对人类评价的深入分析。 本次分享的论文沿着以下几个方向解决现有摘要评估的缺点:(1)摘要显着性协议 (2) 鲁棒摘要评估 (RoSE) 基准(3) 人类评估方案(4) 跨评估协议。作者进行基准测试的指标包括基于大型语言模型 (LLM)、GPTScore 和 G-Eval 的最新方法,对评估 LLM 具有重要意义。


时间和地点:9月23日10:00-11:00(星期六上午十点-十一点)办公楼310会议室

                       腾讯会议 ID:832-9044-3496





图文作者:杨磊稳    责任编辑:孙宇清