语义计算实验室2021秋季学期讨论班(3)
一、 主题:融合外部知识的常识问答
主讲人:王舰
摘要:融合知识的常识推理是非常前沿的问题,本次主讲内容以常识知识问答为主要任务,讲述两类将外部常识知识融入模型,并使用外部知识进行常识回答的方法。两类方法分别采用了图结构的知识库ConceptNET和文本形式的知识库GenericsKB,在常识问答数据集上都取得了很好的结果。
时间和地点:10月9日9:00-10:00(星期六上午9点-10点),软件学院办公楼201会议室
腾讯会议 ID:388 401 367
二、主题:基于PET范式的半监督文本分类和小样本学习
主讲人:杨涛
摘要:一种新的学习方法——PET范式,将任务相关的描述添加到文本样本中,使用预训练的语言模型对mask的位置的词语进行预测,并将词汇映射到标签
,将原任务转换成一个完型填空任务。此种训练方式能够有效利用预训练语言模型学到的语义知识,甚至可以进行零样本学习。本次选取的论文,一篇使用PET范式
结合知识蒸馏和自举式训练进行半监督文本分类,另外一篇使用PET范式进行小样本学习
时间和地点:10月9日10:00-11:00(星期六上午10点-11点),软件学院办公楼201会议室
腾讯会议 ID:388 401 367