语义计算2022秋季讨论班——文本哈希与层次化分类、采用量化算法对预训练语言模型进行压缩

一、 主题:文本哈希与层次化分类

主讲人:黄钿


摘要:本次分享的第一篇工作主要与文本哈希相关,由于其带来了相似性计算的高效性,文本哈希成为了许多大规模文本检索系统的关键组件。在第一篇工作中,作者采用了对比学习方法并引入ARM估计来构建文本哈希方法,并通过丰富的析构实验来证明了其有效性。本次分享的第二篇工作与层次化分类任务有关,层次化分类任务是一种特殊的多标签任务,该工作的主要思想是将传统的层次分类任务视为标签生成任务,所述方法清晰且有效。


时间和地点:11月19日14:00-15:00(星期六下午两点-三点)办公楼201

腾讯会议 ID:690-7644-3039


一、 主题:采用量化算法对预训练语言模型进行压缩

主讲人:李成


摘要:由于预训练语言模型的规模越来越大,使用的门槛越来越高,如果在低资源消耗的情况下仍然保持应有的模型性能是一个具有研究价值的课题。本次分享针对上述问题分析针对生成式的预训练语言模型的压缩困难性,并且依据分析结果设计针对性的量化压缩方案,最终取得当前任务下的最优性能


时间和地点:11月19日15:00-16:00(星期六下午三点-四点)办公楼201

腾讯会议 ID:690-7644-3039

图文作者:李稳    责任编辑:孙宇清