一、 主题: 零样本提示学习主讲人: 杨磊稳摘要: 当前零样本场景下的提示学习方法广泛依赖于具有足够人工注释数据的开发集,以在后验选择性能最佳的提示模板。这并不理想,因为在实际相关的现实世界中,没有标记数据可用。因此,我们提出了一种简单而有效的方法来筛选合理的零射击文本分类提示模板:Perplexity Selection (perfect)。我们假设语言差异可以用来衡量提示模板的有效性,从而开发出一种基于困惑的方案,允许提前预...
一、 主题: 语言模型的对齐攻击主讲人: 吴慧倩摘要: 本次分享的第一篇文章介绍新的语言模型架构:背包语言模型,该模型有着优秀的建模能力的同时提供了可解释性与可控的接口。背包语言模型为词汇表中的每个单词学习多个上下文无关意义向量并将序列中的单词表示为该序列中意义向量的上下文相关的非负线性组合,将词袋模型与注意力机制思想结合,能够被用于去偏以及可控文本生成任务。第二篇文章介绍对齐大语言模型在面对对抗...
春天到来,万物复苏,正是出游的好时节。4月27日,实验室全体成员前往济南市明水古城游玩,感受春天的气息,享受美好的春游时光。明水古城始建于唐朝,贞观年间设西泉镇;到了宋元时期,成为章丘四大名镇之一,这座古城已有1000余年的历史。明水古城文旅资源特别,一是泉,古城景区包含百脉泉泉系,梅花泉如河奔涌,墨泉奋涌若轮。二是章丘是“天下第一才女”李清照、中华老字号瑞蚨祥创始人孟洛川的故乡,富含文化底蕴。从孟鸿...
2024年国际计算机支持协同设计会议(The 2024 International Conference on Computer Supported Cooperative Work in Design,CSCWD2024)于5月8日至10日在天津举办。CSCWD 2024是一个涵盖计算机科学、信息技术和工程等领域的国际性学术会议,旨在促进计算机支持的合作工作和设计方面的研究与发展。本次大会主题“智能物联网与工业大数据”,包括协作技术的研究与开发,以及它们在工业和社会中的应用协作技术,会议邀请了梅宏、...
一、 主题: 可控文本生成主讲人: 韩雨辰摘要: 第一篇工作提出了一个新的框架-定向刺激提示。该框架在提示符中引入了一个名为“定向刺激”的新组件,以提供对大语言模型的细微的、特定实例的指导和控制。使用一个相对较小且可调的LM(例如,T5)作为策略模型,为每个输入查询生成定向刺激提示。这种方法使我们能够通过优化小的可调策略模型来避免对黑盒大语言模型的直接优化。第二篇工作提出了一种可拔插的可控文本生成方法,该...