语义计算2024春季讨论班——语言模型的对齐攻击,上下文学习...

一、 主题: 语言模型的对齐攻击主讲人: 吴慧倩摘要: 本次分享的第一篇文章介绍新的语言模型架构:背包语言模型,该模型有着优秀的建模能力的同时提供了可解释性与可控的接口。背包语言模型为词汇表中的每个单词学习多个上下文无关意义向量并将序列中的单词表示为该序列中意义向量的上下文相关的非负线性组合,将词袋模型与注意力机制思想结合,能够被用于去偏以及可控文本生成任务。第二篇文章介绍对齐大语言模型在面对对抗...

春游之明水古城

春天到来,万物复苏,正是出游的好时节。4月27日,实验室全体成员前往济南市明水古城游玩,感受春天的气息,享受美好的春游时光。明水古城始建于唐朝,贞观年间设西泉镇;到了宋元时期,成为章丘四大名镇之一,这座古城已有1000余年的历史。明水古城文旅资源特别,一是泉,古城景区包含百脉泉泉系,梅花泉如河奔涌,墨泉奋涌若轮。二是章丘是“天下第一才女”李清照、中华老字号瑞蚨祥创始人孟洛川的故乡,富含文化底蕴。从孟鸿...

实验室博士生郑威同学参加CSCWD 2024会议

2024年国际计算机支持协同设计会议(The 2024 International Conference on Computer Supported Cooperative Work in Design,CSCWD2024)于5月8日至10日在天津举办。CSCWD 2024是一个涵盖计算机科学、信息技术和工程等领域的国际性学术会议,旨在促进计算机支持的合作工作和设计方面的研究与发展。本次大会主题“智能物联网与工业大数据”,包括协作技术的研究与开发,以及它们在工业和社会中的应用协作技术,会议邀请了梅宏、...

语义计算2024春季讨论班——可控文本生成、评估指令调优语...

一、 主题: 可控文本生成主讲人: 韩雨辰摘要: 第一篇工作提出了一个新的框架-定向刺激提示。该框架在提示符中引入了一个名为“定向刺激”的新组件,以提供对大语言模型的细微的、特定实例的指导和控制。使用一个相对较小且可调的LM(例如,T5)作为策略模型,为每个输入查询生成定向刺激提示。这种方法使我们能够通过优化小的可调策略模型来避免对黑盒大语言模型的直接优化。第二篇工作提出了一种可拔插的可控文本生成方法,该...

语义计算2024春季讨论班——检索增强生成、语言模型对齐

一、 主题: 检索增强生成主讲人: 梁延杰摘要: 让大型语言模型(LLM)生成的内容准确、可信、可追溯至关重要,尤其是在需要多步骤推理且每一步都需要知识来解决的复杂知识密集型任务中。检索增强生成很有可能解决这个问题。然而,在哪里以及如何将信息检索(IR)引入LLM是一个很大的挑战。以往的工作存在IR检索到的错误知识误导LLM以及IR和LLM之间的交互破坏LLM推理链的问题。本文提出了一种名为搜索链(SearChain)的新颖框...