一、 主题： 抽象推理归纳的时态知识问答主讲人： 董照坤摘要： 在这项研究中，我们解决了在大型语言模型（llm）中增强时间知识推理的挑战。法学硕士经常在这个任务上挣扎，导致产生不准确或误导性的回答。这个问题主要是由于他们处理不断发展的事实知识和复杂的时间逻辑的能力有限。为了克服这些限制，我们提出了抽象推理归纳（ARI）框架，该框架将时间推理分为两个不同的阶段：知识不可知论阶段和基于知识的阶段。该框架为法...

一、 主题： 源语言智能体的统一化与模块化训练主讲人： 董照坤摘要： 闭源智能体存在若干问题，比如成本高昂、缺乏透明度以及不具备可复现性，尤其是在处理复杂的交互式任务时这些问题更为突出。这推动了开源替代方案的发展。我们推出了 LUMOS，它是最早用于训练基于开源大语言模型（LLM）的智能体的框架之一。LUMOS 的特点在于其具有可学习性、统一且模块化的架构，配备一个规划模块，该模块能够学习生成高层次的子目标，还有...

一、 主题： 零样本提示学习主讲人： 杨磊稳摘要： 当前零样本场景下的提示学习方法广泛依赖于具有足够人工注释数据的开发集，以在后验选择性能最佳的提示模板。这并不理想，因为在实际相关的现实世界中，没有标记数据可用。因此，我们提出了一种简单而有效的方法来筛选合理的零射击文本分类提示模板:Perplexity Selection (perfect)。我们假设语言差异可以用来衡量提示模板的有效性，从而开发出一种基于困惑的方案，允许提前预...

一、 主题： 语言模型的对齐攻击主讲人： 吴慧倩摘要： 本次分享的第一篇文章介绍新的语言模型架构：背包语言模型，该模型有着优秀的建模能力的同时提供了可解释性与可控的接口。背包语言模型为词汇表中的每个单词学习多个上下文无关意义向量并将序列中的单词表示为该序列中意义向量的上下文相关的非负线性组合，将词袋模型与注意力机制思想结合，能够被用于去偏以及可控文本生成任务。第二篇文章介绍对齐大语言模型在面对对抗...

一、 主题： 可控文本生成主讲人： 韩雨辰摘要： 第一篇工作提出了一个新的框架-定向刺激提示。该框架在提示符中引入了一个名为“定向刺激”的新组件，以提供对大语言模型的细微的、特定实例的指导和控制。使用一个相对较小且可调的LM(例如，T5)作为策略模型，为每个输入查询生成定向刺激提示。这种方法使我们能够通过优化小的可调策略模型来避免对黑盒大语言模型的直接优化。第二篇工作提出了一种可拔插的可控文本生成方法，该...