一、 主题： 检索增强生成主讲人： 梁延杰摘要： 让大型语言模型（LLM）生成的内容准确、可信、可追溯至关重要，尤其是在需要多步骤推理且每一步都需要知识来解决的复杂知识密集型任务中。检索增强生成很有可能解决这个问题。然而，在哪里以及如何将信息检索（IR）引入LLM是一个很大的挑战。以往的工作存在IR检索到的错误知识误导LLM以及IR和LLM之间的交互破坏LLM推理链的问题。本文提出了一种名为搜索链（SearChain）的新颖框...
一、 主题： 自我反思：学会通过自我反思来检索、生成和批评主讲人： 梁延杰摘要： 尽管大型语言模型 (LLM) 具有卓越的功能，但由于它们仅依赖于所封装的参数知识，因此通常会产生包含事实不准确的响应。检索增强生成（RAG）是一种通过检索相关知识来增强语言模型的临时方法，可以减少此类问题。然而，不加区别地检索和合并固定数量的检索到的段落，无论检索是否必要，或者段落是否相关，都会降低 LM 的多功能性或可能导致生成...
一、 主题： 使用模态相关预训练的文本到代码生成主讲人： 贾颖欣摘要： 大型预训练语言模型通常是将自然语言和程序语言这两种模态映射到相同的嵌入空间中。然而，编程语言关键字（例如“while”）通常具有非常严格定义的语义。因此，从他们的自然语言使用中进行迁移学习可能不一定对他们的代码应用有益，反之亦然。假设一个已经预先训练好的语言模型，在这项工作中，作者研究了如何根据令牌序列所属的模态（自然语言/程序语言...
一、 主题： 多粒度答案的开放域问题解答主讲人： 梁延杰摘要： 事实问题通常可以在不同的粒度级别上得到正确回答。然而，标准问答 (QA) 评估协议并未明确考虑这一点，而是将预测答案与单一粒度级别的参考答案进行比较。在这项工作中，提出了 GRANOLA QA，这是一种新颖的评估设置，其中根据一组多粒度答案的准确性和信息量来评估预测答案。提出了一种简单的方法，用于通过多粒度答案丰富现有数据集，并创建 GRANOLA-EQ，这是 EN...
一、 主题： 多文档问答中的知识图提示主讲人： 梁延杰摘要： 大型语言模型（LLM）的“预训练、提示、预测”范式在开放域问答（OD-QA）方面取得了显着的成功。然而，很少有作品在多文档问答（MD-QA）中探索这种范式，这项任务需要彻底理解文档内容和结构之间的逻辑关联。为了填补这一关键空白，我们提出了一种知识图提示（KGP）方法来制定正确的上下文来提示法学硕士进行MD-QA，该方法由图构建模块和图遍历模块组成。对于图构建...
