一、 主题： 自我反思：学会通过自我反思来检索、生成和批评

主讲人： 梁延杰

摘要： 尽管大型语言模型 (LLM) 具有卓越的功能，但由于它们仅依赖于所封装的参数知识，因此通常会产生包含事实不准确的响应。检索增强生成（RAG）是一种通过检索相关知识来增强语言模型的临时方法，可以减少此类问题。然而，不加区别地检索和合并固定数量的检索到的段落，无论检索是否必要，或者段落是否相关，都会降低 LM 的多功能性或可能导致生成无用的响应。我们引入了一个名为自反射检索增强生成（SELF-RAG）的新框架，它通过检索和自反射来提高 LM 的质量和事实性。我们的框架训练一个任意的 LM，它可以自适应地按需检索段落，并使用特殊的标记（称为反射标记）生成并反映检索到的段落及其自己的生成。生成反射令牌使 LM 在推理阶段可控，使其能够根据不同的任务要求调整其行为。实验表明，SELFRAG（7B 和 13B 参数）在各种任务上显着优于最先进的 LLM 和检索增强模型。具体来说，SELF-RAG 在开放域 QA、推理和事实验证任务上优于 ChatGPT 和检索增强的 Llama2-chat，并且相对于这些模型，它在提高长格式生成的事实性和引用准确性方面显示出显着的收益。 1

时间和地点：4月20日9：00-10：00 办公楼310会议室

                       腾讯会议 ID：784-1775-2497

二、 主题：使用大型语言模型和人工干预的文本数据生成

主讲人： 李呈韬

摘要： 生成式大型语言模型(LLMs)的进展，如GPT-3 ，提出了一种为分类模型创建训练数据的新方法。模型构建者可以向LLM提示感兴趣的文本域和标签，LLM可以快速为模型构建者的需求生成文本数据。这种方法允许模型构建者获取大量数据，即使他们最初没有或只有少量数据实例。使用生成的数据，模型构建者可以训练一个单独的负担得起的模型(例如，BERT )来执行特定的任务。虽然llm可以通过少样本学习直接支持这种分类任务，但它可能不是每个模型构建器的最佳选择——有些模型构建器可能没有足够的资源(例如gpu)或预算来运行昂贵的模型。本文研究了人- ai伙伴关系，以基于llm的文本生成有效地创建高质量的数据集。高质量的数据集应该具有较高的多样性和覆盖率，告知模型可能遇到的数据范围。同时，生成的文本应该具有较高的准确性，与模型的目标任务相关，同时具有准确的伴随标签。

时间和地点：4月20日10：00-10：30 办公楼310会议室

                    腾讯会议 ID：784-1775-2497

图文作者：杨磊稳    责任编辑：孙宇清