一、 主题： 使用模态相关预训练的文本到代码生成

主讲人： 贾颖欣

摘要： 大型预训练语言模型通常是将自然语言和程序语言这两种模态映射到相同的嵌入空间中。然而，编程语言关键字（例如“while”）通常具有非常严格定义的语义。因此，从他们的自然语言使用中进行迁移学习可能不一定对他们的代码应用有益，反之亦然。假设一个已经预先训练好的语言模型，在这项工作中，作者研究了如何根据令牌序列所属的模态（自然语言/程序语言）进行不同的调整和表示，并为下游任务带来最终好处。在进一步的模型预训练过程中，作者使用模态相关训练目标分离模态之间的嵌入空间。作者专注于文本到代码的生成，并观察到两个主干模型和两个测试集的一致改进。

时间和地点：4月13日9：00-9：30 办公楼310会议室

                       腾讯会议 ID：784-1775-2497

二、 主题： 预训练语言模型中的人格评价与诱导

主讲人： 范禄珂

摘要： 机器行为的标准化和量化评估是理解LLMs的关键。在这项研究中，作者受到心理测量研究的启发，利用人类个性理论作为研究机器行为的工具。作为对人类行为的哲学探索起源，个性研究深入探讨了个体在思维、感情和行为上的差异。为了构建和理解类似人类的社交机器，作者不由得发问：能否通过利用人类心理测量测试以一种原则性和量化的方式评估机器行为？如果可以，能否在LLMs中诱导特定的个性？为了回答这些问题，作者引入了机器个性清单(MPI)工具来研究机器行为；MPI遵循标准化的个性测试，建立在大五人格因素(Big Five)理论和个性评估清单之上。通过使用MPI系统评估LLMs，作者提供了第一批证据，证明了MPI在研究LLMs行为方面的有效性。作者进一步设计了一个个性提示(P2)的方法，以可控的方式诱导LLMs具有特定的个性，能够产生多样化和可验证的行为。作者希望这项工作通过采用个性作为各种下游任务的重要指标，为未来的研究提供启示，并可能进一步激发对同样引人入胜的类人机器行为的研究。

时间和地点：4月13日9：30-10：00 办公楼310会议室

                    腾讯会议 ID：784-1775-2497

图文作者：杨磊稳    责任编辑：孙宇清