课程简介

自然语言处理（NLP）也称为计算语言学，研究如何采用计算手段处理人类语言的理论、技术和系统，包括语言表示、存储、处理和理解等，是人与计算机进行自然交互的重要手段，是信息时代最重要的智能技术之一。自然语言处理技术的相关应用无处不在，如网络搜索，医药问答，客户服务，语言翻译，学术报告等。

近年来，以大数据和深度学习为代表的智能技术和高性能计算系统得到广泛应用，大幅提升了多项自然语言处理任务的性能，特别是以自然语言处理为基础的大模型技术，在科学、工程、社会学等广泛领域带来的深远影响，称为智能时代不可或缺的工具。本课程将从语言学知识出发，详细讲解计算机语言任务的基本原理和大模型技术。

本课程采用课堂教学、课堂讨论和作业等教学形式，培养学生掌握自然语言处理相关基本理论和知识，培养应用智能技术分析问题和解决问题的能力，以及智能技术引导的辩证思维方式。

课程大纲

第1讲：自然语言处理与大模型概述（2小时）

讲述自然语言处理技术发展历程，分析其特点、动机和困难。讨论大规模预训练语言模型对学术界与工业界带来的革命性影响。

第2讲：语言模型（2小时）

讲解语言模型的本质和意义、基本的统计语言模型和评估方法；

第3讲：自然语言表征技术（词向量表示）（2小时）

主要讲述自然语言表征技术和理解技术，包括词袋模型、TF-IDF、分布式表示（Word2Vec）等技术细节，分析讨论不足。

第4讲：基于深度网络的序列表征与语义理解技术（2小时）

讨论基于神经网络的语言模型建模技术细节，分析优势和劣势；讲解不同的神经网络架构与注意力机制、Transformer的核心组件（自注意力机制、位置编码等）。

第5讲：大模型预训练技术（2小时）

讲解几种代表性大模型预训练技术，包括双向预训练与掩码语言模型（MLM）、自回归任务与生成式任务等，以及相关数据集和数据预处理方法。

第6讲：大模型微调技术（2小时）

讲解大模型微调技术、微调使用的自然语言处理任务和使用的数据集情况。

第7讲：大模型评估方法和推理机制（2小时）

讲解面向大模型的人本智能评估框架，分析模型偏见与公平性问题、生成内容的可信度与虚假信息风险等关键问题。讲解大模型应用中面临的典型问题和主要解决方案，以及智能体技术等前沿进展。

第8讲：大模型时代的技术和社会关注（2小时）

讨论大模型对于科研与知识生产的影响，以及人工智能技术对科研范式的潜在重塑，分析大模型带来的监管与治理问题。学生汇报课程项目进展、进行交流讨论。最后进行课程总结。