自然语言处理

任课教师:孙宇清教授

答疑地点:科研楼222+课程QQ群(714027145)

开设学期:2025年春季学期

上课时间:第1-16周,周二晚上9-10 节课19:00-21:00

上课地点:山东大学(软件园校区)1区205教室

l《自然语言处理》课程大纲[doc]

注:如需课程资源密码,请下载并填写申请表点击下载后发送至邮箱sun_yuqing@sdu.edu.cn,455086726@qq.com,填写申请表https://www.wjx.cn/vm/QH7EIyj.aspx#

章节

日期

主题

补充材料

数据集

代码

绪论 自然语言处理介绍

2025年2月18日

自然语言处理介绍

课程笔记

相关工作

Google News

Wikipedia + Giga word

Twitter

word2vec

GloVe

第一章 词汇和词向量

2025年2月25日

词汇和词汇向量化

WordNet

2025年2月25日

词向量介绍

词向量评估

第二章 中文分词

2025年3月4日

中文分词

课程笔记

SIGHAN Bakeoff 2005

jieba

第三章 语言模型

2025年3月11日

语言模型、深度网络优化知识

课程笔记

相关工作

Wikitext-2

wikitext-103

RNNLM

GPT-2

GPT-3

第四章 句法分析

2025年3月18日

句法分析

课程笔记

相关工作

Penn Treebank

LAL-Parser

依存句法分析

第五章 文本序列标注

2025年3月25日

词性标注

课程笔记

相关工作

Tweebank CoNLL 2003 (English)

Ontonotes v5 (English)

ACE

BERTweet

2025年4月1日

命名实体识别、

关系抽取和知识图谱

课程笔记

相关工作

CoNLL 2003 (English)

Ontonotes v5 (English)

OntoNotes 4.0

Biaffine-NER

BERT-MRC

困难问题解答

2025年4月8日

困难问题解答

第六章 常规语言任务和评估

2025年4月15日

机器翻译

问答系统

自动摘要


相关工作

见附录

Transformer Cycle

Transformer+BT

LUKE

llama

Chinese-Vicuna

第七章 大模型结构和预训练

2025年4月22日


注意力机制、大模型结构、预训练

GPT3InstructGPTGPT4

c4

第八章 大模型精调训练

2025年4月29日


大模型精调技术

第九章 大模型前沿议题和讨论

2025年5月6日

自然语言推理、合成数据、模型可解释性等自然语言智能处理的前沿问题




开放性课题答辩

2025年5月13日

学生开放性课题答辩



2025年5月20日





章节

主题

补充材料

第一章

词汇和词向量

GloVe: Global Vectors for Word Representation[pdf]
Efficient Estimation of Word Representations in Vector Space[pdf]
Distributed Representations of Words and Phrases and their Compositionality[pdf]

第二章

中文分词

Sub-Character Tokenization for Chinese Pretrained Language Models[pdf]

第三章

语言模型

A neural probabilistic language model[pdf]
On the difficulty of training recurrent neural networks[pdf]

第四章

句法分析

A Fast and Accurate Dependency Parser using Neural Networks[pdf]
Stack-Pointer Networks for Dependency Parsing[pdf]
Deep Biaffine Attention for Neural Dependency Parsing[pdf]

第五章

文本序列标注

Bidirectional LSTM-CRF models for sequence tagging[pdf]
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF[pdf]

第六章

常规语言任务和评估

机器翻译

问答系编辑文章:自然语言处理统与自动摘要)

A Light Transfer Model for Chinese Named Entity Recognition for Specialty Domain[pdf]
Early Results for Named Entity Recognition with Conditional Random Fields FeatureInduction and Web-Enhanced Lexicons[pdf]
A Unified MRC Framework for Named Entity Recognition[pdf]
Distant supervision for relation extraction without labeled data[pdf]
A Survey on Text Classification: From Shallow to Deep Learning[pdf]
Convolutional Neural Networks for Sentence Classification[pdf]
BLEU: a Method for Automatic Evaluation of Machine Translation[pdf]
Learning Phrase Representations using RNN Encoder–Decoder for Statistical MachineTranslation[pdf]
Neural Machine Translation by Jointly Learning to Align and Translate[pdf]
Know What You Don't Know: Unanswerable Questions for SQuAD[pdf]
A thorough examination of the CNN/daily mail reading comprehension task[pdf]
Bidirectional attention flow for machine comprehension[pdf]
Dynamic coattention networks for question answering[pdf]
TextRank:Bringing Order into Texts[pdf]
SummaRuNNer: A Recurrent Neural Network based Sequence Model for ExtractiveSummarization of Documents[pdf]
Get to the point: Summarization with pointer-generator networks[pdf]

第七章

第八章

大语言模型

大模型精调训练

Attention Is All You Need[pdf]
Deep contextualized word representations[pdf]

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[pdf]

GPT-4 Technical Report[pdf]

第九章

大模型前沿议题和讨论

What do you learn from context? Probing for sentence structure in contextualized word representations[pdf]
Talkin' 'Bout AI Generation: Copyright and the Generative-AI Supply Chain[pdf]

第六章 数据集


WMT2014 English-German

WMT2014 English-French

                                         SQuAD

MS MARCO

TriviaQA

Natural Questions

WikiQA

NewsQA

UC-2001~2007

TAC-2008~2015

Gigawords

CNN/DailyMail 


课外资源:

l李沐-动手学深度学习

课程官网:《动手学深度学习》 — 动手学深度学习 2.0.0-alpha2 documentation (d2l.ai)

教材及参考书

【教材】

自然语言处理综论(第二版),Daniel Jurafsky(D.朱夫斯凯),James H.Martin(J.H.马丁) 著,冯志伟 译。电子工业出版社.

【参考书】

(1) 电子版英文教材Speech and Language Processing. Dan Jurafsky and James H. Martin. Free Pdf @ https://web.stanford.edu/~jurafsky/slp3/ed3book.pdf

(2) 统计自然语言处理(第二版).宗成庆 ,清华大学出版社,出版时间:2013, ISBN9787302319115

(3) 统计学习方法. 李航 , 清华大学出版社, 2013, ISBN978-7-302-27595-4

(4) 自然语言处理原理与技术实现,罗刚等。电子工业出版社。电子工业出版社, ISBN978-7-121-28620-9

(5) 课件参考: http://splab.sdu.edu.cn/zryycl1.htm

(6) 课件参考: https://web.stanford.edu/class/cs224n/

(7) 深度学习教材,电子版http://www.deeplearningbook.org/

(8) Tools and corpora: https://nlp.stanford.edu/links/statnlp.html (Statistical natural language processing and corpus-based computational linguistics: An annotated list of resources)

(9) 其他中文材料教师随堂提供或网络形式提供。