自然语言处理
任课教师:孙宇清教授
答疑地点:科研楼222+课程QQ群(714027145)
开设学期:2025年春季学期
上课时间:第1-16周,周二晚上9-10 节课19:00-21:00
上课地点:山东大学(软件园校区)1区205教室
l《自然语言处理》课程大纲[doc]
注:如需课程资源密码,请下载并填写申请表点击下载后发送至邮箱sun_yuqing@sdu.edu.cn,455086726@qq.com,或填写申请表https://www.wjx.cn/vm/QH7EIyj.aspx#。
章节 |
日期 |
主题 |
补充材料 |
数据集 |
代码 |
绪论 自然语言处理介绍 |
2025年2月18日 |
自然语言处理介绍 |
|||
第一章 词汇和词向量 |
2025年2月25日 |
词汇和词汇向量化 |
|||
WordNet |
|||||
2025年2月25日 |
词向量介绍 |
||||
词向量评估 |
|||||
第二章 中文分词 |
2025年3月4日 |
中文分词 |
|||
第三章 语言模型 |
2025年3月11日 |
语言模型、深度网络优化知识 |
|||
第四章 句法分析 |
2025年3月18日 |
句法分析 |
|||
依存句法分析 |
|||||
第五章 文本序列标注 |
2025年3月25日 |
词性标注 |
|||
2025年4月1日 |
命名实体识别、 关系抽取和知识图谱 |
||||
困难问题解答 |
2025年4月8日 |
困难问题解答 |
|||
第六章 常规语言任务和评估 |
2025年4月15日 |
机器翻译 问答系统 自动摘要 |
见附录 |
||
第七章 大模型结构和预训练 |
2025年4月22日 |
注意力机制、大模型结构、预训练 |
|||
第八章 大模型精调训练 |
2025年4月29日 |
大模型精调技术 |
|||
第九章 大模型前沿议题和讨论 |
2025年5月6日 |
自然语言推理、合成数据、模型可解释性等自然语言智能处理的前沿问题 |
|||
开放性课题答辩 |
2025年5月13日 |
学生开放性课题答辩 |
|||
2025年5月20日 |
章节 |
主题 |
补充材料 |
|||
第一章 |
词汇和词向量 |
GloVe: Global Vectors for Word Representation[pdf] | |||
Efficient Estimation of Word Representations in Vector Space[pdf] | |||||
Distributed Representations of Words and Phrases and their Compositionality[pdf] | |||||
第二章 |
中文分词 |
Sub-Character Tokenization for Chinese Pretrained Language Models[pdf] | |||
第三章 |
语言模型 |
A neural probabilistic language model[pdf] | |||
On the difficulty of training recurrent neural networks[pdf] | |||||
第四章 |
句法分析 |
A Fast and Accurate Dependency Parser using Neural Networks[pdf] | |||
Stack-Pointer Networks for Dependency Parsing[pdf] | |||||
Deep Biaffine Attention for Neural Dependency Parsing[pdf] | |||||
第五章 |
文本序列标注 |
Bidirectional LSTM-CRF models for sequence tagging[pdf] | |||
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF[pdf] | |||||
第六章 |
常规语言任务和评估 (机器翻译 问答系编辑文章:自然语言处理统与自动摘要) |
A Light Transfer Model for Chinese Named Entity Recognition for Specialty Domain[pdf] |
|||
Early Results for Named Entity Recognition with Conditional Random Fields FeatureInduction and Web-Enhanced Lexicons[pdf] | |||||
A Unified MRC Framework for Named Entity Recognition[pdf] | |||||
Distant supervision for relation extraction without labeled data[pdf] | |||||
A Survey on Text Classification: From Shallow to Deep Learning[pdf] | |||||
Convolutional Neural Networks for Sentence Classification[pdf] | |||||
BLEU: a Method for Automatic Evaluation of Machine Translation[pdf] | |||||
Learning Phrase Representations using RNN Encoder–Decoder for Statistical MachineTranslation[pdf] | |||||
Neural Machine Translation by Jointly Learning to Align and Translate[pdf] | |||||
Know What You Don't Know: Unanswerable Questions for SQuAD[pdf] | |||||
A thorough examination of the CNN/daily mail reading comprehension task[pdf] | |||||
Bidirectional attention flow for machine comprehension[pdf] | |||||
Dynamic coattention networks for question answering[pdf] | |||||
TextRank:Bringing Order into Texts[pdf] | |||||
SummaRuNNer: A Recurrent Neural Network based Sequence Model for ExtractiveSummarization of Documents[pdf] | |||||
Get to the point: Summarization with pointer-generator networks[pdf] | |||||
第七章 第八章 |
大语言模型 大模型精调训练 |
Attention Is All You Need[pdf] | |||
Deep contextualized word representations[pdf] | |||||
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[pdf] |
|||||
GPT-4 Technical Report[pdf] | |||||
第九章 |
大模型前沿议题和讨论 |
What do you learn from context? Probing for sentence structure in contextualized word representations[pdf] |
|||
Talkin' 'Bout AI Generation: Copyright and the Generative-AI Supply Chain[pdf] | |||||
第六章 数据集 |
CNN/DailyMail |
课外资源:
l李沐-动手学深度学习
课程官网:《动手学深度学习》 — 动手学深度学习 2.0.0-alpha2 documentation (d2l.ai)
教材及参考书
【教材】
自然语言处理综论(第二版),Daniel Jurafsky(D.朱夫斯凯),James H.Martin(J.H.马丁) 著,冯志伟 译。电子工业出版社.
【参考书】
(1) 电子版英文教材Speech and Language Processing. Dan Jurafsky and James H. Martin. Free Pdf @ https://web.stanford.edu/~jurafsky/slp3/ed3book.pdf
(2) 统计自然语言处理(第二版).宗成庆 著,清华大学出版社,出版时间:2013, ISBN:9787302319115
(3) 统计学习方法. 李航 著, 清华大学出版社, 2013, ISBN:978-7-302-27595-4
(4) 自然语言处理原理与技术实现,罗刚等。电子工业出版社。电子工业出版社, ISBN:978-7-121-28620-9
(5) 课件参考: http://splab.sdu.edu.cn/zryycl1.htm
(6) 课件参考: https://web.stanford.edu/class/cs224n/
(7) 深度学习教材,电子版http://www.deeplearningbook.org/
(8) Tools and corpora: https://nlp.stanford.edu/links/statnlp.html (Statistical natural language processing and corpus-based computational linguistics: An annotated list of resources)
(9) 其他中文材料教师随堂提供或网络形式提供。