一、 主题：一种新的预训练文本编码器——ELECTRA主讲人：杨涛摘要：本次讨论班讨论一种新的叫作ELECTRA的预训练文本编码器。论文提出了一个新的预训练任务——replace token detection，即以判别式模型判定单词是否被修改，解决了以MLM这一生成式任务做预训练所带来的一些问题，如两阶段输入不匹配、计算代价高等。实验证明，ELECTRA以更低的参数量和计算量，获得了在下游任务上比BERT等更好的表现。时间和地点：11月28日9:00...
一、 主题：机器翻译、seq2seq与注意力机制主讲人：侯庆锐摘要：本节课引入了一个新的NLP任务：机器翻译，并介绍了seq2seq模型。seq2seq是一种重要的encoder-decoder式模型，在多种NLP任务中发挥了重要的作用。而在对它的改进中，注意力（Attention）机制是十分关键的，它同样可以应用于多种机器学习任务。时间和地点：11月21日15:00-17:00（星期六下午3点-5点），软件学院办公楼310会议
一、 主题：以深度论文推荐相关方法为例的文献综述经验分享主讲人：谢翌摘要：经典的引文推荐模型可被分为三种主要方式：基于文本的过滤、协同过滤、基于图的推荐。这类方法往往受到数据稀疏、冷启动等困扰，无法为用户提供优质的推荐结果。近年来，相关科研人员将注意力集中到利用复杂的深度神经网络来进行引文推荐，捕获论文的语义表征和相关上下文信息，从而显著改善最终推荐结果。本次讨论班针对深度论文推荐问题，综述这...
2020年11月12日，“CCF走进高校活动”来到了山东女子学院。本次报告邀请了中国计算机学会协同计算专委会副主任、系统软件专委会委员、山东大学孙宇清教授，中国计算机学会协同计算专委、服务计算专委委员、大数据专委通讯委员、山东大学刘士军教授两位讲者。山东女子学院数据科学与计算机学院的教师及学生100余人参与了此次报告会。孙宇清教授的讲座——“识文可否知意”， 从语言的要素出发，回顾语言数字化、机械化到智能化的...
一、 主题：梯度消失及RNN变体主讲人：杨涛摘要：传统的RNN中存在着梯度消失问题，导致模型很难保留较长时间步前的信息。本次讨论，分析产生梯度消失问题的原因，并对解决这一问题的两种RNN变体（LSTM，GRU）进行介绍。 时间和地点：11月14日15:00-17:00（星期六下午3点-5点），软件学院办公楼201会议
