语义计算实验室2020秋季学期讨论班(7)
一、 主题:以深度论文推荐相关方法为例的文献综述经验分享
主讲人:谢翌
摘要:经典的引文推荐模型可被分为三种主要方式:基于文本的过滤、协同过滤、基于图的推荐。这类方法往往受到数据稀疏、冷启动等困扰,无法为用户提供优质的推荐结果。近年来,相关科研人员将注意力集中到利用复杂的深度神经网络来进行引文推荐,捕获论文的语义表征和相关上下文信息,从而显著改善最终推荐结果。本次讨论班针对深度论文推荐问题,综述这类研究的优缺点是什么、在相同评估指标下的表现如何、常用哪些数据集、又面临哪些的挑战。
时间和地点:11月14日10:00-11:00(星期六上午10点-11点),软件学院办公楼201会议室
二、 主题:不要停止预训练
主讲人:吴佳琪
摘要:近年来,各式各样的预训练模型备受关注。但你是否认真思考过,直接拿预训练模型如BERT对目标任务进行微调就够了吗?是否还有廉价的提升方法?在直接对任务进行微调效果不佳时改怎么办?ACL2020最佳论文提名奖论文用完备的实验告诉你,在目标领域和任务上不要停止预训练,效果还会有很大的提升。
时间和地点:11月14日11:00-12:00(星期六上午11点-12点),软件学院办公楼201会议室
三、 主题:卷积网络
主讲人:夏天宇
摘要:卷积网络,是一种专门用来处理具有类似网络结构的数据的神经网络。本章我们首先说明什么是卷积计算,接着会解释在神经网络中使用卷积运算的动机,然后会介绍池化,之后我们会讨论使得卷积运算更高效的一些方法,还会讨论这些神经科学的原理。本章的目标是说明卷积网络提供的各种工具。
时间和地点:11月17日13:30-16:00(星期二下午1点30分-4点),软件学院办公楼201会议室
四、 主题:梯度消失及RNN变体
主讲人:杨涛
摘要:传统的RNN中存在着梯度消失问题,导致模型很难保留较长时间步前的信息。本次讨论,分析产生梯度消失问题的原因,并对解决这一问题的两种RNN变体(LSTM,GRU)进行介绍。
时间和地点:11月14日15:00-17:00(星期六下午3点-5点),软件学院办公楼201会议室