语义计算实验室2020秋季学期讨论班(4)

一、 主题:无参数句嵌入

      主讲人:杨涛

      摘要:近年来,表示词的语义信息的词嵌入技术已在许多NLP任务上取得可喜成果,促使了在更长文本如句子和段落上寻求稳定语义嵌入工作的研究。目前的句嵌入研究可分为有参数和无参数两类大的方向。论文《Parameter-free Sentence Embedding via Orthogonal Basis》提出了一种新的无参句嵌入方法。通过对句子中词汇的新颖性、重要性、独特性进行数值度量,再对词嵌入加权求和获得句向量。在多个NLP任务中效果优于以往所有无参方法,并优于许多有参方法。

       时间和地点:10月24日9:00-10:30(星期六上午9点-10点30分),软件学院办公楼201会议室


二、 主题:句向量

     主讲人:夏天宇

     摘要:quick-thought模型将预测句子出现的上下文的问题重新表述为一个分类问题。在给定一个句子和它所处的语境下,分类器根据其向量表示将上下文句子与其他对比句子区分开来。Sentence-BERT是一个经过预训练的BERT网络的改进,它使用孪生网络和三元组网络结构来导出语义上有意义的句向量,可以使用余弦相似度进行比较。

      时间和地点:10月24日10:30-12:00(星期六上午10点30分-12点),软件学院办公楼201会议室


三、 主题:深度前馈网络

    主讲人:夏天宇

    摘要:本章介绍典型的深度学习模型深度前馈网络,先从前馈网络的一个简单例子说起,解决一个非常简单的任务:学习XOR函数。然后介绍如何使用基于梯度的学习算法。对于前馈神经网络独有的问题,介绍应该如何选择隐藏单元的类型。神经网络设计的另一个关键点是确定它的架构,具有隐藏层的前馈网络提供了一种万能近似框架。

     时间和地点:10月24日13:30-15:00(星期六下午1点30分-3点),软件学院办公楼201会议室


四、 主题:Word Window Classification, Neural Networks, and Matrix Calculus

   主讲人:侯庆锐

   摘要:本课从传统的线性分类器开始,引入对人工神经网络技术的介绍,并以Window Classification算法为例,讲解其在命名实体识别等领域的应用。

    时间和地点:10月24日15:00-17:00(星期六下午3点-5点),软件学院办公楼201会议室