融入先验知识的作文评语生成方法及装置
摘要:
本发明在作文评语生成过程中,融合了两种知识,来共同生成高质量的作文评语,分别是:内部知识和先验知识。内部知识是指通过对作文内容的理解和概括得到的作文语义知识,先验知识则是指学习到的与作文标签相关的常频词汇知识,例如符合标签的一些常用的作文评价词汇。为解决长文本理解挑战,本发明采用无监督摘要抽取方法,抽取长文本中的核心内容构成作文摘要。在训练过程中,解码器每次生成一个字,多次迭代后生成完整的文本。解码过程中,采用注意力模块得到当前解码器状态对内部知识的注意力分布,采用互注意力模块得到当前解码状态和内部知识共同对先验知识的注意力分布,最后通过语义融合模块将内部知识和先验知识融合到解码过程中。基于以上方法生成的作文评语内容不仅包含作文核心内容,还包含了对作文各个角度的评价,使得评语内容丰富且具备评价性质。在生成过程中,根据每一步得到的结果和参考评语中对应位置的字计算损失函数,以此来更新模型的参数。