面向文本知识推理模型持续学习的样本选择方法和装置

摘要:

一种面向文本知识推理模型持续学习的样本选择方法和装置,属于自然语言推理的技术领域,包括历史任务样本选取和当前任务样本选取;其中所述历史任务样本选取包括:确定选取加入记忆集中的样本个数;选取样本:通过代表性、差异性、平衡性指标衡量样本来选取记忆集,并在选取样本时,利用下述两种方案之一遍历样本;其中,当前任务样本选取包括:样本代表性分析、样本困难性分析和样本采样。本发明能够兼顾代表性、平衡性和差异性等样本性质,相比于既往技术基于聚类中心选取代表性样本的方法,能更好地适配复杂文本推理场景,有效地使用少量样本去近似原样本的分布,使模型记忆历史任务上学习到的知识。