一种面向数据增强的词汇组合知识建模方法及装置
摘要:
本发明提出一种基于词汇组合频发模式建模的可复用词汇语用知识建模方法,针对词汇组合知识,基于海量真实语料库,建模词汇和句法关系的组合规律,利用预训练词向量表示词汇语义,使用依存句法映射函数关联词汇语义和句法信息,通过句法空间的能量函数评估随机词汇组合的合理性。本发明能够提高文本改写质量,有效提升数据增强效果。
本发明提出一种基于词汇组合频发模式建模的可复用词汇语用知识建模方法,针对词汇组合知识,基于海量真实语料库,建模词汇和句法关系的组合规律,利用预训练词向量表示词汇语义,使用依存句法映射函数关联词汇语义和句法信息,通过句法空间的能量函数评估随机词汇组合的合理性。本发明能够提高文本改写质量,有效提升数据增强效果。