【论文翻译】KLMo: Knowledge Graph Enhanced Pretrained Language Model with Fine-Grained Relationships( 四 )
文章插图
表2：关于关系分类的结果 。
文章插图
表3：实体类型的消融研究 。
结果 我们在准确率、召回率、微f1和精度指标下评估了实体类型的各种预训练模型 。结果如表1所示 。我们可以找到以下的观察结果：(1)所有知识增强的PLMs在所有度量上的表现通常都比BERT baseline好得多 ， 这表明实体知识在注释资源有限的情况下有利于实体类型的预测 。(2)与现有的知识增强PLMs相比 ， KLMo比WKLM和ERNIE极大地提高了召回率 ， 对micro-F1分别提高了1.58和0.57 。这表明 ， 实体之间的细粒度关系有助于KLMo为更多的实体预测适当的类别 。
3.3关系分类
数据集 The CCKS 2019 Task 3 Inter-Personal Relational Extraction (IPRE) dataset (Han et al., 2020) 用于关系分类的评估 。训练集通过远程监督自动标记 ， 测试集被手动标注 。有35个关系（包括一个空关系类“NA”） ， 其中“NA”在训练集中占近86% ， 在测试集中占97% 。数据集的详细统计数据和微调设置见附录B.2 。
结果 我们采用准确率、召回率和microF1作为评价措施 。结果如表2所示 。除了BERT baseline外 ， 我们还将KLMo与官方的CNN baseline进行了比较 ， 该baseline将CNN输出作为句子嵌入 ， 并将其输入关系分类器 。从表2中可以看出 ， CNN和BERT baseline模型都表现不佳 ， 这表明数据集的难度很高 。这是由于在由远程监督自动产生的训练集中有大量的噪声标签 。
虽然数据集非常困难 ， 但我们仍然可以观察到：(1)所有知识增强的PLMs都大大提高了准确率和microF1分数 ， 这表明实体信息和KG信息都可以增强语言表示 ， 从而促进关系分类的性能 。(2) KLMo对WKLM和ERNIE的准确率显著提高 ， 对micro-F1分别提高了2.41和1.29 ， 说明KG中的细粒度关系有助于KLMo避免对噪声标签的拟合 ， 并正确预测关系
3.4 KG信息的影响
大多数NLP任务只提供文本输入 ， 而实体链接本身是一项艰巨的任务 。因此 ， 我们研究了KG实体的影响和关系对实体类型的影响 。w/o KG是指在不输入KG实体和关系的情况下对KLMo进行微调 。表3为消融实验研究的结果 。在没有KG输入进行微调的情况下 ， KLMo在准确率和召回率得分上仍大大优于BERT ， 从而在micro-F1上提高了1.74 。与使用KG的KLMo微调相比 ， 没有KG的KLMo在microf1测量上略有下降了0.84 。这表明KG信息在训练前已经被集成到KLMo中 。对于大多数特定的NLP任务 ， KLMo可以以类似于BERT的方式进行微调 。
04结论
在本文中 ， 我们提出了一种新的KG增强的预训练语言模型KLMo ， 明确地将KG实体和细粒度关系集成到语言表征学习中 。因此 ， 设计了一种新的知识聚合器来处理异构信息融合和文本知识对齐问题 。进一步 ， 联合优化了关系预测和实体链接目标 ， 以促进知识信息集成 。实验结果表明 ， KLMo的性能优于其他最先进的知识增强的PLMs ， 这验证了KG中的细粒度关系可以增强语言表示学习 ， 并有利于一些知识驱动的NLP任务 。
经验总结扩展阅读
- 【Java8新特性】- 接口中默认方法修饰为普通方法
- 美团外卖和饿了么如何实现盈利
- 蓼茸是什么东西
- qq物联是什么
- 炸萝卜饺子怎样做
- 怎样联系上下文理解词语的意思
- 美瞳什么牌子好
- 墙衣如何清洁
- 一天二十四小时有多少秒
- 怎么虚化背景