当前知识表示学习方法都采用对三元组打分的方式来判断其正确性，在负采样和推理过程都容易受到知识图谱嵌入表示不确定性的影响造成一些不符合常识的错误结果，而具有常识的人们可以轻松解决这一问题。
为此，我们提出了一种从知识图谱中自动生成常识的机制为事实三元组提供更多确定性语义信息，进一步设计了常识感知的高质量负采样策略促进更有效的知识表示学习训练过程，并采用常识和事实联合驱动的多视角推理方法提高推理的准确性。
实验表明，对已有的几个知识表示学习模型扩展到我们提出的名为CAKE的框架中，均可以通过补充常识角度的语义信息提高推理精度，说明该框架具有良好的可扩展性。本期AI TIME PhD直播间，我们邀请到北京航空航天大学计算机科学与技术专业博士研究生——牛广林，为我们带来报告分享《常识和事实联合驱动的知识图谱推理框架》。

牛广林：北京航空航天大学计算机科学与技术专业博士研究生，主要研究方向为符号规则与常识知识指导的知识图谱表示学习和推理。

01研究背景和挑战本研究面临的主要问题，就是知识图谱补全（KGC，Knowledge Graph Completion）任务，也称为知识图谱推理。知识图谱是采用有向图的结构来表示知识的一种方式，其中节点表示的是实体，边表示的是关系。
知识图谱最大的好处是以符号这种可解释的方式建立了实体之间的关联，在很多人工智能领域的应用中通过提供有效的知识提高了算法的性能。
然而，很多知识图谱是不完备的，在使用知识图谱的过程中需要采用推理方法对知识图谱进行补全，帮助大家更有效地利用知识图谱。一个知识图谱示例和知识图谱推理任务如下图所示：

当前主要的知识图谱推理方法可以分为以下三类：

• 基于规则的方法。设计规则学习算法，从知识图谱中自动挖掘出一些规则并利用规则进行推理。
• 基于路径的方法。从一个实体出发，让智能体自主选择一条路径，这条路径到达的尾实体就是我们要的推理结果。
• 基于知识表示学习（KGE，KG Embedding）的方法。KGE方法首先需要学习实体和关系的嵌入表示（embedding），然后在推理过程中利用实体和关系embedding为每一个候选三元组进行打分，根据分数对所有候选三元组排序，最后将排名较高的三元组作为推理结果。

在这三类方法中，KGE方法当前取得了更好的性能。然而，该方法在训练和推理阶段分别面临着一个问题。

通常KGE方法需要同时有正样本和负样本作为模型的输入，但是知识图谱中只有正样本，因此需要负采样过程生成负样本。
但是因为知识图谱中是没有负样本的，所以我们也无法直接评估负样本的好坏，这也会随之引发两个问题：

• 假阴性三元组（False-negative triples）：生成了不在知识图谱中但是正确的三元组；
• 低质量负三元组（Low-quality negative triples）：生成的负样本与正样本差距太大，因此这类负样本质量较差，容易导致模型训练过程中梯度消失。

目前的方法在推理阶段都是通过对候选三元组进行打分，根据候选三元组分值的高低来评估三元组成立的可能性，并将最可能成立的三元组作为推理结果，然而这种数据驱动的方式得到的推理结果可能由于受到实体和关系embedding不确定性的影响，导致一些不符合常识的错误结果。
我们计划引入一些常识知识，因为这类知识包含高阶的语义信息，可能会对负采样和推理过程有所帮助。大多数常识图谱是把常识知识表示成实体类型（或称概念）之间的关联关系。

不同于知识图谱中的事实，常识知识属于比较抽象的语义信息，因此需要通过手工标注构造常识，导致常识图谱的建立成本较高。
我们也想利用一些已有的常识图谱，如ConceptNet。但是，ConceptNet这类常识图谱中的实体类型都缺乏与之对应的实体之间的链接，而我们面对的知识图谱推理任务是要对实体进行推理，这说明我们无法直接使用已有的常识图谱。

02核心创新点
为了解决以上问题，我们提出了一种可扩展的常识感知知识嵌入框架——Commonsense-Aware Knowledge Embedding (CAKE)。通过采用一种常识生成的机制，自动地从知识图谱中抽取常识知识。
基于得到的常识知识，在训练当中通过一种常识感知的负采样策略来生成有效和高质量的负样本，不同于已有的负采样过程一开始都是随机生成三元组，我们的负采样策略可以在一开始借助常识知识进行有针对性地筛选负样本，解决假阴性和低质量的问题。
在推理阶段，我们选择一些符合常识的正确实体类型作为候选实体的合理范围，进而从这些满足常识约束的候选实体中得到推理结果，能够有效提高推理的准确性。

此外，现在的一些推理方法都是定制化的，模型较为固定，可扩展性有限。我们的方法是一种可扩展的框架，在一些不同的benchmark上将一些已有模型拓展到我们常识感知的框架上都可以得到性能提升。接下来就是一些具体的方法。

03方法介绍

我们模型的整体pipeline分为3个子模块：
第一个是常识自动生成的模块ACG模块——通过一种实例抽象化的机制，利用知识图谱中事实三元组以及每个实体自带的实体类型从知识图谱中自动抽取常识知识。
第二种是常识感知的负采样策略CANS模块——利用生成的常识知识以及复杂关系特性（一对多等）生成一些高质量的负样本。
第三种是MVLK模块，也称为多视角推理——将整个推理过程分为了由粗到细的推理模式。
我们首先从常识的角度筛选出我们推理的范围，在这个可靠范围中在事实角度进行打分并得到推理结果。
     该模块主要依赖entity-to-concept converter（从实体到类型的转换器），大多数知识图谱都具有本体层，本体层中包含了和实体对应的类型信息，我们将知识图谱中的实体转换为其对应的实体类型，同时复用事实三元组中的关系，建立形式为（头实体类型，关系，尾实体类型）的常识知识。

可以看到，这样的常识一方面是可扩展性比较强，而且质量也比较高。针对这种常识，我们将其表示成两种不同的形式。
在这种个体形式的常识中，每个元素都是由头实体类型、尾实体类型和他们之间关系组成的三元组。形式如下所示：

集合形式的常识中的每个元素是一个关系与其关联的所有头实体集合和尾实体集合。之设计这两种不同形式的常识，是因为这两种形式的常识将分别用于不同的任务中。

构造常识感知的负采样CANS模块主要有两个角度的考虑：
一个是提高负样本的质量，满足常识知识。我们采用了集合形式的常识，是因为我们希望负样本有更好的多样性；
二是希望可以解决假阴性的问题。现在的一些负样本虽然采取三元组打分的方式，虽然负样本分值越高越可能是高质量负样本，但是也意味着其更有可能是正确的三元组，也就会导致假阴性问题。对此，我们也采取了两种不同的采样策略。
由于知识图谱中包含一对一（1-1）、一对多（1-N）、多对一（N-1）和多对多（N-N）关系，这里，我们根据复杂关系特性定义了两类实体，唯一性实体是处于“1”位置的实体，将其换成任何其他实体都会使得三元组变为错误的三元组，因此将替换唯一性实体生成负样本的过程定义为唯一性采样，这个过程中不会出现假阴性问题。为了提高负样本的质量，我们选择与唯一性实体具有相同类型的其它实体构造负样本。
与唯一性实体相对的是非唯一性实体，这类实体是处于“N”位置的实体，也就是将其替换为其它实体有可能还会得到一个正确的三元组，这个过程称为非唯一性采样。由于该采样得到的负样本是不确定的，换成任何其他实体都会使得三元组分值越高就更可能成为正确的三元组，也就是假阴性负样本。我们希望对这种潜在的假阴性负样本赋予更低的权重，使其减轻对训练过程的影响。
下面给出一个例子解释CANS模块的负采样过程，如下图所示：

• 根据集合形式的常识来选择候选实体类型：我们可以看到在图中集合形式的常识对应的头实体类型有3个，尾实体类型有2个。由于图中的关系为N-1关系，因此尾实体是唯一性实体，直接选择正确尾实体的类型作为候选替换尾实体的类型，而头实体是非唯一性实体，将常识中的3个头实体类型作为候选类型。
• 带有注意力的类型-实体转换：将候选实体类型转换为实体，得到候选负样本。进一步，为了同时解决低质量和假阴性问题，我们构造了两个不同的采样分布为候选负样本赋予一定的权重：

对于非唯一性采样得到的候选负样本，其打分得到的分值越高就越可能是假阴性负样本，因此对其赋予更低的权值。唯一性采样得到的候选负样本更可能成为高质量负样本，因此对其更高的权值。
我们可以选择任意pair-wise形式的KGE模型进行模型训练，输入正样本和CANS模块生成的高质量负样本，得到实体和关系embedding。

在模型训练之后，我们可以利用实体和关系embedding进行推理。由于我们生成的常识中的关系复用了事实中的关系，因此在推理过程中可以利用常识筛选实体类型。引入常识的优势是可以直接确定推理结果的可靠范围，由此构造了从粗到细的多视角推理机制。
在粗粒度推理阶段，针对（头实体，关系，？）这类推理问题，我们利用个体形式的常识选择一些可靠的尾实体类型，得到粗粒度的实体类型推理结果。
在细粒度推理阶段，我们在满足常识的实体类型中，选择与实体类型对应的所有实体并构造候选三元组。接着，对候选三元组进行打分并按照分值排序，将排名靠前的三元组作为结果输出。

04实验结果数据集: 我们选取了包含本体层中实体类型信息的四个数据集。

Baselines: 我们将提出的CAKE模型与三种state-of-the-art KGE 模型进行了对比，分别是TransE、RotatE 和 HAKE。
评价指标:我们选择了在知识图谱推理任务重三种常用的评价指标：评价排名(MR),平均倒数排名(MRR),和正确实体排在前N的比例(Hits@N)。
这里给出了link prediction这个任务在四个数据集上的实验结果。

• 我们提出的CAKE 模型在所有数据集上相比于所有的baseline表现最佳。
• 分别加入CANS 和MVLP模块的模型也能够得到有效的性能提升。
• 在KGE模型中引入常识知识有效提高了推理的准确性。

接着，我们将常识感知的负采样CANS与其它5种已有的负采样策略进行了对比。

我们发现常识感知的负采样策略可以显著提高性能，说明引入常识可以得到一些更高质量的负样本，同时解决了假阴性问题，有助于提高任何KGE模型的训练效果。

消融实验结果如上表所示，将常识感知负样本去除复杂关系特性（-CRNS）或常识（-CSNS），在推理阶段去除基于常识的粗粒度推理（-MVLP），可以看到这几种情况下的推理性能都有所下降，反映出我们提出的几个模块都非常有效

除了可以提高推理精度，常识还可以为我们的推理结果提供一定的可解释性。例如上图所以，推理问题（rockets, teamplaysinleague, ？）对应的常识为（sportsteam, teamplaysinleague, sportsleague），可以看到排名最前的5个推理结果的实体类型均为符合常识的sportsleague，这在一定程度上提高了用户对推理结果的信任度。

05结论

• 我们提出了一种可扩展的常识和事实联合驱动的知识图谱推理框架，可以自动地从知识图谱中抽取出一些常识知识。这些常识知识也可以用于构造高质量负样本，同时在推理阶段实现由粗到细的多视角推理过程。
• 实验结果表明常识和事实联合驱动的知识图谱推理框架的对于提高推理性能的有效性，同时展示出良好的可扩展性。
• 该方法可以从常识角度为推理结果提供一定的可解释性。

论文链接：https://www.aminer.cn/pub/621d8ece5aee126c0f73b495
论文题目：CAKE: A Scalable Commonsense-Aware Framework for Multi-View Knowledge Graph Completion