知识图谱嵌入模型 (KGE) 的总结和比较

常识图谱嵌入(KGE)是一种操纵监视进修来进修嵌入以及节点和边的向量暗示的模子。它们将“常识”投射到一个持续的低维空间，那些低维空间向量一般只要几百个维度（用来暗示常识存储的内存效率）。向量空间中，每个点代表一个概念，每个点在空间中的位置具有语义意义，类似于词嵌入。

一个好的KGE 应该具有足够的表示力来捕捉 KG 属性，那些属性处理了暗示关系的奇特逻辑形式的才能。 而且KG 能够按照要求添加或删除一些特定属性。 KGE算法可分为两类：

翻译间隔模子（translation distance models），如TransE、TransH、TransR、TransD等。语义婚配模子（semantic matching models），如DistMult。

以下是 常见的KGE 模子在捕捉关系类型方面的比力，我们将对那些常见的模子停止比力

翻译间隔模子

TransE

提出了一种基于翻译的常识图谱嵌入模子，能够捕捉多关系图中的翻译方差稳定性现象。常识图谱中的事实是用三元组 ( h , l , t ) 暗示的，transE算法的思惟十分简单，它受word2vec平移稳定性的启发，希望h + l ≈ t h+l≈th+l≈t。

那里的l1/l2是范数约束。

TransE的伪代码如下：

TransE屡次在大规模常识图谱方面表示出优良的性能。但是它不克不及有效地捕捉复杂的关系，如一对多和多对多。

TransH

TransH按照关系为每个实体供给差别的暗示向量。TransH的工做原理是为每个关系发布一个完全独立的特定于关系的超平面，如许与它联系关系的实体仅在该关系的上下文中具有差别的语义。TransH将实体嵌入向量h和t投影到映射向量Wᵣ标的目的的超平面(关系特定)。

此中Dᵣ暗示关系特定的平移向量，h和t的计算办法如下:

TransH 在必然水平上处理了复杂关系问题。 它接纳不异的向量特征空间。

TransR

TransR的理念与TransH十分类似。但它引入了特定于关系的空间，而不是超平面。实体暗示为实体空间Rᵈ中的向量，每个关系都与特定空间Rᵏ相联系关系，并建模为该空间中的平移向量。给定一个事实，TransR起首将实体暗示h和t投影到关系r特定的空间中:

那里Mᵣ是一个从实体空间到r的关系空间的投影矩阵，评分函数定义为

它可以对复杂的关系建模。但是每个关系需要O(dk)个参数。没有TransE/TransH的简单性和效率。

TransD

TransD是TransR的改良。它接纳映射矩阵，为头部和尾部实体生成两个独立的映射矩阵。它利用两个嵌入向量来暗示每个实体和关系。第一个嵌入向量暗示实体和关系的语义，第二个嵌入向量生成两个动态投影矩阵，如下图所示。

评分函数如下：

总结，下表是总结所有翻译间隔模子的比照

语义婚配模子

RESCAL

RESCAL将每个实体与一个向量相联系关系，捕捉其潜在语义。每个关系都暗示为一个矩阵，它模仿了潜在因素之间的成对彼此感化。事实(h,r,t)的分数由双线性函数定义。

此中h,t∈Rᵈ是实体的向量暗示，Mᵣ∈Rᵈ*ᵈ是与该关系相关的矩阵。那个分数捕捉了h和t的所有重量之间的成对彼此感化，每个关系需要O(d²)个参数，并进一步假设所有 Mᵣ 在一组通用的 rank-1 目标上合成。

它更大的问题是计算复杂且成本高。

TATEC

TATEC模子不只有三种彼此关系，它还包罗双向交互，例照实体和关系之间的交互。评分函数为

此中D是所有差别关系共享的对角矩阵。

DistMult

通过将Mᵣ限造为对角矩阵，DistMult简化了RESCAL。关于每个关系r，引入一个向量r∈rᵈ，并要求Mᵣ= diag(r),评分函数如下：

DistMult长处就是计算简单，成本低。但是因为模子过于简化，只能处置对称关系。关于一般kg来说，它不敷强大。

Holographic Embeddings(HolE)

HolE连系了RESCAL的表达才能和DistMult的效率和简单性。它将实体和关系从头暗示为Rᵈ中的向量。给定一个事实(h,r,t)，通过利用轮回相关操做，起首将实体暗示组合成h*t∈rᵈ：

接纳*的次要目标是操纵压缩张量积形式的复合暗示的降低复杂性。HolE操纵了快速傅里叶变更，能够通过以下体例进一步加速计算过程:

HolE每个关系只需要O(d)个参数，那比RESCAL更有效。但是HolE不克不及对不合错误的称关系建模，但在一些研究论文中，把它与扩展形式HolEX混淆了，HolEX可以处置不合错误称关系。

Complex Embeddings (ComplEx)

Complex通过引入复值嵌入来扩展DistMult，以便更好地建模非对称关系。在ComplEx中，实体和关系嵌入h,r,t不再位于实空间中，而是位于复空间中，例如Cᵈ。

那个评分函数不再对称，来自非对称关系的事实能够按照所涉及实体的挨次获得差别的分数。做为共轭对称施加于嵌入的特殊情况，HolE能够被包罗在ComplEx中。

ANALOGY

ANALOGY 扩展了RESCAL，能够进一步对实体和关系的类推属性建模。它接纳了双线性评分函数。

DistMult, HolE和ComplEx都能够做为特殊情况在ANALOGY上实现。

一下是语义婚配模子的比照总结：

Deep Scoring Functions

关于深度进修前进，还呈现了基于深度进修的评分函数

ConvE

ConvE是第一个利用卷积神经收集(CNN)来预测常识图谱中缺失环节的模子之一。与完全毗连的密集层差别，cnn能够通过利用很少的参数进修来帮忙捕捉复杂的非线性关系。ConvE在多个维度上实现了差别实体之间的当地毗连。

concat为毗连运算符，*暗示卷积，eₛ和eᵣ别离负责主题单位和关系单位的二维重塑。

ConvE不克不及捕捉三元嵌入的全局关系

ConvKB

ConbKB利用1D卷积来保留TransE的解释属性，捕捉实体之间的全局关系和时间属性。该办法将每个三元收集嵌入为三段收集，并将其馈送到卷积层，实现事实的维类之间的全局毗连。

此中Ω(过滤器集)，e(权重向量)暗示共享参数。

HyPER

HypER将每个关系的向量嵌入通过密集层投影后完全重塑，然后调整每层中的一堆卷积通道权重向量关系，如许能够有更高的表达范畴和更少的参数。

vec是将一个向量从头塑造为一个矩阵，非线性f是ReLU。

模子的空间复杂度和时间复杂度的比力

引用：

Knowledge Graph Embedding: A Survey of ApPRoaches and Applications by Quan Wang, Zhendong Mao, Bin Wang, and Li GuoA. Bordes, N. Usunier, A. Garcia-Duran, J. Weston, O. Yakhnenko, Translating embeddings for modeling multi-relational data, Advances in neural information processing systems 26 (2013)Z. Wang, J. Zhang, J. Feng, Z. Chen, Knowledge graph embedding by translating on hyperplanes, in: Proceedings of the AAAI Conference on Artificial Intelligence, volume 28.Y. Lin, Z. Liu, M. Sun, Y. Liu, X. Zhu, Learning entity and relation embeddings for knowledge graph completion, in: Twenty-ninth AAAI conference on artificial intelligence.G. Ji, S. He, L. Xu, K. Liu, J. Zhao, Knowledge graph embedding via dynamic mapping matrix, in: Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 687–696.M. Nickel, V. Tresp, H.-P. Kriegel, A three-way model for collective learning on multi-relational data, in: Icml.B. Yang, W.-t. Yih, X. He, J. Gao, L. Deng, Embedding entities and relations for learning and inference in knowledge bases, arXiv preprint arXiv:1412.6575 (2014).M. Nickel, L. Rosasco, T. Poggio, Holographic embeddings of knowledge graphs, in: Proceedings of the AAAI Conference on Artificial Intelligence, volume 30.Y. Xue, Y. Yuan, Z. Xu, A. Sabharwal, Expanding holographic embeddings for knowledge completion., in:NeurIPS, pp. 4496–4506.K. Hayashi, M. Shimbo, On the equivalence of holographic and complex embeddings for link prediction, in:Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 554–559.H. Liu, Y. Wu, Y. Yang, Analogical inference for multi-relational embeddings, in: International conference on machine learning, PMLR, pp. 2168–2178.T. Dettmers, P. Minervini, P. Stenetorp, S. Riedel, Convolutional 2d knowledge graph embeddings, in: Thirty second AAAI conference on artificial intelligence.D. Q. Nguyen, T. D. Nguyen, D. Q. Nguyen, D. Phung, A novel embedding model for knowledge base completion based on convolutional neural network, arXiv preprint arXiv:1712.02121 (2017).I. Balaževi ́c, C. Allen, T. M. Hospedales, Hypernetwork knowledge graph embeddings, in: International Conference on Artificial Neural Networks, Springer, pp. 553–565S. Sabour, N. Frosst, G. E. Hinton, Dynamic routing between capsules, arXiv preprint arXiv:1710.09829 (2017).

做者：Shreyash Pandey