抱歉,您的浏览器无法访问本站
本页面需要浏览器支持(启用)JavaScript
了解详情 >

本周恢复读论文。带来两篇关于知识图谱嵌入和多跳推理的论文。

CoKE: Contextualized Knowledge Graph Embedding

这篇是关于知识图谱动态嵌入的研究。作者认为之前的知识图谱嵌入方法都是学习静态的知识,就算是图卷积方法也是在做静态嵌入的事情,没有真正学习到上下文知识。所以作者提出了使用Transformer来编码知识图谱的动态嵌入。

Transformer是对序列进行表示学习,所以很自然就引申出一个问题:序列从哪里来?

文章提出了两种序列

  1. 三元组 $(h, r, t)$ 作为长度为3的输入序列。
  2. 图路径 $(e_1, r_1, \cdots, e_t)$ 作为长度为K的输入序列。

如何训练?

为了模拟链接预测任务和Query任务,在输入的时候将序列最后一个元素设定为MASK,迫使Transformer学会对该元素进行预测。

GMH: A General Multi-hop Reasoning Model for KG Completion

评论