week02_2021

CoKE: Contextualized Knowledge Graph Embedding

这篇是关于知识图谱动态嵌入的研究。作者认为之前的知识图谱嵌入方法都是学习静态的知识，就算是图卷积方法也是在做静态嵌入的事情，没有真正学习到上下文知识。所以作者提出了使用Transformer来编码知识图谱的动态嵌入。

Transformer是对序列进行表示学习，所以很自然就引申出一个问题：序列从哪里来？

文章提出了两种序列

1. 三元组 $(h, r, t)$ 作为长度为3的输入序列。
2. 图路径 $(e_1, r_1, \cdots, e_t)$ 作为长度为K的输入序列。

如何训练？

为了模拟链接预测任务和Query任务，在输入的时候将序列最后一个元素设定为MASK，迫使Transformer学会对该元素进行预测。

GMH: A General Multi-hop Reasoning Model for KG Completion