本周恢复读论文。带来两篇关于知识图谱嵌入和多跳推理的论文。
CoKE: Contextualized Knowledge Graph Embedding
这篇是关于知识图谱动态嵌入的研究。作者认为之前的知识图谱嵌入方法都是学习静态的知识,就算是图卷积方法也是在做静态嵌入的事情,没有真正学习到上下文知识。所以作者提出了使用Transformer来编码知识图谱的动态嵌入。
Transformer是对序列进行表示学习,所以很自然就引申出一个问题:序列从哪里来?
文章提出了两种序列
- 三元组 $(h, r, t)$ 作为长度为3的输入序列。
- 图路径 $(e_1, r_1, \cdots, e_t)$ 作为长度为K的输入序列。
如何训练?
为了模拟链接预测任务和Query任务,在输入的时候将序列最后一个元素设定为MASK
,迫使Transformer学会对该元素进行预测。