抱歉,您的浏览器无法访问本站

本页面需要浏览器支持(启用)JavaScript


了解详情 >

Antarx' Blog

Antarx is the heart of scorpio.

解决DGL库AttributeError deferred_dtype 错误

DGL 库升级到最新版本0.9.0+的测试版之后,运行老版本的代码会遇到错误 AttributeError: 'Column' object has no attribute deferred_dtype 在官方GitHub页面可以看到相关的讨论:GitHub issue 4107 个人推测是因为DGL版本升级对底层代码进行了重构,我的代码中,使用老版本的DGL构建了图实例,并且使用dill...

【DEVONthink】复制item的Markdown样式脚本

DEVONthink 是苹果系统下一款很好用的知识管理工具,然而,由于DEVONthink本身更侧重于档案管理,所以通常会和其他markdown类笔记软件打组合拳。 今天分享一款直接复制DEVONthink的item link为markdown链接样式的脚本: tell application id "DNtp" set theMarkdownLinks to {} repe...

四元数 (Quaternion) 基础知识

最近读到一系列KG的文章都使用了四元数(Quaternion)用于Embedding或者扩展GNN。四元数是一种区别于实数和复数的数学工具,在这里整理一些关于这个数学工具的基础知识。 四元数是什么 四元数的基本运算 加法:两个四元数\(q\) and \(p\) 的加法运算可以表示为: \[ q + p = (q_r + p_r) + (q_i + p_i)\textbf{i} + (q_j...

为什么Scale-Dot Attention的分母是根号d

今天跟朋友讨论的一道有趣的面试问题:为什么Transformer中Scale-dot attention计算 \(Attn = \text{Softmax}(\frac{QK^T}{\sqrt{d_k}})V\),缩放因子一定是\(\sqrt{d_k}\) 而不是d_k或者其他形式?

知识图谱补全模型与超参数整理

本篇整理几种常见的知识图谱补全模型的原理以及对应的超参数。

时序知识图谱补全论文整理:Ⅰ

整理最近阅读的时序知识图谱(Temporal Knowledge Graph)补全领域的文献。 基本概念 首先,明确基本概念。现有的知识图谱表示为\(\mathcal{G}=\{(h, r, t)\}\) 的三元组集合,这是一种静态的图谱,目前针对这种形式的知识图谱补全任务,也就是预测三元组\((h, r, ?)\) 已经有大量的相关研究,包括Translation-based方法、Bili...

click——Python 命令行开发工具包

这是一个官方宣称比Argparser更好用的Python命令行开发工具包。

知识图谱补全任务中的Loss函数

本篇汇总知识图谱补全任务(知识图谱链接预测任务)中的损失函数。因为链接预测任务是一个排序任务,因此loss的选择会影响最后排序的规则。

Question Answering Over Temporal Knowledge Graphs

来源:ACL 2021
领域:KGQA
核心模型:TComplEx / TNTComplEx,BERT
🔗论文链接:arXiv
🔗代码:GitHub
文献依赖:
- Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings

论文阅读:Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings

来源:ACL 2020 领域:KGQA 模型:EmbedKGQA 核心模型:ComplEx;BERT/RoBERTa 代码:GitHub 关注问题 多跳KGQA中,KG的不完整性带来独特的挑战。现有解决方案中包括使用文本,但文本不一定存在;KGE可以解决补全问题,但还没有研究将两者结合在一起,本文是这方面的一次尝试。 Model 模型分为三个核心模块:KG Embedding Module...

论文阅读:One-shot Learning for Temporal Knowledge Graphs

关注问题:现有的少样本知识图谱补全技术主要针对静态知识图谱,事实上KG中的Fact会根据时间而变化,时序图谱数据面临更严重的数据稀疏问题。本文针对这个问题提出One-Shot场景提出模型。
来源:AAAI 2021

论文阅读:Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs

来源:AAAI 2020
代码:GitHub
关注问题:零样本关系的知识图谱补全

论文阅读:Rethinking Positional Encoding In Language Pre-Training

出处:ICLR 2021
代码链接:https://github.com/guolinke/TUPE

【李宏毅机器学习课程笔记】Transformer Decoder

最近要用Transformer相关的模型,刚好李宏毅的机器学习课更新了相关内容,就看了一下,整理一下笔记草稿。 Encoder Decoder 结构 首先是Encoder-Decoder结构。Encoder结构将输入数据编码得到向量表示,具体结构在对应的上一节课已经有说了,大体来说就是Self-Attention + 多头。输出可以是和输入相同shape的向量表示或者是一个向量表示,取决于任...

【论文阅读】Generalized Relation Learning with Semantic Correlation Awareness for Link Prediction

本文发表于AAAI 2021,关注了知识图谱补全任务的少样本场景问题。

week02_2021

本周恢复读论文。带来两篇关于知识图谱嵌入和多跳推理的论文。 CoKE: Contextualized Knowledge Graph Embedding 这篇是关于知识图谱动态嵌入的研究。作者认为之前的知识图谱嵌入方法都是学习静态的知识,就算是图卷积方法也是在做静态嵌入的事情,没有真正学习到上下文知识。所以作者提出了使用Transformer来编码知识图谱的动态嵌入。 Transformer...

Week 52 论文阅读

本周读进去的论文有点少,哭。

Week 51, 2020 论文阅读总结

总结一周阅读的论文。