archwalker/archwalker.github.io

My personal website

archwalker.github.io's Issues

GNN 教程：图神经网络不能用来学习什么? - ArchWalker

https://archwalker.github.io/blog/2019/07/27/GNN-Tutorial-Theory-Graph-Theory.html

1 引言这篇论文讨论图神经网络能力的限制，论文中讨论的图神经网络模型是所有通过消息传递构建的图神经网络模型。首先，在当模型的深度(层数)，宽度(每层Embedding的维度)，节点的可区分度，层与层之间网络的复杂程度(表达能力)都达到一定条件的时候，GNN 是图灵完备的。另外，研究发现当GNN的深度和宽度受限的手...

About - ArchWalker

https://archwalker.github.io/about.html

Personal Blog on Graph Neural Networks, Distributed Computing, Functional Programming

GNN 教程：GraphSAGE - ArchWalker

https://archwalker.github.io/blog/2019/06/01/GNN-Triplets-GraphSAGE.html

GNN 教程: GraphSAGE此为原创文章，转载务必保留出处引言在GCN的博文中我们重点讨论了图神经网络的逐层传播公式是如何推导的，然而，GCN的训练方式需要将邻接矩阵和特征矩阵一起放到内存或者显存里，在大规模图数据上是不可取的。其次，GCN在训练时需要知道整个图的结构信息(包括待预测的节点), 这在...

About - ArchWalker

https://archwalker.github.io/about.html

Personal Blog on Graph Neural Networks, Distributed Computing, Functional Programming

GNN 教程：GAT - ArchWalker

https://archwalker.github.io/blog/2019/06/01/GNN-Triplets-GAT.html

GNN 教程: GAT此为原创文章，转载务必保留出处引言在前两篇博文中，我们讨论了基本的图神经网络算法GCN, 使用采样和聚合构建的inductive learning框架GraphSAGE, 然而图结构数据常常含有噪声，意味着节点与节点之间的边有时不是那么可靠，邻居的相对重要性也有差异，解决这个问题的方式是在图...

GNN 教程：图上的预训练任务下篇 - ArchWalker

https://archwalker.github.io/blog/2019/08/08/GNN-Pretraining-1.html

引言前一篇博文GNN 教程：图上的预训练任务上篇已经向大家介绍了一种图上预训练的方式，通过设计边重建、Centrality Score Ranking、保留图簇信息三种图预训练任务来生成节点embedding，以从局部到全局捕获节点的图结构信息；然后，将预训练模型生成的节点Embedding在特定的任务中做微调，...

GNN 教程：图攻击与图对抗 - ArchWalker

https://archwalker.github.io/blog/2019/07/20/GNN-Attack-0.html

引言这篇博文主要介绍的对图神经网络进行攻击，即：通过对某些节点的特征进行扰动、或者对图结构进行扰动使得图神经网络对于特定节点分类任务失效(分类错误)，研究图神经网络的对抗攻击是有必要的，因为这会帮助我们构建更加鲁棒的图神经网络模型。博文的主要内容来源于 KDD 2018 Best Paper：Adversaria...

GNN 教程：综述 - ArchWalker

https://archwalker.github.io/blog/2019/06/02/GNN-overview.html

规划图神经网络是表征学习中兴起的一个新方向，本博客将以论文带读的方式讨论图神经网络的最新进展。下图展示了目前的规划：这篇博客会记录带度的进度，规划也会随时更新。进度2019-06-01 完成图神经网络的三个基础模型，这三个模型也是后面许多模型的雏形 GCN GraphSAGE GAT

GNN 教程：Graph 基础知识介绍 - ArchWalker

https://archwalker.github.io/blog/2019/05/31/GNN-basics.html

引言科学研究中并不是所有的数据都能够被转换到欧几里得空间中（eg：社交网络、信息网络等），导致无法有效地对这些数据进行处理。针对该问题，研究者们引入了图论中抽象意义上的图（Graph）来表示非欧几里得结构化数据。本文首先分别介绍了欧几里得结构化数据和非欧几里得结构化数据特点，然后针对非欧几里得结构化数据的表示问题...

PyTorch 内部机制(翻译) - ArchWalker

https://archwalker.github.io/blog/2019/05/27/pytorch-internals.html

PyTorch internals转载请务必保留出处 译者序：这篇博文是一篇非常新的介绍PyTorch内部机制的文章，作者Edward Z Yang来自于Stanford大学，是PyTorch的核心开发者之一。文章中介绍了如何阅读PyTorch源码和扩展PyTorch的技巧。目前讲PyTorch底层的文章不多，...

GNN 教程：GNN 模型有多强？ - ArchWalker

https://archwalker.github.io/blog/2019/06/22/GNN-Theory-Power.html

引言前面的文章中，我们介绍了GNN的三个基本模型GCN、GraphSAGE、GAT，分析了经典的GCN逐层传播公式是如何由谱图卷积推导而来的。GNN模型现在正成为学术研究的热点话题，那么我们不经想问，GNN模型到底有多强呢？之前的文章我们介绍了用来衡量CNN表达能力的算法—Weisfeiler-Leman，这篇文...

GNN 教程(特别篇)：GNN的一些代表模型 - ArchWalker

https://archwalker.github.io/blog/2019/11/10/GNN-Go-Through-Main-Models.html

引言此为原创文章，未经许可，禁止转载GNN的各种模型在近两年来非常火热，在各个会议、期刊上新的模型层出不穷，他们有的做了理论创新，有的对前人的工作提出了改进，在这篇博文中，我想要带大家回顾GNN在近两年来的一些模型的异同，着重体现在他们的数学表达式上的差异。这篇博文主要遵循 DGL 框架的梳理脉络，加上一些对公式...

GNN 教程：DGL框架-大规模分布式训练 - ArchWalker

https://archwalker.github.io/blog/2019/07/07/GNN-Framework-DGL-DistributedTraining.html

此为原创文章，转载务必保留出处引言前面的文章中我们介绍了DGL如何利用采样的技术缩小计算图的规模来通过mini-batch的方式训练模型，当图特别大的时候，非常多的batches需要被计算，因此运算时间又成了问题，一个容易想到解决方案是采用并行计算的技术，很多worker同时采样，计算并且更新梯度。这篇博文重点介...

GNN 教程：Weisfeiler-Leman 算法 - ArchWalker

https://archwalker.github.io/blog/2019/06/22/GNN-Theory-WL.html

一、引言前面的文章中，我们介绍了GNN的三个基本模型GCN、GraphSAGE、GAT，分析了经典的GCN逐层传播公式是如何由谱图卷积推导而来的。GNN模型现在正处于学术研究的热点话题，那么我们不经想问，GNN模型到底有多强呢？我们的目的是分析GNN的表达能力，我们需要一个模型作为衡量标准。比如说如果我们想衡量G...

GNN 教程：DGL框架-消息和GCN的实现 - ArchWalker

https://archwalker.github.io/blog/2019/07/07/GNN-Framework-DGL-GCN.html

此为原创文章，转载务必保留出处引言图神经网络的计算模式大致相似，节点的Embedding需要汇聚其邻接节点Embedding以更新，从线性代数的角度来看，这就是邻接矩阵和特征矩阵相乘。然而邻接矩阵通常都会很大，因此另一种计算方法是将邻居的Embedding传递到当前节点上，再进行更新。很多图并行框架都采用详细传递...

GNN 教程：图神经网络框架和他们的设计理念对比 - ArchWalker

https://archwalker.github.io/blog/2020/04/06/GNN-Framework-Comparison.html

引言此为原创文章，未经许可，禁止转载最近我们开源了我们在阿里内部场景上使用的超大规模图神经网络计算框架 graph-learn，graph-learn作为从业务实践角度出发而孵化的GNN框架，原生支持单机多卡，多机多卡，CPU、GPU等分布式集群的超大规模图数据的存储、调度与计算。与此同时，还有很多优秀的图计算框...

GNN 教程：GCN - ArchWalker

https://archwalker.github.io/blog/2019/06/01/GNN-Triplets-GCN.html

GNN 教程: GCN此为原创文章，转载务必保留出处引言这是我们介绍图神经网络的第一篇文章，取自Kipf et al. 2017，文章中提出的模型叫Graph Convolutional Network(GCN)，个人认为可以看作是图神经网络的“开山之作”，因为GCN利用了近似的技巧推导出了一个简单而高效的模型，...

GNN 教程：图上的预训练任务上篇 - ArchWalker

https://archwalker.github.io/blog/2019/07/18/GNN-Pretain-0.html

0 引言虽然 GNN 模型及其变体在图结构数据的学习方面取得了成功，但是训练一个准确的 GNN 模型需要大量的带标注的图数据，而标记样本需要消耗大量的人力资源，为了解决这样的问题，一些学者开始研究Graph Pre-training的框架以获取能够迁移到不同任务上的通用图结构信息表征。在NLP和CV领域中，学者已...

GNN 教程：漫谈谱图理论和GCN的起源 - ArchWalker

https://archwalker.github.io/blog/2019/06/16/GNN-Spectral-Graph.html

GNN 教程：漫谈谱图理论和GCN的起源此为原创文章，未经许可，禁止转载本篇文章主要受 如何理解 Graph Convolutional Network? 来自superbrother的回答 的启发，在此表示感谢！如有侵权，请联系我删除。引言图神经网络的逐层更新公式简单优雅而高效，以GCN为例，节点Embeddi...

GNN 教程：动态图-增量更新 - ArchWalker

https://archwalker.github.io/blog/2019/08/18/GNN-Dynamic-Online-Training.html

0 引言目前，图神经网络的各个变体（例如：GCN、GraphSAGE、GAT）在图结构数据的学习方面都取得了不错的效果，特别是采用 Transductive learning 的学习方式，即预测数据在训练的时候是可见的情况下。然而，在很多实际应用中，大规模图结构数据通常不是静态的而是动态的，即随着时间的的推移会出...

GNN 教程：DGL框架-子图和采样 - ArchWalker

https://archwalker.github.io/blog/2019/07/07/GNN-Framework-DGL-NodeFlow.html

此为原创文章，转载务必保留出处引言之前我们大致介绍了DGL这个框架，以及如何使用DGL编写一个GCN模型，用在学术数据集上，这样的模型是workable的。然而，现实生活中我们还会遇到非常庞大的图数据，庞大到邻接矩阵和特征矩阵不能同时塞进内存中，这时如何解决这样的问题呢？DGL采用了和GraphSAGE类似的邻居...

GNN 教程：DGL框架 - ArchWalker

https://archwalker.github.io/blog/2019/06/30/GNN-Framework-DGL-NodeFlow.html

引言之前我们大致介绍了DGL这个框架，以及如何使用DGL编写一个GCN模型，用在学术数据集上，这样的模型是workable的。然而，现实生活中我们还会遇到非常庞大的图数据，庞大到邻接矩阵和特征矩阵不能同时塞进内存中，这时如何解决这样的问题呢？DGL采用了和GraphSAGE类似的邻居采样策略，通过构建计算子图缩小...