Graph Neural Networks: A Review of Methods and Applications

学习一下近期新兴的一个方向Graph Neural Network(GNN),从这篇2018年清华发表的科普类文章开始

1. Introduction

Motivation

CNN具有提取多尺度局部空间特征并将其组合以构建高度表达的表示的能力,并且在深度学习中的表现十分出色,因此对于图神经网络,可以考虑借鉴CNN的优点。总结出来,可以得到

  • 图是一种locally connected structure,相对于全连接网络而言。因此能够很容易地提取出feature来。

    读到这里,我回想起了hierarchy SDN论文中我提出的对网络进行合理划分的概念。如果在处理路径规划的时候仍然使用GNN的话,很明显对于图而言是不足以解决问题的,我认为此处的卷积化也应该是对一个强连通分量进行卷积。

  • 共享参数

  • 多层次结构

另外一个motivation就是graph embedding(查看第二个答案),输入一个图输出一个低维向量,该向量包含了图中的特征信息。该方法在NLP领域取得了很大的突破,但是在图结构中,由于规模太大而不好处理。因此需要投入更多的研究。

Why GNN?

第一、标准的神经网络如CNN以及RNN均无法处理图结构,因为它们将会把结点的排列顺序视为一种特征。于是为了能够让CNN与RNN对图进行运算,就有必要将图中结点排列的所有可能都输入给算法,这就使得规模过大无法处理。

第二、神经网络在处理edge时,将其视为某种信息。而GNN则可以通过edge,将其邻居结点的信息汇集起来更新某个结点。

第三、如judea Pearl在NIPS 2017会议上提出的,标准神经网络不可能具备“推理”能力,并且关于CNN & RNN为什么可以有效地解决很多问题,仍然没有得到解释。

给出了一些其他概括GNN的论文。

给出了该论文:第二部分探讨GNN的原始框架及其局限,之后介绍多种变形,最后介绍目前常用的GNN框架;第三部分介绍当前GNN的主要应用场景,包括结构化场景、非结构化场景以及其他。

2. Models

2.1 Graph Neural Networks

GNN的原始框架在论文:61–80, 2009.)中首次被提出

通过运用Banach的不动点定理,实现输入的图到输出的一个映射。更新方式为迭代更新。

看起来原始GNN要处理的仍然是监督学习问题,根据输出结果以及标签,进行梯度更新。因此适用于图像分类、文本分类等问题。

需要注意的是,原始的GNN的基础,是RNN以及马克多夫链模型。当时提出的目的,是为了应对文本分析、图像分类、化合物结构分析等。

0%