社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

图网络入门路径:从网络科学视角出发,上手深度学习前沿技术

集智俱乐部 • 4 年前 • 576 次点击  

导语

从知识图谱到概率图模型,从蛋白质相互作用网络到社交网络,从基本的逻辑线路到因特网,图与网络无处不在。由于传统机器学习方法难以处理图数据信息,近年来兴起了图神经网络方法,在诸多真实问题的建模和解决上,取得良好效果。作为正火热的新领域,图网络方法还没有非常成熟的教材教程,我们整理了这份结合多门基础课程、多篇经典论文的学习路径,供你入门参考。


扫码登录集智斑图,获取完整学习路径


图网络是一种结合机器学习和网络科学的前沿学科,它将传统的用于自然语言处理、图像处理、计算机视觉等领域中的神经网络、深度学习技术扩充到了一般的图上,使得这些技术可以处理类似于图、n 维流形等更加一般而普适的非欧几里德几何对象,以及多关系网络、知识图谱、带属性的图结构等更加复杂的数据结构。大概从 2015 年开始,该领域同时在学术界和工业界获得了蓬勃的发展机遇,它不仅可以很有效地解决诸如连边预测、社区划分等传统经典的网络科学问题,而且还可以解决诸如节点分类、网络重构、网络补全、图上的组合优化问题等非传统的网络科学问题,甚至还可以解决诸如计算机视觉、图像理解、自然语言处理、自动推理、机器人控制、动力学建模等人工智能领域中的问题。



一、深度学习与 PyTorch 入门


系列课程:火炬上的深度学习,特别是(下)“自然语言处理”篇


https://campus.swarma.org/course/217


为了能够打好深度学习的基础,以及掌握一项编程工具,建议学习集智学园上的线上课程。



二、图向量化(图嵌入)


要想用机器学习的技术处理图结构的数据,首先要做的就是将网络上的每个节点表示成规整的欧氏空间向量。



1、Word2Vec


课程:词向量原理初探与Word2Vec


https://campus.swarma.org/course/212



课程:浅谈Word2Vec:自然语言处理的基石


https://campus.swarma.org/course/212


论文题目:

Efficient Estimation of Word Representations in Vector Space

论文地址:

http://arxiv.org/abs/1301.3781

论文题目:

Distributed Representations of Words and Phrases and their Compositionality

论文地址:

https://arxiv.org/abs/1310.4546

论文题目:

Linguistic Regularities in Continuous Space Word Representations

论文地址:

https://www.aclweb.org/anthology/N13-1090/

这三篇文章引出了自然语言处理领域中经典的 Word2Vec 技术,它可以通过扫描文本,将每个单词赋予一个向量。本质上讲,如果我们将一篇文章看作是词语共现的网络:单词为节点,如果一对单词同时出现在一个句子中就连一条边,则词向量的嵌入就相当于网络的嵌入。



2、网络嵌入算法

论文题目:

DeepWalk: Online Learning of Social Representations

论文地址:

https://arxiv.org/abs/1403.6652

这是网络嵌入算法的第一篇工作。


论文题目:

node2vec: Scalable Feature Learning for Networks

论文地址:

https://arxiv.org/abs/1607.00653

这是对 DeepWalk 的改进,它目前已经成为一种 Benchmark。



三、图网络


如果详细追溯,图神经网络早在 2008 年左右就被人提出了,但是到了 2015 年左右,随着图卷积神经网络的出现与流行,人们突然发现,我们可以在图结构上进行卷积操作了,而且这种卷积操作不仅计算简单,还具有超强的准确度,这大大刺激了该领域的突飞猛进地发展。



1、图网络综述:

论文题目:

Relational inductive biases, deep learning, and graph networks

论文地址:

https://arxiv.org/abs/1806.01261

这基本上是第一篇有关图网络的综述,非常全面,但也不太容易读懂。



2、图卷积及其相关架构

论文题目:

Semi-Supervised Classification with Graph Convolutional Networks 

论文地址:

https://arxiv.org/abs/1609.02907

论文题目:

Graph Attention Networks

论文地址:

https://arxiv.org/abs/1710.10903

论文题目:

Inductive Representation Learning on Large Graphs

论文地址:

http://papers.nips.cc/paper/6703-inductive-representation-learning-on-large-graphs

第一篇是经典的图卷积工作,在半监督学习任务上效果非常好,第二篇是一种基于注意力的图卷积架构,第三篇是提出了 GraphSAGE 框架,一种可以处理大规模网络的图卷积网络,效果非常棒。



四、相关应用


可以将上述技术应用于各种具体的网络问题上,包括连边预测、节点分类、图分类、推荐算法等。这种应用非常多,我们仅挑其中几篇与本研究组最相关的工作:


1、连边预测:

论文题目:

Variational Graph Auto-Encoders

论文地址:

https://arxiv.org/abs/1403.6652


2、图分类:

论文题目:

How Powerful are Graph Neural Networks?

论文地址:

https://arxiv.org/abs/1810.00826


3、推荐算法:

论文题目:

Graph Convolutional Neural Networks for Web-Scale Recommender Systems

论文地址:

https://arxiv.org/abs/1806.01973


4、动力学学习与控制:

论文题目:

Graph networks as learnable physics engines for inference and control

论文地址:

https://arxiv.org/abs/1806.01242


       


参考文献:

[1] Tomas Mikolov,Kai Chen,Greg Corrado.et al.: Efficient Estimation of Word Representations in Vector Space ,arxiv,2013

[2] Tomas Mikolov,Ilya Sutskever,Kai Chen.et al.: Distributed Representations of Words and Phrases and their Compositionality ,arxiv,2013

[3] Tomas Mikolov, Wen-tau Yih, Geoffrey Zweig: Linguistic Regularities in Continuous Space Word Representations ,2013

[4] Bryan Perozzi,Rami Al-Rfou,Steven Skiena: DeepWalk: Online Learning of Social Representations ,arxiv,2014

[5] Aditya Grover,Jure Leskovec: node2vec: Scalable Feature Learning for Networks ,arxiv,2016

[6] Peter W. Battaglia,Jessica B. Hamrick,Victor Bapst.et al.: Relational inductive biases, deep learning, and graph networks,arxiv,2018

[7] Thomas N. Kipf,Max Welling: Semi-Supervised Classification with Graph Convolutional Networks ,arxiv,2016

[8] Petar Veličković,Guillem Cucurull,Arantxa Casanova.et al.: Graph Attention Networks ,arxiv,2017

[9] Will Hamilton,Zhitao Ying,Jure Leskovec: Inductive Representation Learning on Large Graphs ,2017

[10] Thomas N. Kipf,Max Welling: Variational Graph Auto-Encoders ,arxiv,2016

[11] Keyulu Xu,Weihua Hu,Jure Leskovec.et al.: How Powerful are Graph Neural Networks? ,arxiv,2018

[12] Rex Ying,Ruining He,Kaifeng Chen.et al.: Graph Convolutional Neural Networks for Web-Scale Recommender Systems ,arxiv,2018

[13] Alvaro Sanchez-Gonzalez,Nicolas Heess,Jost Tobias Springenberg.et al.: Graph networks as learnable physics engines for inference and control ,arxiv,2018


(参考文献可上下滑动)



作者:张江

编辑:张爽


推荐阅读


超越简单规则——用图神经网络对复杂系统进行自动建模

图网络如何助力城市大脑:跨时空大尺度网约车流量预测

2020年网络科学的4个前沿方向:从时序网络到高阶网络

斯坦福ICLR2019图网络最新论文:图神经网络的表征能力有多强?

加入集智,一起复杂!





集智俱乐部QQ群|877391004

商务合作及投稿转载|swarma@swarma.org

◆ ◆ 

搜索公众号:集智俱乐部


加入“没有围墙的研究所”

让苹果砸得更猛烈些吧!



👇点击“阅读原文”,了解更多论文信息

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/62758
 
576 次点击