论文标题:
PaSca: A Graph Neural Architecture Search System under the Scalable Paradigm
论文链接:
代码链接:
图神经网络模型在多个图任务上都取得了最佳效果,并受到了学术界和工业界的广泛关注。然而,现有的图神经网络系统有如下图所示的两个瓶颈。一方面,受限于单机场景下的存储和计算开销以及分布式场景下的通信开销,大多数基于消息传播机制 (Neural Message Passing,NMP) 的图神经网络模型可扩展性较低,很难直接用于现实生活中的大规模图数据。
如图 1 所示,以典型的基于消息传播机制的 GraphSAGE 模型为例,分布式场景下的高昂通讯代价限制了图神经网络的可扩展性。
如图 2所示,现有的图神经网络系统需要用户针对特定图数据和图任务编写代码和训练流程,然而设计网络结构也需要经验丰富的专家,建模成本很高。
该论文研究了大规模图学习过程中面临的图模型可扩展性低以及建模门槛高两个问题,提出了一套能自动化建模超大规模图网络的可扩展图体系。基于可伸缩图神经体系范式(SGAP)设计了一个由六个设计维度组成的通用设计空间,产生超过 15 万种网络结构的可扩展图网络设计空间,为图神经网络可扩展性的相关研究指明了一个新的方向和路线。此外,该文还实现并开源了一套多目标(如模型预测效果和资源占用)自动化图神经结构搜索系统,来支持更简单和更高效的大规模图学习。