[ICLR 2018] GRAPH ATTENTION NETWORKS

1. 工作概要

  • GAT,图注意力神经网络
  • 为图中节点赋予不同的权重来关注其邻域特征
  • 基于masked self-attentional layer能够并行计算
  • 能够推广到inductive任务

2. 模型介绍

  • 输入:节点特征集合

    image

  • 输出:更新后的节点特征集合
    image

  • self-attention机制

    • 节点间的attention系数计算

      image

    • 计算与一阶邻居的attention,使用softmax归一化

      image

    • 为单层前馈神经网络,使用LeakyReLU进行非线性化

      image

  • 节点特征更新
    image

  • 多头注意力:拼接K个独立的注意力机制
    image

  • 最后一层输出:求K个注意力机制上的均值
    image

3. 实验结果

• Inductive任务
image