《图神经网络:由入门到高级、从算法到应用》第七讲:图自监督学习与预训练

本课程第七讲主要给大家介绍图自监督学习与预训练,包括GCC, GraphMAE。大家对于这节课有什么疑问可以在这里交流~

第七讲课件:https://cogdl.ai/gnn2022/courseware/L7_graph_self_supervised_learning_and_pretraining.pdf

图生成式模型能够引入自监督学习吗?

GraphGAN(链接)、GraphVAE(链接)已经出现,Flow-Based好像没有特别有代表性的,Diffusion Model在最近有很多,比如ICML上做分子预测的这一篇。

我在想是不是可以把这些模型引入到自监督学习中,比如像GraphMAE那样生成一个低维的表示?但是训练难度应该比GraphMAE大一些,毕竟是从某个分布中直接生成,而且这个分布不一定是常见的正态分布

1 Like

GraphMAE这篇paper,像bert的[MASK]操作是有一些是替换成[MASK],有一些是随机替换,有一些是不变,那GraphMAE中的[MASK]有些什么样的trick呢?

特别好的想法!我之前也有思考过这个问题 哈哈

没啥特殊的trick。就一些替换成[MASK],其余的不变就行。

想请教一下GraphMAE的思想能不能用在异构图中呢?

挺好的想法 你之前是有做过异构图相关的研究吗?