《图神经网络：由入门到高级、从算法到应用》第七讲：图自监督学习与预训练

课程
#1

本课程第七讲主要给大家介绍图自监督学习与预训练，包括GCC, GraphMAE。大家对于这节课有什么疑问可以在这里交流～

第七讲课件：https://cogdl.ai/gnn2022/courseware/L7_graph_self_supervised_learning_and_pretraining.pdf

#2

图生成式模型能够引入自监督学习吗？

摘自https://zhuanlan.zhihu.com/p/525106459
摘自https://zhuanlan.zhihu.com/p/525106459857×571 80 KB

GraphGAN（链接）、GraphVAE（链接）已经出现，Flow-Based好像没有特别有代表性的，Diffusion Model在最近有很多，比如ICML上做分子预测的这一篇。

我在想是不是可以把这些模型引入到自监督学习中，比如像GraphMAE那样生成一个低维的表示？但是训练难度应该比GraphMAE大一些，毕竟是从某个分布中直接生成，而且这个分布不一定是常见的正态分布

1 个赞
#3

GraphMAE这篇paper，像bert的[MASK]操作是有一些是替换成[MASK]，有一些是随机替换，有一些是不变，那GraphMAE中的[MASK]有些什么样的trick呢？

#4

特别好的想法！我之前也有思考过这个问题 哈哈

#5

没啥特殊的trick。就一些替换成[MASK]，其余的不变就行。

#6

想请教一下GraphMAE的思想能不能用在异构图中呢？

#7

挺好的想法 你之前是有做过异构图相关的研究吗？