论文解读（MaskGAE）《MaskGAE: Masked Graph Modeling Meets Graph Autoencoders》

论文信息

论文标题：MaskGAE: Masked Graph Modeling Meets Graph Autoencoders
论文作者：Jintang Li, Ruofan Wu, Wangbin Sun, Liang Chen, Sheng Tian......
论文来源：2022,arXiv
论文地址：download 
论文代码：download

1 Introduction

 　　MAE 在图上的应用——2022 最潮的方法。

2 Related work and Motivation

2.1 GAE 

　　GAEs采用了经典的编码器-解码器框架，旨在通过优化以下二进制交叉熵损失，从编码图的低维表示中进行解码：

　　　　$mathcal{L}_{mathrm{GAEs}}=-left(frac{1}{left|mathcal{E}^{+}right|} sumlimits _{(u, v) in mathcal{E}^{+}} log h_{omega}left(z_{u}, z_{v}right)+frac{1}{left|mathcal{E}^{-}right|} sumlimits _{left(u^{prime}, v^{prime}right) in mathcal{E}^{-}} log left(1-h_{omega}left(z_{u^{prime}}, z_{v^{prime}}right)right)right)$

　　其中，$mathcal{z}$ 代表低维隐表示，$f_{theta}$ 代表参数为  $theta$ 的 GNN encoder，$h_{omega}$ 代表参数为  $omega$ 的 GNN decoder，$mathcal{E}^{+}$ 代表  positive edges ，$mathcal{E}^{-}$ 代表 negative edges 。

2.2 Motivation

　　按照互信息的思想：希望最大化 k-hop 节点对子图之间的一致性，但是伴随着 $K$ 值变大，过平滑的问题越发明显，此时子图大小对节点表示的学习不利。因此有：

　　Proposition 1：

　　

 　　分析了一堆废话................

　　后面呢，必然出现解决过平滑的策略。

　　Recall：解决过平湖的策略

• • 残差；
  • 谱图理论；
  • 多尺度信息；
  • 边删除；

3 Method：MaskGAE 

　　我们提出了 MGM 代理任务的 MaskGAE 框架：

　　

　　出发点：MGM

　　　　$mathcal{G}_{text {mask }} cup   mathcal{G}_{text {vis }}=mathcal{G}$

　　　　$mathcal{G}_{text {mask }}=   left(mathcal{E}_{text {mask }}, mathcal{V}right)$

3.1 Masking strategy

Edge-wise random masking $(mathcal{T}_{text {edge }}$

　　　　$mathcal{E}_{text {mask }} sim operatorname{Bernoulli}(p)$

Path-wise random masking $(mathcal{T}_{text {path}}$

　　　　$mathcal{E}_{text {mask }} sim operatorname{Random} operatorname{Walk}left(mathcal{R}, n_{text {walk }}, l_{text {walk }}right)$

　　其中，$mathcal{R} subseteq mathcal{V}$ 是从图中采样的一组根节点，$n_{text {walk }}$ 为每个节点的行走次数，$l_{text {walk }}$ 为行走长度。

　　在这里，我们遵循度分布，抽样了一个节点的子集（例如，50%），没有替换作为根节点 $mathcal{R}$。这样的采样也可以防止图中存在的潜在的长尾偏差（即，更多的屏蔽边是那些属于高度节点的边）。

3.2 Encoder

• GCN Encoder    
• SAGE Encoder
• GAT Encoder

3.2 Decoder

Structure decoder

　　　　$​h_{omega}left(z_{i}, z_{j}right)=operatorname{Sigmoid}left(z_{i}^{mathrm{T}} z_{j}right)$

　　　　$​h_{omega}left(z_{i}, z_{j}right)=operatorname{Sigmoid}left(operatorname{MLP}left(z_{i} circ z_{j}right)right)$

Degree decoder

　　　　$g_{phi}left(z_{v}right)=operatorname{MLP}left(z_{v}right)$

3.3 Learning objective

　　损失函数包括：

• • Reconstruction loss：计算的是掩码边 $mathcal{E}^{+}=mathcal{E}_{text {mask }}$   的重构损失；
  • Regression loss：衡量的是节点度的预测与掩蔽图中原始节点度的匹配程度：

 　　　　　　$mathcal{L}_{mathrm{deg}}=frac{1}{|mathcal{V}|} sumlimits _{v in mathcal{V}}left|g_{phi}left(z_{v}right)-operatorname{deg}_{text {mask }}(v)right|_{F}^{2}$

　　其中，$operatorname{deg}_{text {mask }}$ 代表的是掩码图 $mathcal{G}_{text {mask }}$ 的节点度。

　　因此，总体损失为：

　　　　$mathcal{L}=mathcal{L}_{mathrm{GAEs}}+alpha mathcal{L}_{mathrm{deg}}$

4 Experiments

Link prediction

　　

node classifification 

　　

5 Conclusion

　　在这项工作中，我们首次研究了掩蔽图建模(MGM)，并提出了MaskGAE，一个基于理论基础的自我监督学习框架，以 MGM 作为一个有原则的借口任务。我们的工作在理论上是基于以下理由：(i)气体本质上是对比学习，使与链接边相关的配对子图视图之间的互信息最大化；(ii)MGM可以有利于互信息最大化，因为掩蔽显著减少了两个子图视图之间的冗余。特别是，我们还提出了一种路径掩蔽策略，以促进米高梅的任务。在我们的实验中，MaskGAE 比 GAE 表现出显著改善的性能，并且在链路预测和节点分类基准上与强基线相当或更好。