GCN의 경우에는 기존의 Fourier Transformation을 이용한 Spectral 방식을 수식적으로 깔끔하게 정리한 논문같습니다. 기존에 Eigen Decomposition을 통해서 계산한 graph laplacian에 대한 Graph convolution의 결과를 𝑘-th order polynomials을 통해 approximation 하였습니다. 이후, k와 labmda max의 조정을 통해서 얻은 식이 message propagation function과 같다는 것도 증명하였습니다. 하지만, 이러한 GCN의 경우에는 두가지의 문제점이 있습니다. 먼저, Inductive와 Transductive 학습 방식에서 오는 차이입니다. 기존의 GCN은 Transductive 학습 방식으로 학습시에 테스트의 노드 정보들도 활용하여 네트워크를 구성하는 특징이 있습니다. 이러한 방식의 문제는 새로운 노드가 들어올때 다시 재학습을 해야하는 문제가 있습니다. 둘째, 메모리상의 문제가 있습니다. 기존의 GCN은 A, D를 통해서 네트워크를 업데이트하기에 연산량이 노드의 수가 N인 경우 NxN의 Matrix를 이용해서 연산을 진행해야합니다. 하지만, 이는 Application 관점에서는 문제가 커서 이를 활용하기가 쉽지 않습니다.

이러한 문제를 해결한게 GraphSage 입니다. GraphSage은 노드 임베딩을 학습하는 방식에서 크게 차이가 발생합니다. GraphSage는 노드를 임베딩시에 주변의 노드를 통해서 임베딩하는 컨셉은 동일합니다. 하지만, 주변 노드의 일부만을 샘플링하여서 중심 노드를 임베딩합니다. 이러한 방식을 이용할 경우에 장점은 메모리 측면에서 효율적이기도하고 A와 D를 직접 이용하지 않고 주변 노드 임베딩 값만 가져와서 새로운 노드가 들어와도 예측이 가능하다는 특징이 있습니다.

GAT의 경우에는 위의 컨셉에서 주변 노드를 통해 중심 노드를 임베딩하는 방식에 주목하였습니다. 기존에는 mean 혹은 sum 기반의 aggregation이 주로 이용되었습니다. 하지만, 이러한 방식은 누가 중요한지에 대한 정보를 줄 수 없고 그렇기에 논문에서는 Attention 기반에 가중치를 통해서 aggregate하는 방식을 제안합니다. 이러한 방법은 성능적인 측면에서 0.21가까이 PPI 성능을 올리는 모습을 보였습니다.