Scaling Up2 CS224w - 17. Advanced Topics in Graph Neural Networks Part 2 Advanced Cluster-GCN Advanced Cluster-GCN의 아이디어는 몇개의 node group을 mini-batch에서 합치는 것입니다. 이를 위해서 조금 더 작은 node group을 만들게 됩니다. 여러 노드 그룹을 쓰기 때문에 전체 그래프를 보다 잘 표현할 수 있습니다. 그리고 그룹 간의 링크가 있어, message가 그룹 사이에도 흐를 수 있습니다. Pre-processing 단계에서는, vanilla와 같이 subgraph으로 나누되 더 작게 나눠서 나중에 aggregate 됐을 때 사이즈가 너무 커지지 않게 합니다. Mini-batch training은 subgraph 중 random으로 일부 샘플링합니다. 그 다음 속한 node들을 전부 aggregate해서 하나의 sub.. 2022. 12. 5. CS224w - 17. Advanced Topics in Graph Neural Networks Part 1 Scaling Up Graph Neural Networks and Modern Applications 일반적인 learning scheme에서 large data에 대해서는 mini-batch에서 SGD를 수행합니다. 하지만 GNN에서는 mini-batch 내에서 노드를 샘플링하면 노드가 서로 멀리 떨어진 상태일 확률이 높습니다. 따라서 mini-batch에서 얻어진 node들을 가지고 neighborhood update를 하기 어렵습니다. 이런 문제를 피하기 위해서 full batch로 학습할 수도 있지만, GPU memory의 문제로 불가능합니다. 따라서 본 강의에서는 subgraph를 이용한 학습(Neighbor Sampling, Cluster-GCN), 그리고 feature preprocessin.. 2022. 12. 5. 이전 1 다음
