message passing3 CS224w - 07. A General Perspective on Graph Neural Networks Part 2 GNN Layers in Practice 기존 deep learning에서 쓰이는 layer들을 함께 활용하여 높은 성능의 GNN layer를 얻을 수 있습니다. Batch normalization, dropout 등의 전통적 딥 러닝 레이어들이 어떻게 활용되는지 확인해봅시다. GNN의 batch normalization은 node feature 단에서 이루어집니다. 과정 자체는 우리가 알고 있던 normalization과 차이가 없고, batch input 별로 zero mean, unit variance로 만들어줘 학습을 안정화 시킨다는 목적도 같습니다. 기존의 dropout은 message function에서 linear layer의 weight 일부를 0으로 만드는 식으로 활용할 수 있습니다. A.. 2022. 3. 20. CS224w - 07. A General Perspective on Graph Neural Networks Part 1 GNN의 개략적인 학습 과정은 위와 같습니다. 각 node에서 message를 받고, 이것을 aggregation하는 것이 코어입니다. Computation graph를 통해서 layer connectivity가 반영되며, graph augmentation이 활용 되기도 합니다. 마지막으로 Learning objective를 적절히 설정하면 GNN의 전체 학습 scheme이 정의됩니다. A Single Layer of a GNN 두 단계로 이루어지는 single layer GNN에서, 첫 번째 단계인 message computation에 대한 내용입니다. Message function은 각 node에서 전해지는 message를 적절히 모아서 그 다음 layer (node)로 전달합니다. Matrix $W.. 2022. 3. 19. CS224w - 05. Message Passing and Node Classification 이번 node classification 문제를 주위 node에서 message(feature)를 전달 받는 message passing scheme으로 풀게 됩니다. 몇몇 node는 ground truth가 있어야 message를 전달 받을 수 있습니다. 따라서 일부 node의 label을 안 상태에서 다른 node의 label을 확인하는 semi-supervised node classification 문제로 접근합니다. 일부 node만 알고 있다면 어떻게 접근할 수 있을까요? 우리는 아래 세 가지 방법을 통해서 위 문제를 해결할 것 입니다. Relational classification Iterative classification Correct & Smooth 비슷한 성질을 지내고 있는 node는 서.. 2022. 3. 8. 이전 1 다음
