분류 전체보기127 CS224w - 16. Advanced Topics in Graph Neural Networks Part 1 Limitations of Graph Neural Networks 먼저 GNN이 갖는 한계에 대해서 알아봅시다. Perfect GNN model이라고 한다면, 같은 neighbor를 가지는 node는 같은 embedding을 가지고, 다른 neighbor를 가지는 node는 다른 embedding을 가지는 것입니다. 하지만 그렇게 만들기 쉽지 않습니다. 먼저, 같은 neighbor를 가지지만 position에 따라서 다르게 embedding해야 되는 경우 문제가 생깁니다. $v_1$과 $v_2$는 완벽하게 같은 neighbor을 갖지만(모든 node가 같은 label을 갖는다면), 위치가 다르기 때문에 다른 embedding이 주어지는 것이 맞습니다. 다른 neighbor를 가지지만 computation.. 2022. 12. 4. CS224w - 15. Deep Generative Models for Graphs Part 2 Scaling Up Graph Generation 지금의 GraphRNN은 어떤 node가 이전에 존재하던 node들과 연결될 수 있을지를 모두 계산해야 합니다. Computation time상 intractable한데, BFS node ordering으로 이를 일부 해결할 수 있습니다. 간단하게 전의 M개의 node만 보겠다는 의미인데, 걱정이 되기는 합니다. M개 보다 더 이전의 node와 연결해야하는 경우는 BFS가 놓치게 됩니다. Evaluating Graph Generation Graph의 집합(set)을 비교하는 방법을 생각해봅시다.어기서는 graph의 similarity metric을 정의해야 합니다. Visual similarity일수도 있고, graph statistic이 비슷할 수도 있.. 2022. 11. 30. CS224w - 15. Deep Generative Models for Graphs Part 1 그래프 generation은 지금까지 다룬 graph 문제와는 또 다른 형태의 problem formulation 입니다. Synthetic graph를 만드는 방법에 대해서 이야기하는 chapter입니다. Graph generation은 drug discovery, social network modeling 등에 적용할 수 있습니다. 다른 활용 범위로는 아래의 예시들이 있습니다. Graph generation을 학습하는 이유 Insights: graph formulation/structure에 대한 insight 획득 Predictions: graph의 미래 변형에 대한 예측 Simulations: graph instance에 대해 simulation. (요즘 3D simulation에 graph가 많.. 2022. 11. 23. CS224w - 14. Community Detection in Networks Part 2 Louvain Algorithm Louvain algorithm은 community detection에 활용되는 알고리즘입니다. 현재 그래프에서 neighborhood node를 추가하는데, 주위에서 Q maximal하게 늘릴 수 있는 node를 greedy하게 search합니다. 해당 node를 찾으면 community에 aggregate합니다. Community에 node를 추가하는 과정에서, 기존의 다른 community에 있던 node를 제외시킬수도 있습니다. 따라서 이 과정에서는 D에서 i가 빠져나가는 것과 새로 C로 편입되는 과정의 $\Delta Q$를 계산해야 합니다. Modularity Q는 식 정리를 통해서 비교적 간단하게 구할 수 있습니다. Community 내부 edge수와 총 edg.. 2022. 11. 21. CS224w - 14. Community Detection in Networks Part 1 Community Detection in Networks Granovetter’s Research의 연구에서는 close-friend 보다 지인의 중요성을 설명합니다. 강의 전반과 강하게 연결되는 내용은 아니지만, 우리 삶에서는 자주 느낄 수 있는 포인트입니다. 그 이유는 강한 친밀도의 친구끼리는 이미 많은 정보가 공유되고 있기 때문입니다. 이미 그들 사이의 정보는 redundant information일 확률이 높습니다. 어떤 식으로 community를 정할지에 대한 고민을 하는 과정에서, triadic closure를 이야기할 수 있습니다. A와 B가 연결되어있고, A와 C가 연결되어 있다면 B와 C도 연결될 가능성이 높다고 보는 것이 triadic closure입니다. 또한 edge overlap을.. 2022. 11. 21. CS224w - 13. GNNs for Recommender Systems Part 2 LightGCN NGCF에서 학습하는 파라미터는 두 가지로, Shallow user/item embeddings, GNN parameter입니다. 하지만 굳이 GNN이 끼지 않아도 shallow learnable embedding은 노드 단위로 이루어지기 때문에 충분히 expressive하다고 볼 수 있습니다. LightGCN은 NGCF를 세 가지 방법으로 simplify합니다. Adjacency matrix 개선, GCN 개선, 그리고 non-linearity 제거로 오히려 recommendation performance가 더 향상되는 결과를 보였습니다. 먼저 user와 item에 대해서 위와 같은 새로운 형태의 adjacency matrix를 제시할 수 있습니다. User와 item이 개별 축에 존재.. 2022. 11. 21. 이전 1 ··· 6 7 8 9 10 11 12 ··· 22 다음
