[논문 요약]OEPG와 PAC Net - ICML 2022 accepted papers

해석과 추측(붉은색 bold체로 표시)을 구별하여 읽을 것을 권함

주의) Abstract와 conclusion, 그리고 experiment 결과 부분을 해석하여 contribution 정도만 정리함

1. Omni-granular Ego-semantic Propagation for self-supervised Graph representation learning

Ling Yang (Peking University) · Shenda Hong (Peking University)

OEPG 설명 그림 - https://arxiv.org/pdf/2205.15746

요약(abstract 내용):

① Unsupervised나 self-supervised로 graph representation learning을 수행 후(pretraining)

② Downstream task로 node-level 혹은 graph-level classification task를 한다.

③ ①의 방법은 global structure를 얻는 supervision 방법(아마 graph 이론의 지식을 이용한 것일듯)이 주로 이용되고 있다.

④ However, 보통 global semantic은 큰 차이가 없다(차이라는 것은 아마 dataset내 sample 단위에서의 차이인듯).

⑤ 그래서 dataset sample graph 각각의 representation의 특성을 뚜렷하게 반영해서 표현력을 풍부하게 하는 데에는 실패한다.

⑥ 그래서 우리는 OEPG라는 것을 제안한다. [Omni-granular]와 [Ego-semantic]이 contribution

⑦ ego-semantic이란건 instance-adaptive(instance는 dataset 내 sample 단위를 뜻하는듯)하고(instance 각각의 representation을 뚜렷하게 표현하면서), global(dataset 전체)-aware하다는 의미이다.

⑧ 어떻게 하냐면 global structure와 local structure 사이의 first, second order feature difference를 쓰는 ego-semantic descriptor가 있는데, 이걸 여러개 만들어서 neighbor node로 씀으로써 local graph convolution을 계산할 때 반영된다.

⑨ Omni-granular라는건 normalization 기법에다가 쓴 방식인데, 방금의 descriptors 전체에 대해 적용하여 attention weight처럼 작용한다.

⑩ 우리 방법을 썼더니 multiple dataset -여러 scales, domains-에 대한 학습에서 성능 향상이 있었다.

⑪ 우리 방법은 quantity(dataset 크기인듯)와 topology(graph의 구조 분포인듯)의 imbalance 문제를 잘 generalize한다.

정리:

문제: graph representation에 global structure 반영한답시고 해봤자 죄다 비슷비슷해서 별 효과가 없는데

우리는 difference feature와 이에 맞게 고안된 normalization 방법을 써서 graph의 각 instance가 global structure도 반영하면서 각각 뚜렷한 feature를 갖게 하는 feature를 쓰는 방법을 제안한다.

Tag: graph representation learning explicitly utilizing global structure

(이 task를 이걸 잘 해서 성능을 높임)

 

2. PAC-Net: A Model Pruning Approach to Inductive Transfer Learning

Sanghoon Myung (Samsung Electronics) · In Huh (Samsung Electronics) · Wonik Jang (Samsung Electronics) · Jae Myung Choe (Samsung Electronics) · jisu ryu (Samsung Electronics) · Daesin Kim (Data & Information Technology Center, Samsung Electronics) · Kee-Eung Kim (KAIST) · Changwook Jeong (UNIST)

PAC-Net 설명 그림 - https://arxiv.org/pdf/2206.05703

요약(abstract 내용):

① Inductive transfer learning은 data 많은 source task 학습 후 data 적은 target task로 transfer learning하는 상황

② 보통은 large-scale model 써서 source task를 pretrain ▶ target task로 fine-tuning

③ However, parameter 과하면 task(본문에 source task라고 적혀있는데 굳이 inductive transfer learning 얘기가 아니어서 빼도 될듯) 학습했던거 accuracy 손실 없이 model을 prune(가지치기)해낼 수 있다.

④ 이 점에서 영감받음! transfer learning할 때 이 개념을 차용해봤다.

⑤ 우리는 PAC-net이란 걸 제안하는데, Prune(가지치기) / Allocate(할당) / Calibrate(교정) 의 준말이다.

⑥ source task에 중요한 weights를 확인해서 얘네는 source task 학습시 update.

⑦ target task 학습할 때는 나머지 redundant weights를 update.

⑧ Transfer learning 여러 케이스에 써봤더니, 이야 성능 무지달다. a large margin으로 state-of-the-art 아냐?

⑨ L²-SP, DELTA 이런 애들이 비슷한 개념으로 학습하는 baseline들인데 우리가 이겼다.

정리:

문제: pretrain-finetuning을 쓰면 학습하면서 점점 pretrained knowledge는 희석되어감

우리는 model pruning에서 버려지는 weight를 transfer learning의 target task의 weight로 활용하여 pretrained model의 knowledge를 쭉 활용하여 transfer learning을 잘 하는 방법을 제안함

tag: inductive transfer learning from model pruning approach

(이 task를 이걸 잘 해서 성능을 높임)