A Simple Framework for Contrastive Learning of Visual Representations (SimCLR), google research, 2020

ImageNet의 Semi-supervised Learning 부분에서 최근 SOTA를 달성한 학습 방법으로, Positive pair을 이용한 Contrastive learning, Data-augmentation기법에 대한 좋은 insight를 얻을 수 있습니다. 

 

arxiv 주소 : arxiv.org/abs/2002.05709

A Simple Framework for Contrastive Learning of Visual Representations

얼마전 만든 발표자료로 간단하게 내용이 정리되어 있습니다. 

2020년 초 기준으로 ImageNet Semi-supervised learning 부분 SOTA를 기록한 논문입니다. 

 

 

아래부터 위로 올라가는 그림으로, positive pair을 생성하고, feature extrection수행 이후 이를 contrastive loss space로 매핑 -> 학습

딥러닝이 image histogram등으로 꼼수를 부리는 것을 방지해야한다. 대체적으로 우리가 classification에서 딥러닝이 사용하길 원하는 것은 shape지만, 이러한 contrastive learning problem에서 애매한 augmantation은 오히려 잘못된 학습으로 모델을 이끌 수 있다. 

혹시나 딥러닝 모델을 통해서 representation을 하고 싶으신 분들은 마지막 class label구분을 위한 부분이 아니라 그 이전 부분 에서 feature를 뽑아야 한다. class를 구분하기 위한 정보 이외의 많은 정보들이 날아간다고 한다. 

1% 혹은 10%의 데이터 샘플링만으로 Contrastive learning을 이용한 Transfer learning에서 각 오픈데이터셋의 최고기록과 비슷한 성능을 냄. Base는 ImageNet pre-trained model