후로링의 프로그래밍 이야기

최근 semi-supervised learning에서 data augmentation을 사용한 contrastive learning방법이 대세이기는 하지만, 실제 필드에서 새로 얻어지는 데이터에 대해 학습을 수행하고 싶을 때 가장 걸림돌이 되는 부분은 새로 얻은 데이터에 대한 labeling입니다. 이 논문에서는 서로 연관성이 있는 labeling model여러개를 조합하여 신뢰성이 높은 weak label을 생성하는 방법에 대해 설명하고 있습니다. 사람은 어떤 물체를 판단할때 하나의 knowledge만 가지고 판단하지 않습니다. 물론 눈에 보이는것이 가장 크기는 하지만 여러가지 정보를 조합해 사과를 사과다, 강아지를 강아지다 라고 판단합니다. 현재의 image classification이나 object..

Stanford DAWN프로젝트는 제가 가장 좋아하는 연구실? 연구프로젝트? 이며, 데이터를 어떻게 다루는지에 대한 좋은 논문을 많이 내고 있습니다. ML architecture를 이용한 성능 향상이 한계에 봉착한 지금, 데이터를 이용한 성능 향상에 대한 논문이 많이 나오고 있는데, 2~3년 전부터 이와 관련된 논문을 꾸준히 내고 있는 곳입니다. 혹시나 비디오 관련 big data system을 고려하고 있다면 한번쯤은 봐야 할 논문이라고 생각합니다. 단순히 제가 논문을 한글로 line-by-line 으로 번역한 내용이지만 나름대로 이해를 하면서 써놓았기 때문에 읽으시는데 어려움이 없었으면 좋겠습니다.

ImageNet의 Semi-supervised Learning 부분에서 최근 SOTA를 달성한 학습 방법으로, Positive pair을 이용한 Contrastive learning, Data-augmentation기법에 대한 좋은 insight를 얻을 수 있습니다. arxiv 주소 : arxiv.org/abs/2002.05709 A Simple Framework for Contrastive Learning of Visual Representations This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive s..