ViT1 ViT(Vision Transformer) Abstract 이 논문이 발표되기 까지는 트랜스포머는 자연어 처리 태스크에서는 표준 모델이라고 할 만큼 많이 사용되고 있었지만, 컴퓨터 비전 태스크에서는 많이 사용되지 않았다. 비전 분야에서는 Attention이 CNN의 일부로써 적용되어왔습니다. 놀라운 점은 CNN을 사용하지 않고도 이미지 패치의 시퀀스에 적용된 Transformer로만으로도 이미지 분류 문제에서도 좋은 성능을 보여주었다는 것입니다. Introduction What is Transformer? "Attention Is All You Need" Transformer: Attention만 활용해 모델 구축 Transformer의 핵심 아이디어 : Self Attention Self Attention을 설명하기 전에 Attention에 대.. 2022. 8. 21. 이전 1 다음
