'Attention Is All You Need' Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org NLP 분야에 막대한 영향을 준 이 논문은 자연어처리 뿐만 아니라 비전 태스크에도 Transformer가 활용되며 피인용수는 6만회를 넘게 되었습니다. 해당 논문을 다시 한번 읽고 번역하는 ..

자연어처리(NLP) 용어 정리 인공지능 각 분야별 관련 용어를 정리해 보고자 합니다. 조금씩 작성되는 글인만큼, 미완성된 글에 대한 양해를 부탁드립니다. Q. 자연어처리(Natural Language Processing) 모델이란 무엇인가요? A. 자연어처리 모델은 자연어를 입력받아 해당 입력이 특정 범주일 확률을 구하고, 이 확률값을 이용해 자연어 형태로 가공해 반환하는 모델입니다. Q. 트랜스퍼 러닝(Transfer Learning, 전이학습)이란 무엇인가요? A. 특정 태스크를 학습한 모델을 다른 태스크를 수행하기 위해 재사용하는 기법입니다. 기존 모델에서의 파라미터를 활용하여 새로운 모델을 만드는데 활용할 수 있습니다. 트랜스퍼 러닝을 적용하면 기존 모델보다 더 빠르고 태스크를 잘 수행하는 경향이 있습니다. Q. 업스트림 태스..

트랜스포머 살펴보기 트랜스포머는 2017년 구글이 제안한 시퀀스 to 시퀀스 모델입니다. 최근 자연어처리에서 각광받는 BERT나 GPT 등이 트랜스포머 기반 언어 모델입니다. 그럼 어떻게 성능이 좋고 각광받게 되었는지 알아보겠습니다. Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a ..