[AI/DL] Transformers (트랜스포머) 완벽 가이드 (정의, 특징 및 장단점, 모델 학습 과정)
·
ML & DL
1. 들어가며안녕하세요! 딥러닝 완전 정복 시리즈, 그 네 번째 시간입니다.지난 3편에서는 순서를 기억하는 RNN에 대해 배웠습니다. 하지만 RNN은 문장을 처음부터 끝까지 순서대로 읽어야 해서 속도가 느리고, 문장이 길어지면 앞의 내용을 까먹는(장기 의존성) 문제가 있었습니다."순서대로 읽지 말고, 문장 전체를 한 번에 보면서 중요한 단어끼리 연결하면 안 될까?"이 혁명적인 아이디어로 2017년 구글이 발표한 논문이 바로 **"Attention Is All You Need"**입니다. 그리고 여기서 탄생한 모델이 **트랜스포머(Transformer)**입니다.오늘날의 ChatGPT, BERT, 그리고 수많은 AI 모델의 어머니가 된 트랜스포머의 모든 것을 파헤쳐 봅시다!2. 트랜스포머(Transform..