딥러닝 기반 자연어 처리 기술은 최근 몇 년간 혁신적인 발전을 이루었습니다. 이 발전의 중심에는 RNN(순환신경망)에서 트랜스포머 아키텍처로의 패러다임 전환이 있었습니다. 이번 글에서는 두 모델의 특징과 차이점, 그리고 트랜스포머가 어떻게 기존 RNN의 한계를 극복했는지 알아보겠습니다.1. 순환신경망(RNN)의 구조와 한계RNN은 시퀀스 데이터를 처리하기 위한 초기 딥러닝 모델로, 텍스트를 순차적으로 하나씩 처리하는 특징을 가집니다. 1) RNN의 작동 방식텍스트의 각 토큰(단어)을 하나씩 순차적으로 입력이전 토큰 처리 결과를 다음 토큰 처리에 활용이런 순환 구조가 시퀀스 데이터 처리에 적합2) RNN의 한계점 순차적 처리로 인한 비효율병렬 처리가 불가능해 학습 속도가 느림긴 시퀀스 처리 시 계산 시간..
