GPT는 Transformer 아키텍처를 기반으로 한 언어 모델입니다. Transformer 아키텍처는 "Attention is All You Need"라는 논문에서 처음 소개되었습니다. 이 아키텍처는 RNN(Recurrent Neural Network)이나 LSTM(Long Short-Term Memory)과 같은 기존의 순환 신경망이 가진 문제점을 해결하기 위해 개발되었습니다. 특히, 병렬 처리를 통한 효율성 향상과 긴 시퀀스의 정보를 더 잘 기억하도록 설계되었습니다.
Transformer 아키텍처는 크게 인코더(encoder)와 디코더(decoder)로 구성되어 있지만, GPT는 인코더를 사용한 단방향(uni-directional) 자기 회귀 언어 모델입니다. 따라서 여기서는 GPT와 관련된 인코더 부분만 설명하겠습니다.
인코더는 다음과 같은 주요 구성 요소로 이루어져 있습니다:
1.
입력 임베딩(Input Embeddings): 입력 텍스트를 토큰화한 후, 각 토큰을 고정된 크기의 벡터로 변환합니다. 이 임베딩 벡터에는 단어의 의미와 문법적 정보가 포함되어 있습니다.
2.
위치 임베딩(Positional Embeddings): Transformer는 순환 구조를 갖지 않기 때문에, 시퀀스의 순서 정보를 제공하기 위해 위치 임베딩을 사용합니다. 위치 임베딩은 각 단어의 위치에 대한 정보를 포함하는 벡터로, 입력 임베딩과 합쳐집니다.
3.
셀프 어텐션(Self-Attention): 셀프 어텐션 메커니즘은 각 단어에 대해 입력 시퀀스 내의 다른 단어들과의 관계를 학습합니다. 이를 통해 문장 내 단어 간의 상호 작용을 파악할 수 있습니다. 셀프 어텐션은 Query, Key, Value라는 세 가지 벡터로 분해되며, 이들 간의 연산을 통해 어텐션 가중치를 계산합니다.
4.
멀티-헤드 어텐션(Multi-Head Attention): Transformer는 셀프 어텐션을 여러 개의 병렬 어텐션 레이어로 분할하여, 다양한 관점에서 입력 시퀀스를 학습하게 합니다. 이를 통해 모델이 다양한 의미적, 문법적 정보를 더 잘 포착할 수 있습니다. 각 어텐션 레이어의 결과는 결합되어 다음 단계로 전달됩니다.
5.
포지션 와이즈 피드 포워드 네트워크(Position-wise Feed-Forward Network): 이 네트워크는 각 단어에 대해 독립적으로 작동하며, 주로 비선형 활성화 함수를 포함한 신경망 레이어로 구성됩니다. 이 과정은 각 단어에 대한 특성 추출 및 추상화를 담당합니다.
6.
레지듀얼 연결(Residual Connection) 및 층 정규화(Layer Normalization): 인코더의 각 단계에서는 레지듀얼 연결과 층 정규화가 적용됩니다. 레지듀얼 연결은 입력 정보를 그대로 전달하여 그래디언트 소실 문제를 완화하며, 층 정규화는 레이어의 출력값을 정규화하여 학습을 안정화시킵니다.
7.
인코더 스택(Stack of Encoders): 인코더는 여러 층으로 쌓여 구성됩니다. 각 층은 위에서 설명한 구성 요소를 포함하며, 깊이가 증가할수록 모델은 더 복잡한 패턴과 의미적 관계를 학습하게 됩니다.
GPT는 인코더를 기반으로 한 단방향 언어 모델로, 텍스트를 순차적으로 생성하며, 주어진 문맥에서 다음 단어를 예측하는 방식으로 작동합니다. 인코더 내의 구성 요소들이 상호 작용하며, 문장의 구조와 의미를 파악하고 새로운 문장을 생성할 수 있게 합니다. 이를 통해 GPT는 다양한 자연어 처리 작업에 높은 성능을 발휘합니다.