13 - BERT와 GPT는 어떻게 만들어졌을까?: Transformer 모델의 이해

 

자연어 처리(NLP) 분야에서 최근 몇 년 사이 가장 눈에 띄게 떠오른 기술은 단연 Transformer입니다.
챗GPT, 번역기, 요약기 등 우리가 자주 사용하는 AI 서비스의 핵심에도 이 구조가 자리하고 있습니다.
이번 글에서는 Transformer의 개념부터 BERT와 GPT의 차이, 그리고 실제 감성 분석 실습까지 함께 살펴보겠습니다.

---

1️⃣ Transformer란 무엇인가요?

Transformer는 2017년 논문 "Attention is All You Need"에서 처음 제안된 딥러닝 아키텍처입니다.
기존 RNN, LSTM이 가지고 있던 순차적 처리의 한계를 극복하며, 현재 NLP의 표준 구조로 자리 잡았습니다.

✅ Transformer의 특징

장점	설명
✅ 병렬 연산 가능	RNN과 달리 전체 문장을 동시에 처리 가능
✅ 긴 문맥 이해	문장 전체를 한 번에 바라보며 관계 파악
✅ 범용성	자연어 처리 외에도 이미지, 음악 등 다양한 분야에 적용 가능

---

2️⃣ 핵심 메커니즘: Self-Attention과 Multi-Head Attention

🔹 Self-Attention

Self-Attention은 입력 문장의 각 단어가 다른 모든 단어와의 관계를 고려해 문맥을 파악하는 방식입니다.
예를 들어, “그녀는 사과를 먹었다. 그것은 맛있었다.”에서 “그것”이 “사과”를 의미함을 정확히 파악할 수 있게 도와줍니다.

📌 Self-Attention 수식

Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

• Q,K,VQ, K, V: 각각 Query, Key, Value 행렬
• 문장 내 각 단어를 벡터로 변환하고, 이들 간의 유사도를 계산하여 가중치를 부여합니다.

---

🔹 Multi-Head Attention

Self-Attention을 여러 개의 시각으로 동시에 적용하는 방식입니다.
→ 다양한 문맥 정보를 병렬로 학습할 수 있어 더 정교한 문장 이해가 가능합니다.

---

3️⃣ BERT vs GPT: 어떤 차이가 있을까?

Transformer는 기본적으로 인코더(Encoder)와 디코더(Decoder) 구조를 가지고 있습니다.
이 중 BERT는 인코더 기반, GPT는 디코더 기반으로 발전한 모델입니다.

모델	구조	방향성	특징	주요 활용
BERT	인코더 기반	양방향(Bidirectional)	문장 전체를 보고 이해	문장 분류, 감성 분석, 질의응답 등
GPT	디코더 기반	단방향(Autoregressive)	앞 단어로 다음 단어 예측	텍스트 생성, 요약, 챗봇 등

요약하면, BERT는 이해, GPT는 생성에 특화된 구조입니다.

---

✅ 실습: Hugging Face로 BERT 감성 분석 해보기

Python에서는 Hugging Face Transformers 라이브러리를 통해 손쉽게 BERT 모델을 활용할 수 있습니다.

from transformers import pipeline

# 감성 분석 파이프라인 생성 (기본적으로 BERT 기반 모델 사용)
sentiment_model = pipeline("sentiment-analysis")

# 분석할 문장
text = "이 제품 정말 좋아요! 완전 만족합니다."

# 감성 분석 실행
result = sentiment_model(text)
print(result)

🔍 출력 예시

[{'label': 'POSITIVE', 'score': 0.99}]

→ 문장이 긍정적이며, 높은 확신(score)을 가지고 있다는 것을 의미합니다.

---

🏆 오늘의 핵심 요약

항목	설명
✅ Transformer	Self-Attention 기반의 병렬 처리 가능 딥러닝 구조로, BERT와 GPT의 기반입니다.
✅ Self-Attention	문장의 모든 단어 간 관계를 계산하여 문맥을 파악합니다.
✅ BERT	문장 전체를 이해하는 데 특화된 인코더 기반 모델입니다.
✅ GPT	다음 단어를 예측하는 데 강점을 가진 디코더 기반 생성형 모델입니다.
✅ Hugging Face 실습	파이프라인 방식으로 손쉽게 BERT를 활용한 감성 분석이 가능합니다.