12 - 단어를 수치로 표현하다: Word2Vec과 딥러닝 기반 NLP

 

사람은 단어의 의미를 문맥과 경험을 통해 자연스럽게 이해하지만, 컴퓨터는 단어를 단순한 문자열로만 인식합니다.
이 문제를 해결하기 위한 대표적인 방법이 바로 Word2Vec입니다.
이번 글에서는 단어를 벡터로 표현해 의미를 이해하게 만드는 Word2Vec의 작동 원리와 실습 방법을 함께 소개해드리겠습니다.

---

1️⃣ Word2Vec이란 무엇인가요?

Word2Vec은 단어를 고차원 공간의 벡터(Vector)로 변환하는 딥러닝 기반 자연어 처리(NLP) 기술입니다.
이 벡터는 단어의 의미와 문맥적 유사성을 반영하며, 아래와 같은 특징을 가지고 있습니다.

✅ Word2Vec의 특징

• 의미가 비슷한 단어일수록 벡터 공간에서 가까운 위치에 존재합니다.
• 예: "king" - "man" + "woman" ≈ "queen"
  → 단어 간 의미 연산이 가능해집니다!

---

🔍 Word2Vec의 학습 방식

방식	설명
CBOW (Continuous Bag of Words)	주변 단어들을 기반으로 중심 단어를 예측
Skip-gram	중심 단어를 기반으로 주변 단어들을 예측

일반적으로 데이터가 많을수록 Skip-gram이 성능이 더 좋고, CBOW는 빠른 학습에 유리합니다.

---

2️⃣ Word2Vec 실습: Gensim을 활용한 학습

이번 실습에서는 Python의 NLP 라이브러리인 Gensim을 이용해 Word2Vec 모델을 직접 학습시켜 보고,
특정 단어의 의미 벡터를 출력하거나 유사한 단어를 찾아보겠습니다.

from gensim.models import Word2Vec
from gensim.utils import simple_preprocess

# 샘플 문장 데이터
sentences = [
    "자연어 처리는 인공지능의 중요한 분야입니다.",
    "딥러닝을 활용한 텍스트 분석이 발전하고 있습니다.",
    "Word2Vec은 단어를 벡터로 변환하는 방법입니다.",
]

# 간단한 토큰화
tokenized_sentences = [simple_preprocess(sentence) for sentence in sentences]

# Word2Vec 모델 학습
model = Word2Vec(
    sentences=tokenized_sentences,
    vector_size=10,  # 벡터 차원
    window=3,        # 문맥 윈도우 크기
    min_count=1,     # 최소 등장 빈도
    workers=4        # 병렬 처리
)

# 단어 벡터 확인
print("벡터 - '자연어':")
print(model.wv["자연어"])

# 단어 유사도 확인
print("\n'자연어'와 유사한 단어:")
print(model.wv.most_similar("자연어"))

💡 결과 해석

• model.wv['자연어']: '자연어' 단어가 위치한 벡터 공간의 좌표를 나타냅니다.
• most_similar('자연어'): 문맥상 비슷한 단어들을 점수와 함께 추천해줍니다.

---

3️⃣ 사전 훈련된 Word2Vec 모델 활용

Gensim으로 Word2Vec을 직접 학습할 수도 있지만, 더 많은 단어와 문맥 정보를 담고 있는 사전 훈련된 모델(Pre-trained Model)을 활용하는 방법도 있습니다.

✅ 대표 사전 학습 모델

언어	모델	설명
영어	Google News Word2Vec	약 3백억 단어로 학습된 300차원 벡터 모델
한국어	FastText, Word2Vec (한국어 위키 기반)	다양한 오픈소스에서 제공
다국어	KoNLPy, KoEDA 등	한국어 특화 형태소 분석기와 함께 사용 가능

활용 시나리오:

• 텍스트 분류, 감성 분석, 챗봇 등에서 벡터 임베딩을 초기값으로 활용
• 단어 유사도 비교, 주제어 추출, 문장 군집화 등

---

🏆 오늘의 핵심 요약

항목	설명
✅ Word2Vec	단어를 수치 벡터로 변환하여 의미 정보를 내포하는 NLP 기법입니다.
✅ CBOW / Skip-gram	주변 단어와의 관계를 통해 단어 의미를 학습합니다.
✅ Gensim 실습	Python에서 Word2Vec 모델을 쉽게 학습하고 활용할 수 있습니다.
✅ 사전 훈련 모델	대용량 말뭉치 기반 벡터를 활용해 더욱 정교한 NLP 작업이 가능합니다.