11 - 컴퓨터가 언어를 이해한다면?: 자연어 처리와 텍스트 데이터 분석

우리가 매일 사용하는 말과 글, 즉 자연어(Natural Language)를 컴퓨터가 이해할 수 있다면 어떤 일들이 가능해질까요?
이번 글에서는 자연어 처리(Natural Language Processing, NLP)의 기초 개념과 함께 텍스트 데이터를 다루는 기본적인 분석 기법들을 소개합니다.
챗봇, 감성 분석, 검색 엔진 등 우리가 자주 사용하는 서비스들의 핵심 기술이 바로 여기에서 시작됩니다.

---

1️⃣ 자연어 처리(NLP)란 무엇인가요?

자연어 처리(NLP)는 컴퓨터가 사람의 언어(텍스트, 음성)를 이해하고, 해석하고, 생성하는 기술입니다.
사람에게는 자연스러운 언어가 컴퓨터에게는 굉장히 복잡하기 때문에, 이를 분석하기 위한 다양한 처리 기법들이 필요합니다.

✅ 대표적인 활용 사례

분야	설명
텍스트 분석	문서 요약, 감성 분석, 키워드 추출 등
챗봇 및 번역	ChatGPT, 파파고, 구글 번역 등
정보 검색	검색 엔진, 뉴스 추천, 자동 완성

---

2️⃣ NLP의 기본 개념 정리

자연어 처리를 위한 전처리 과정은 매우 중요합니다. 아래의 개념들을 반드시 이해하고 실습해보시길 추천드립니다.

---

✅ 토큰화(Tokenization)

문장을 단어 또는 문장 단위로 분리하는 과정입니다.

from nltk.tokenize import word_tokenize, sent_tokenize
import nltk

nltk.download("punkt")
text = "오늘은 자연어 처리를 배웁니다. NLP는 재미있어요!"
print(word_tokenize(text))   # 단어 단위 토큰화
print(sent_tokenize(text))   # 문장 단위 토큰화

---

✅ 불용어(Stopwords) 제거

자주 등장하지만 분석에는 의미가 없는 단어들을 제거합니다.

from nltk.corpus import stopwords

# 한글 불용어 예시
stopwords_kor = ["은", "는", "이", "가", "을", "를", "에", "에서"]
tokens = ["오늘", "은", "자연어", "처리", "배웁니다"]
filtered_tokens = [word for word in tokens if word not in stopwords_kor]
print(filtered_tokens)  # ['오늘', '자연어', '처리', '배웁니다']

---

✅ 형태소 분석(Morphological Analysis)

특히 한국어는 조사와 어미 변화가 많기 때문에, 형태소 단위로 분석해야 더 정확한 처리가 가능합니다.

from konlpy.tag import Okt

okt = Okt()
print(okt.morphs("자연어 처리는 정말 재미있어요!"))  # 형태소 단위 분리
print(okt.pos("자연어 처리는 정말 재미있어요!"))     # 품사 태깅

참고: 형태소 분석은 한국어 분석에서 특히 중요한 역할을 하며, 감성 분석이나 키워드 추출 등의 작업에서도 매우 유용합니다.

---

3️⃣ 실습: 감성 분석(Sentiment Analysis)

감성 분석은 문장의 내용을 긍정인지 부정인지 분류하는 작업입니다.

from textblob import TextBlob

text = "I love machine learning! This course is amazing."
blob = TextBlob(text)
print(blob.sentiment)  # polarity: -1(부정) ~ 1(긍정), subjectivity: 0(객관) ~ 1(주관)

🔍 출력 예시

Sentiment(polarity=0.85, subjectivity=0.75)

→ 긍정적인 문장으로 판단되며, 주관적인 표현임을 알 수 있습니다.
(※ TextBlob은 영어 텍스트에 특화되어 있습니다. 한국어 감성 분석은 별도 모델이 필요합니다.)

---

🏆 오늘의 핵심 요약

항목	설명
✅ 자연어 처리(NLP)	컴퓨터가 텍스트/음성을 이해하고 분석하는 기술입니다.
✅ 기초 전처리	토큰화, 불용어 제거, 형태소 분석은 NLP의 기본입니다.
✅ 감성 분석	문장의 감정을 정량적으로 판단할 수 있습니다.