19 - 스스로 학습하는 AI: 강화 학습(Reinforcement Learning) 이해하기

 

알파고가 바둑에서 인간을 이긴 것은 단지 계산 능력 때문만은 아닙니다.
보상과 실패를 스스로 경험하며 학습하는 ‘강화 학습’(Reinforcement Learning)이 있었기에 가능한 일이었습니다.

이번 글에서는 강화 학습의 핵심 개념, 대표 알고리즘, 그리고 직접 실행해볼 수 있는 Q-Learning 실습까지 함께 정리해보겠습니다.

---

1️⃣ 강화 학습이란?

강화 학습은 보상을 최대화하기 위해 최적의 행동을 스스로 학습하는 머신러닝의 한 분야입니다.
지도 학습처럼 정답이 있는 것도 아니고, 비지도 학습처럼 단순한 패턴 추출도 아닙니다.
강화 학습은 스스로 시행착오를 반복하며, 주어진 환경 속에서 **최고의 전략(Policy)**을 찾아냅니다.

✅ 대표 활용 분야

분야	활용 예시
게임	알파고, Atari 플레이, StarCraft AI
로보틱스	로봇 팔 제어, 자율 주행
금융	주식/암호화폐 트레이딩 전략
제조/물류	최적의 경로 계획, 생산 자동화

---

🔍 강화 학습의 핵심 구성 요소

구성 요소	설명
에이전트 (Agent)	환경과 상호작용하며 학습하는 주체
환경 (Environment)	에이전트가 행동을 취하고 결과를 받는 공간
상태 (State)	현재 환경이 표현된 정보
행동 (Action)	에이전트가 선택 가능한 행동들
보상 (Reward)	행동의 결과로 주어지는 점수 또는 피드백
정책 (Policy)	어떤 상태에서 어떤 행동을 할지를 정하는 전략

---

2️⃣ 강화 학습의 대표 알고리즘

📌 ① Q-Learning (값 기반 학습, Value-Based)

• Q-테이블을 통해 상태와 행동에 대한 보상 값을 업데이트
• 모든 상태-행동 쌍에 대해 보상 기대치를 저장하여 최적 정책을 학습

📌 ② Deep Q-Network (DQN)

• Q-값을 신경망(Neural Network)으로 근사
• 복잡한 게임 환경(예: Atari)에서도 뛰어난 성능 발휘

📌 ③ 정책 기반 알고리즘 (Policy Gradient)

• Q값이 아닌 정책 자체를 직접 최적화
• 대표 알고리즘: PPO(Proximal Policy Optimization), A3C, REINFORCE 등
• 고차원 연속 상태공간에서 효과적

---

✅ 실습: Q-Learning을 활용한 강화 학습

OpenAI Gym을 이용해 간단한 환경(FrozenLake)에서 Q-Learning을 구현해보겠습니다.

📦 설치

pip install gym

🧪 코드 예시

import numpy as np
import gym

# 환경 설정 (FrozenLake)
env = gym.make("FrozenLake-v1", is_slippery=False)

# Q-테이블 초기화
q_table = np.zeros([env.observation_space.n, env.action_space.n])
learning_rate = 0.1
discount_factor = 0.9
num_episodes = 1000

# 학습 진행
for episode in range(num_episodes):
    state = env.reset()[0]
    done = False

    while not done:
        # 탐험과 이용의 균형 (ε-greedy)
        action = np.argmax(q_table[state]) if np.random.rand() > 0.1 else env.action_space.sample()
        next_state, reward, done, _, _ = env.step(action)
        
        # Q-값 업데이트
        q_table[state, action] = (1 - learning_rate) * q_table[state, action] + \
            learning_rate * (reward + discount_factor * np.max(q_table[next_state]))
        state = next_state

# 결과 출력
print("학습된 Q-테이블:")
print(q_table)

🔍 주요 개념 요약

• is_slippery=False: 랜덤성이 없는 환경 설정 (디버깅에 적합)
• q_table: 상태-행동에 대한 기대 보상값 저장
• ε-greedy: 탐색(exploration)과 이용(exploitation)의 균형

---

🏆 오늘의 핵심 요약

항목	설명
✅ 강화 학습(RL)	보상을 최대화하기 위해 최적의 행동을 스스로 학습하는 방식
✅ 구성 요소	에이전트, 환경, 상태, 행동, 보상, 정책
✅ 대표 알고리즘	Q-Learning, DQN, PPO 등
✅ 실습 도구	OpenAI Gym을 활용하여 다양한 환경에서 쉽게 테스트 가능