4 - AI/ML 개발의 진화

데이터브릭스, AI/ML 개발을 위한 통합 플랫폼

“AI는 알고리즘이 아니라, 좋은 데이터 파이프라인에서 시작된다.”

---

AI/ML, 아직도 어렵게 하고 있진 않나요?

많은 조직들이 머신러닝 프로젝트를 시도하지만, 실제 서비스에 적용되는 비율은 생각보다 낮습니다. 이유는 간단합니다. “데이터 준비 → 모델 개발 → 배포 → 운영”에 이르는 여정이 너무 복잡하고 흩어져 있기 때문입니다.

• 데이터가 여기저기 흩어져 있고,
• 노트북에서 실험한 모델이 프로덕션에선 다시 만들어져야 하고,
• 협업은 구글 드라이브와 슬랙에 의존하고,
• 모델의 성능은 배포 후에도 확인이 어렵습니다.

이런 문제를 해결하기 위해 데이터브릭스는 ML을 위한 엔드투엔드 플랫폼을 제공합니다. 하나의 환경에서 데이터 준비, 실험, 추적, 배포, 협업까지 모두 가능하게 하는 것. 이것이 바로 데이터브릭스가 추구하는 AI/ML 통합 워크플로우입니다.

---

1. 통합 개발 환경: 다중 언어 지원 노트북

데이터 과학자들에게 가장 익숙한 작업 공간은 ‘노트북’입니다. 데이터브릭스는 Jupyter 스타일의 노트북 환경을 제공하면서도, 다음과 같은 강점을 갖습니다.

• 💻 Python, SQL, R, Scala 등 다중 언어 지원
• 📊 코드 실행 결과의 시각화, HTML 출력, 인터랙티브 UI 지원
• 🧠 Spark 클러스터 기반 대용량 연산 가능 (단일 머신 한계 극복)
• 🤝 실시간 공동 편집 및 댓글 기능으로 팀 협업 강화

또한, 최근에는 Databricks Assistant를 통해 코드 자동 완성, 오류 수정, 문서 생성 등 생산성 향상 기능도 강화되었습니다.

---

2. MLflow – 머신러닝 실험과 배포를 위한 핵심 도구

데이터브릭스에서 AI/ML 기능의 중심축은 바로 MLflow입니다. 데이터브릭스의 공동 창업자가 만든 오픈소스 프로젝트이자, 현재 가장 널리 쓰이는 MLOps 도구입니다.

MLflow가 제공하는 4가지 핵심 기능:

구성 요소	기능
Tracking	실험 결과(코드, 데이터셋, 하이퍼파라미터, 지표 등) 자동 기록/비교
Projects	모델 학습 코드의 재현성 있는 패키징
Models	학습된 모델을 다양한 포맷으로 저장 (Python Function, PyTorch, ONNX 등)
Registry	모델 버전 관리 및 스테이징/프로덕션 상태 관리

💡 예: 실험 1~10까지 정확도, AUC, 하이퍼파라미터를 비교해 최적 모델을 선정하고 등록 → API로 배포

MLflow를 통해 모델 개발과 배포를 코드 수준이 아닌 ‘프로젝트 수준’으로 관리할 수 있습니다. 협업과 재현성을 보장하고, MLOps 구축의 핵심이 됩니다.

---

3. Feature Store – 특성(Feature)의 재사용과 공유

모델을 만들다 보면 반복적으로 등장하는 변수들이 있습니다. 예를 들어:

• 사용자 최근 7일 방문 횟수
• 결제 평균 금액
• 게임 내 이탈 여부 등

이러한 특성을 매번 새로 만들기보다는, Feature Store에 등록하여 여러 프로젝트에서 공통으로 사용하고, 관리하며, 실시간으로 업데이트하는 것이 훨씬 효율적입니다.

데이터브릭스의 Feature Store는 Unity Catalog와 통합되어 있어:

• ✅ 스키마, 소유자, 메타데이터 관리
• ✅ 오프라인(모델 학습용) / 온라인(예측 API용) 데이터 일치
• ✅ 권한 기반 접근 제어

이런 기능들을 통해 기업 내 AI 자산을 체계적으로 축적하고 재활용할 수 있습니다.

---

4. 모델 배포: 배치, 실시간 API, AutoML까지

배포 방식:

• 🔁 배치 추론: 하루 한 번 전체 유저 대상 예측 실행 (예: 이탈 가능성 점수 산출)
• ⚡ 실시간 API: 이벤트 발생 시 즉시 모델 호출 (예: 채팅 필터링, 추천 시스템)
• 🤖 AutoML: GUI 기반으로 데이터만 넣으면 자동으로 최적 모델 생성 및 배포

데이터브릭스는 REST API, MLflow Serving, AWS SageMaker, Azure ML 등 다양한 환경에 모델을 배포할 수 있도록 지원하며, 서버리스 추론 기능도 점차 확대되고 있습니다.

---

5. 협업과 운영: AI 팀 전체가 함께 쓰는 플랫폼

역할	활용 방식
데이터 과학자	실험, 분석, 모델 학습 및 성능 평가
ML 엔지니어	모델 재현, 서빙 코드 작성, 인프라 구성
PM / 기획자	노트북에서 실험 리뷰, 성능 변화 모니터링
분석가	모델 성능 기반 리포트 작성 및 활용

모든 실험, 코드, 모델, 피쳐, 평가 지표는 중앙에서 추적되며, 팀원 간 작업을 공유하고, 리뷰하고, 재현하고, 버전 관리할 수 있습니다. 노트북도, 모델도, 파이프라인도 모두 협업 가능한 자산으로 관리됩니다.

---

AI/ML 개발, 데이터브릭스에서 어떻게 바뀌는가?

항목	기존 방식	데이터브릭스 방식
데이터 준비	수작업 추출, CSV 업로드	Delta Lake 연동으로 즉시 사용
실험 관리	노트북 파일별 관리	MLflow로 자동 추적, 비교
모델 배포	수작업 재구현	자동 API 서빙, 레지스트리 배포
특성 재사용	매번 새로 생성	Feature Store 기반 중앙 관리
협업	드라이브 공유, 메신저	실시간 편집, Git 연동, 워크스페이스 공유

---

요약: 진짜 AI는 데이터부터 잘 다뤄야 한다

데이터브릭스는 AI/ML을 단순한 기능으로 보지 않습니다. 데이터 수집 → 정제 → 분석 → 모델 → 서빙까지 이어지는 전체 라이프사이클을 하나의 플랫폼 안에서 연결하려는 철학이 뚜렷합니다.

그 결과, AI/ML을 다음과 같은 방식으로 “실행 가능한 자산”으로 만들 수 있습니다:

• 신뢰할 수 있는 데이터 기반 모델
• 협업과 재현성이 보장된 실험
• 간편하고 빠른 모델 서빙
• MLOps 구축을 위한 기반

---

다음 편 예고: 이 모든 것을 가능하게 한 구조는?

이런 통합적인 AI/ML 플랫폼이 가능했던 이유는 바로 데이터브릭스의 아키텍처 – 레이크하우스(Lakehouse) 덕분입니다. 다음 편에서는 레이크하우스가 어떤 원리로 데이터 레이크와 웨어하우스를 결합하고, AI/ML까지 확장 가능한 구조를 만드는지 깊이 있게 살펴보겠습니다.

다음 글: 5 - 데이터브릭스의 심장