Databricks

Databricks이란 무엇인가요?

Databricks는 데이터 엔지니어링, 데이터 사이언스, 머신러닝, 분석을 통합하는 클라우드 기반 플랫폼입니다. 오픈소스 Apache Spark 프레임워크와 혁신적인 Lakehouse 아키텍처를 기반으로, 데이터 웨어하우스와 데이터 레이크를 통합하여 데이터 관리와 AI 개발을 간소화합니다. 생성형 AI, 대형 언어 모델(LLM), 고급 머신러닝 워크플로우를 지원하며 데이터 거버넌스, 보안, 프라이버시를 강화합니다. 플랫폼은 팀 간 협업을 촉진하고, 기존 클라우드 및 BI 도구와 원활하게 통합되어 데이터 기반 혁신과 운영 효율성을 가속화합니다.

주요 기능

• Lakehouse 아키텍처

  데이터 웨어하우스의 신뢰성과 성능, 데이터 레이크의 개방성과 유연성을 결합하여 모든 데이터 워크로드를 위한 단일 소스의 진실을 제공합니다.

• 통합 데이터 및 AI 플랫폼

  ETL, 데이터 웨어하우징, 스트리밍 분석, 머신러닝, 생성형 AI 등 엔드 투 엔드 데이터 워크플로우를 하나의 플랫폼에서 지원합니다.

• 협업 작업 공간

  인터랙티브 노트북과 공유 환경을 통해 데이터 엔지니어, 과학자, 분석가가 SQL, Python, R, Scala 등 다양한 언어로 실시간 협업이 가능합니다.

• 고급 머신러닝 도구

  실험 추적 및 모델 관리를 위한 MLflow, LLM 커스터마이징을 위한 Hugging Face 및 DeepSpeed 통합, AI 모델 서빙 기능을 포함합니다.

• 강력한 데이터 거버넌스

  Unity Catalog를 통한 중앙 집중식 세분화된 접근 제어와 안전한 데이터 공유를 제공합니다.

• 원활한 클라우드 통합

  주요 클라우드 제공업체와 연동되며, 기존 BI 및 데이터 수집 도구와 통합되어 확장 가능하고 비용 효율적인 데이터 처리를 지원합니다.

사용 사례

• 데이터 엔지니어링 및 ETL : 대용량의 원시 및 구조화된 데이터를 효율적으로 처리, 정제 및 변환하여 분석 및 AI 애플리케이션에 활용할 수 있습니다.
• 머신러닝 및 AI 개발 : 기업 데이터를 기반으로 머신러닝 모델과 생성형 AI 애플리케이션을 구축, 학습, 파인튜닝 및 배포할 수 있습니다.
• 실시간 및 배치 분석 : 비즈니스 인텔리전스 및 운영 인사이트를 위한 인터랙티브 SQL 분석과 실시간 스트리밍 데이터 분석을 수행합니다.
• 협업 데이터 사이언스 : 크로스 펑셔널 팀이 데이터 탐색, 모델 개발, 시각화를 공유 환경에서 함께 진행할 수 있습니다.
• 안전한 데이터 거버넌스 및 공유 : 중앙 집중식 거버넌스를 통해 조직 내외부의 데이터 접근 및 컴플라이언스를 관리하며, 안전한 데이터 공유 기능을 제공합니다.

자주 묻는 질문