‘데이터브릭스 데이터+AI 서밋 2025’ 데이터 전문가를 위한 5가지 핵심 사항

지난주 열린 데이터브릭스 ‘데이터+AI 서밋 2025’에서는 클라우드 기반 데이터 레이크하우스 플랫폼에 적용될 다양한 생성형 및 에이전트 기반 AI 기능이 공개됐다. 주요 경쟁사인 스노우플레이크 역시 최근 개최한 자사 행사에서 비슷한 내용을 발표했다.

양사의 행사가 거의 같은 시기에 열리면서 제품 개발팀은 경쟁사의 발표에 맞춰 대응할 시간이 부족했다. 이 때문에 양사는 아직 시장에 출시할 준비가 되지 않은 제품이라도 앞다퉈 공개해야 한다는 압박을 받은 것으로 보이며, 현재 베타 테스트 또는 ‘프리뷰’ 단계인 기능이 다수 포함된 배경이기도 하다.

다음은 데이터 전문가와 개발자가 주목할 만한 행사 발표 내용이다.

자동화 중심의 AI 개발 도구

많은 기업이 일부 업무를 자동화하기 위해 AI 에이전트를 도입하고 있으며, 데이터브릭스는 이를 위한 해답으로 ‘에이전트 브릭스(Agent Bricks)’를 제시했다. 에이전트 브릭스는 AI 에이전트 구축 과정을 자동화하는 도구로, 데이터브릭스의 데이터 인텔리전스 플랫폼 핵심 요소다.

데이터브릭스는 이 도구를 통해 대부분 기업이 반복적인 실험 과정을 거쳐 특정 용도에 맞는 에이전트를 만들 여력이나 인력을 갖추지 못한 현실을 해소하고자 한다. 업계 애널리스트들은 경쟁사들이 상대적으로 간과한 영역이라고 평가했다.

또 데이터브릭스는 에이전트 라이프사이클을 빌더 인터페이스 내부가 아닌 유니티 카탈로그(Unity Catalog)와 MLflow 3.0을 통해 관리한다는 점에서도 차별화를 시도했다. 현재는 베타 테스트 중이며, MCP(Model Context Protocol)를 지원하며, 향후 구글 A2A 프로토콜도 지원할 예정이다.

데이터 엔지니어링 병목 제거

데이터브릭스는 데이터 관리 영역에서도 AI 프로젝트를 지연시키는 데이터 엔지니어링 병목을 제거하는 데 주력하고 있다. 그 일환으로 생성형 AI 기반 어시스턴트가 탑재된 ‘레이크플로우 디자이너(Lakeflow Designer)’를 프리뷰 버전으로 공개했다. 이는 데이터 엔지니어가 담당하던 작업을 데이터 분석가가 처리할 수 있도록 지원한다.

레이크플로우 디자이너는 “ETL 분야의 캔바(Canva)”로 표현되기도 하는데, 시각적이고 즉각적인 AI 지원 기반 데이터 파이프라인 구축 기능을 제공한다. 또한 애널리스트와 엔지니어 간 협업을 촉진하는 도구로도 작동한다. 레이크플로우 디자이너는 레이크플로우 선언형 파이프라인(Lakeflow Declarative Pipelines)에 통합돼 있으며, 깃 및 데브옵스 플로우, 데이터 계보 추적, 접근 제어, 감사 기능도 제공한다.

현업 사용자를 위한 분석 민주화

데이터브릭스는 데이터 인텔리전스 플랫폼의 노코드 버전인 ‘데이터브릭스 원(Databricks One)’도 프리뷰로 공개했다. 이 플랫폼은 기술 사용자가 아닌 현업 사용자를 위한 대화형 사용자 인터페이스를 통해 AI 및 BI 도구를 제공한다.

현재는 비공개 프리뷰 단계로, 데이터 인텔리전스 플랫폼 구독자는 무료로 사용할 수 있다. 데이터브릭스 원에는 AI/BI 대시보드, 지니(Genie), 데이터브릭스 앱이 포함되며, 유니티 카탈로그 및 데이터브릭스 IAM 플랫폼 기반의 거버넌스 및 보안 기능도 내장돼 있다.

AI/BI 대시보드는 현업 사용자가 코드 없이 데이터 시각화 및 고급 분석 기능을 활용할 수 있도록 지원하며, 지니는 자연어로 데이터를 질의할 수 있는 대화형 어시스턴트 역할을 한다. 데이터브릭스는 개발자와 데이터 전문가의 플랫폼 접근성을 높이기 위한 전략으로 데이터 인텔리전스 플랫폼의 무료 버전도 함께 출시했다.

네온 포스트그레SQL 통합

데이터브릭스는 10억 달러에 인수한 네온(Neon)의 포스트그레SQL 아키텍처를 자사 데이터 인텔리전스 플랫폼에 ‘레이크베이스(Lakebase)’라는 형태로 통합했다.

포스트그레SQL 관리형 데이터베이스가 데이터 인텔리전스 플랫폼에 추가됨에 따라 개발자는 컴퓨팅과 스토리지를 동시에 확장하지 않고도 AI 에이전트를 빠르게 구축하고 배포할 수 있게 됐다. 이는 성능 병목 현상 예방, 인프라 복잡도 완화, 비용 절감 측면에서 효과적이다.

블레이드브릿지 기반 AI 마이그레이션 도구 통합

데이터브릭스는 지난 2월 인수한 블레이드브릿지(BladeBridge)의 기능을 ‘레이크브릿지(Lakebridge)’라는 이름으로 데이터 인텔리전스 플랫폼에 통합했다. 이는 데이터브릭스 SQL로의 마이그레이션을 지원하는 무료 AI 기반 도구다.

앞서 이달 초 스노우플레이크도 비슷한 기능을 수행하는 ‘스노우커버트(SnowCovert)’를 출시했다. 스노우커버트는 에이전트를 활용해 기업이 데이터, 데이터 웨어하우스, BI 보고서, 코드 등을 자사 플랫폼으로 이전하도록 지원하는 도구다.

이외에도 데이터브릭스는 아파치 아이스버그(Apache Iceberg) 테이블 관리를 위한 유니티 카탈로그 기능 강화 등 다양한 업데이트를 함께 발표했다.
dl-ciokorea@foundryco.com