데이터브릭스, 유니티 카탈로그 기능 확장…테이블 형식 종속성 해소 및 비즈니스 사용자 지원 강화

데이터 및 인공지능 플랫폼 기업 데이터브릭스가 유니티 카탈로그의 신규 기능을 공개하고, 테이블 형식 종속성을 제거하며 비즈니스 사용자의 데이터 활용성을 크게 높였다고 밝혔다.

이번 발표를 통해 유니티 카탈로그는 아파치 아이스버그 REST 카탈로그 API를 기본 지원하고, 외부 엔진에서도 아이스버그 관리 테이블을 자유롭게 읽고 쓸 수 있는 개방형 거버넌스 환경을 제공한다. 데이터브릭스는 이를 통해 성능 최적화와 세분화된 정책 적용이 가능한 유일한 통합 카탈로그를 지향하고 있다.

또한, 유니티 카탈로그는 비즈니스 사용자를 위한 두 가지 신규 기능도 함께 도입했다. 첫째, ‘유니티 카탈로그 매트릭스’ 기능을 통해 주요 지표와 KPI를 일급 자산으로 정의하고 통합 관리할 수 있다. 둘째, 비즈니스 도메인별 큐레이션 기반 ‘디스커버’ 탐색 환경을 제공해, 비기술 사용자도 신뢰할 수 있는 데이터, 대시보드, AI 자산을 셀프 서브 방식으로 활용할 수 있다.

유니티 카탈로그는 이번 업데이트를 통해 다음 세 가지 기능을 새롭게 제공한다. ▲아이디얼 REST API 기반 아이스버그 관리 테이블 생성 및 외부 엔진 연동 ▲레이크하우스 페더레이션 기반 외부 아이스버그 테이블 탐색 ▲델타셰어링 생태계 기반 테이블 간 안전한 공유가 가능하다. 이를 통해 데이터 형식에 따른 사일로를 제거하며, 다양한 환경에서도 일관된 거버넌스를 실현할 수 있다.

한편, 유니티 카탈로그 매트릭스는 기존 BI 도구에 내재됐던 지표 정의를 데이터 플랫폼으로 통합함으로써, 모든 구성원이 SQL로 동일한 기준의 지표에 접근할 수 있는 기반을 제공한다. 해당 기능은 현재 퍼블릭 프리뷰로 제공되며, 2025년 여름 정식 출시 예정이다.

‘디스커버’ 기능은 영업, 마케팅, 재무 등 주요 비즈니스 도메인별로 정리된 내부 마켓플레이스를 통해 고가치 자산을 탐색할 수 있는 환경을 제공한다. 자산에는 문서, 소유자, 태그, 사용 이력 등 메타데이터가 함께 제공되며, AI 기반 추천과 데이터 관리자용 큐레이션 도구를 통해 별도 승인 없이도 자산을 손쉽게 탐색 및 활용할 수 있다. 현재 해당 기능은 프라이빗 프리뷰 형태로 제공된다.

아울러 유니티 카탈로그는 데이터 품질, 사용 패턴, 자산 간 연관성 등 신뢰도 판단에 필요한 인텔리전스 기능을 전면에 반영했으며, 내장형 ‘데이터브릭스 어시스턴트’를 통해 자연어 기반 질문에 대해 정책 기반 맥락을 반영한 신뢰도 높은 응답을 제공한다.

데이터브릭스의 공동설립자 겸 최고기술책임자 마테이 자하리아는 “데이터브릭스는 4년 전 유니티 카탈로그를 통해 통합 거버넌스 개념을 정립했다”라며 “이번 업데이트로 우리는 아파치 아이스버그와 모든 개방형 테이블 형식에 대해 업계 최고 수준의 카탈로그를 제공하며, 외부 엔진에서도 관리 테이블을 자유롭게 다룰 수 있는 유일한 플랫폼이 됐다”라고 밝혔다. 이어 “비즈니스 사용자가 데이터와 AI를 누구나 접근할 수 있는 형태로 활용할 수 있도록 지원하는 것이 목표”라고 전했다.
dl-ciokorea@foundryco.com