AI 데이터플랫폼 경쟁 본격화··· 스노우플레이크와 데이터브릭스의 ‘맞대결’

AI 프로젝트를 성공적으로 추진한 CIO들이 반복적으로 언급하는 벤더가 있다. 스노우플레이크(Snowflake)와 데이터브릭스(Databricks)다.

데이터브릭스와 스노우플레이크는 서로 다른 시장 포지션과 기술적 관점에서 출발했다. 데이터브릭스는 비정형 데이터 처리와 실시간 분석에 초점을 맞췄으며, 스노우플레이크는 클라우드 기반 데이터 웨어하우스를 추상화하고 단순화하는 데 집중해 왔다.

그러나 두 벤더는 이제 데이터 과학 및 머신러닝 플랫폼이라는 신흥 시장에서 직접적인 경쟁자로 떠올랐다. 이들의 플랫폼은 AI 및 기타 자동화 프로젝트를 구축하고 지원하는 데 유용한 도구로 자리매김하고 있다.

가트너(Gartner)는 이 범주의 플랫폼을 코드 기반 라이브러리와 로우코드 도구를 통합한 제품군으로 정의하고 있다. 이런 플랫폼은 광범위한 기능을 제공하며, 데이터 과학자와 IT 및 비즈니스 리더가 협업해 비즈니스 이해, 데이터 접근 및 준비, 모델 생성, 인사이트 공유에 이르는 데이터 과학 전 과정을 함께 수행할 수 있도록 지원한다.

지난 3년간 생성형 AI의 급격한 확산은 데이터 플랫폼 시장을 크게 확장시켰다. 이에 따라 다양한 산업의 기업들이 핵심 비즈니스 프로세스와 운영을 혁신하기 위해 데이터 플랫폼을 적극적으로 도입하고 있다.

AI 시장의 ‘스테로이드 주사’

데이터브릭스 공동 설립자이자 엔지니어링 부문 부사장인 패트릭 웬델은 자사가 생성형 AI 이전부터 머신러닝과 전통적인 AI에 집중해 왔다고 설명했다. 그는 최근의 생성형 AI 붐이 데이터 플랫폼 시장에 ‘스테로이드 주사’처럼 작용했다고 표현했다. 웬델은 “조직들이 자체 데이터를 정비하고 분석하는 데서 진정한 가치와 투자 수익(ROI)이 창출된다는 사실을 인식하기 시작했기 때문”이라고 언급했다.

웬델은 “성공적인 AI 프로젝트는 인터넷에서 긁어온 챗GPT 답변이 아니라 기업 내부 데이터에 기반해 구축된다는 인식이 확산되고 있다. 데이터의 중요성에 대한 우리의 메시지가 이제야 시장에 퍼지고 있다”라고 말했다.

AI 기반 오디오 기업 데이터볼트AI(Datavault AI)의 CEO 네이선 브래들리는 “데이터브릭스와 스노우플레이크 모두 경쟁자가 많지만, 각자의 틈새 시장을 공략하며 지속적으로 신규 고객을 확보하고 있다”라고 평가했다.

브래들리는 “스노우플레이크는 사용 편의성, 보안성, 대규모 구조화 데이터 분석에서 강점을 보이고 있으며, 데이터브릭스는 개발자 중심 환경에서 강력한 머신러닝 및 AI 도구와 멀티모달 워크로드 지원 기능을 갖추고 있다”라고 설명했다.

브래들리는 “두 회사 모두 단순한 저장이나 처리 플랫폼을 넘어 통합형 AI 오케스트레이션 환경으로 진화한 점이 인상적”이라며 “기업들은 단순히 데이터를 저장하고 쿼리하는 수준을 넘어서 협업 모델 학습, 데이터 버전 관리, 대규모 추론까지 가능한 플랫폼을 원하고 있다”라고 말했다.

클라우드 상호운용성

데이터 및 IT 컨설팅 서비스 기업 리절턴트(Resultant)의 CTO 저스틴 볼스는 두 벤더가 클라우드 종속성이 없는 플랫폼으로도 높은 평가를 받고 있다고 언급했다. 그는 해당 플랫폼이 주요 클라우드 업체 3곳에서 모두 실행 가능하다고 설명했다.

또한 볼스는 두 기업이 플랫폼 중심 전략으로 전환한 점도 강점이라고 언급하면서, “이제 두 플랫폼 모두 데이터 저장, 분석, 시각화를 아우르는 E2E(End-to-End) 기능을 제공하고 있으며, 이를 통해 보안, 패치, 운영 측면을 단순화할 수 있다”라고 말했다.

금융 산업용 SaaS 업체이자 스노우플레이크 고객사인 TS이매진(TS Imagine)의 COO 겸 최고 데이터·분석 책임자 토마스 보덴스키는 이런 데이터 분석 플랫폼의 주요 장점이 사용 편의성이라고 평가했다.

그는 “마치 원스톱 쇼핑몰 같은 플랫폼이다. 여러 기술과 플랫폼을 전전할 필요 없이, 한 곳에서 SQL, 수조 개 행의 빅데이터 처리, 빠른 쿼리 실행, 대규모 언어 모델(LLM)까지 모두 실행할 수 있다”라고 말했다.

보덴스키는 스노우플레이크를 사용한 이후 데이터베이스 관리자나 시스템 관리자가 필요 없어졌다며 “데이터 엔지니어와 데이터 과학자가 스스로 작업을 처리할 수 있고, 유지관리 부담도 거의 없다”라고 설명했다.

한편 IDC의 AI 및 자동화 부문 애널리스트 데빈 프랫은 데이터브릭스와 스노우플레이크의 성공 요인이 플랫폼 전략과 기술 중립성에 있다고 분석했다.

프랫은 “두 회사 모두 사용자가 AI 같은 복잡한 작업도 쉽게 수행할 수 있도록 통합 데이터 플랫폼을 제공하려 하고 있으며, 스토리지와 컴퓨팅을 분리하는 방식도 채택하고 있다. 이제는 두 벤더뿐 아니라 많은 기업들이 스토리지 중립적인 전략을 취하고 있으며, 데이터가 어디에 있든, 어떤 형식이든 이를 연결해주는 데 집중하고 있다”라고 진단했다.

이러한 플랫폼 전략 아래, 데이터브릭스의 ‘데이터 인텔리전스 플랫폼’은 비즈니스 인텔리전스, 데이터 웨어하우징, AI 및 데이터 과학 기능, 실시간 분석, 오케스트레이션 등을 포함하고 있다. 반면 스노우플레이크의 플랫폼은 데이터 파이프라인 구축, 분석 실행, AI 및 머신러닝 도구 생성·배포, 클라우드 및 조직 간 실시간 데이터 공유에 집중하고 있다.

급변하는 시장

스노우플레이크 CEO 스리다르 라마스와미는 플랫폼 전략 외에도 단순함이 스노우플레이크 성공의 핵심 요인이었다고 언급했다. 라마스와미에 따르면 오라클 출신이었던 스노우플레이크 창업자 2명은 복잡한 시스템이 얼마나 쉽게 고객을 지치게 만드는지 잘 알고 있었다.

라마스와미는 “AI 이전부터 스노우플레이크의 제품 철학은 기술은 단순하고 사용하기 쉬워야 한다는 것이었다. 끊임없이 조정해야 하는 수많은 설정을 없애고, 자동으로 최적화되는 셀프 튜닝 시스템을 지향하며 제품을 설계했다”라고 설명했다.

라마스와미는 여러 AI 모델을 포함한 타 제품과의 통합도 이런 철학의 일환이라고 덧붙였다. 그는 “제품 간의 일관성과 단순성을 매우 중요하게 생각하며, 모든 기능이 다른 기술과 잘 연동되도록 세심하게 설계하고 있다”라고 말했다.

데이터브릭스의 웬델은 자사가 데이터 분석 플랫폼 전략을 추구하고 있지만, 동시에 고객들이 AI 모델 및 다양한 도구와의 상호운용성을 강하게 요구하고 있다는 점도 인식하고 있다고 설명했다.

웬델은 “상호운용성의 핵심은 가장 중요한 인터페이스가 오픈소스여야 한다는 점”이라며 “스토리지를 독점 포맷에 묶어두고 싶어하는 고객은 없으며, 핵심 요소가 개방되어 있지 않으면 우리가 신뢰할 만한 파트너라는 확신을 줄 수 없다”라고 말했다.

리절턴트의 볼스는 “데이터브릭스와 스노우플레이크 모두 전망이 밝아 보인다면서도, 데이터 과학 및 머신러닝 플랫폼 시장이 아직 안정화되지 않았다고 평가했다. 그는 구글의 빅쿼리(BigQuery), 마이크로소프트(MS)의 패브릭(Fabric)처럼 클라우드 벤더들까지 이 시장에 진입하고 있으며, 여러 중소 벤더들도 치열하게 경쟁하고 있다고 언급했다.

볼스는 시장이 빠르게 진화하고 있으며, 사용 조직들이 향후 AI 발전에 대비해 데이터 거버넌스와 카탈로깅 체계를 갖춘 벤더를 찾게 될 가능성이 높다고 분석했다.

또한 볼스는 생성형 AI의 다음 주요 진화가 셀프서비스 기반 비즈니스 인텔리전스(BI)일 것이라고 내다봤다. 그는 “시각화를 위해 BI 엔지니어를 거치지 않고, 최종 사용자가 직접 데이터를 탐색하고 시각화할 수 있는 역량을 갖게 되는 것”이라고 설명했다.

IDC의 프랫은 데이터 과학 및 머신러닝 플랫폼 시장의 성장 동력으로 ‘파트너십’을 꼽으며, 최고 수준의 데이터베이스와 데이터 거버넌스 도구가 결합해 완성도 높은 데이터 분석 솔루션을 제공하는 방향으로 진화하고 있다고 평가했다.

프랫은 “플랫폼 기업은 분명히 선두를 달리고 있으며, 단일 벤더 아래 모든 시스템이 통합돼 있기 때문에 생성형 AI는 물론, 최근 주목받는 에이전트형 AI까지 내부에 쉽게 통합할 수 있다”라고 말했다.
dl-ciokorea@foundryco.com