MS, 오스모스 인수···패브릭 데이터 엔지니어링 병목 줄인다

MS가 AI 기반 데이터 엔지니어링 기업 오스모스를 인수했다. 인수 금액은 공개되지 않았다. 이번 인수는 통합 데이터·분석 플랫폼인 MS 패브릭에서 발생하는 데이터 엔지니어링의 마찰을 줄이기 위한 전략의 일환으로, 분석과 AI 프로젝트의 실제 적용이 늘어나는 흐름에 대응하기 위한 조치다.

오스모스가 보유한 기술은 에이전틱 AI를 적용해 원시 데이터를 원레이크(OneLake) 내에서 분석하고 AI에 바로 활용할 수 있는 자산으로 전환한다. MS 애저 데이터 애널리틱스 부문 부사장인 보그단 크리바트는 블로그 게시글에서, 이를 통해 많은 기업이 분석 자체보다 데이터 준비에 더 많은 시간을 소모하는 문제를 피할 수 있다고 설명했다.

MS 제품 담당 시니어 디렉터인 로이 하손도 별도의 소셜미디어 게시글에서 오스모스가 약 2년 전 패브릭에 네이티브 앱 형태로 AI 데이터 랭글러와 AI 데이터 엔지니어링 에이전트를 출시했으며, 빠르게 인기를 끌었다고 언급했다.

하손은 “고객이 패브릭 스파크 위에서 오스모스를 사용하는 것을 매우 긍정적으로 받아들였고, 이를 통해 개발과 유지보수에 들어가는 노력이 50% 이상 줄었다는 점을 빠르게 확인할 수 있었다”라고 말했다.

오스모스는 인수 이전 MS 패브릭용 데이터 에이전트와 데이터브릭스용 데이터 에이전트, 오스모스 AI 어시스트 스위트(업로더, 파이프라인, 데이터셋)를 제공해 왔다. 회사는 이를 AI 기반 데이터 수집 및 엔지니어링 도구 모음이라고 소개하며, 외부에서 유입되는 복잡하고 정제되지 않은 데이터를 최소한의 수작업이나 코딩만으로 운영 시스템에 적용할 수 있도록 자동화한다고 밝혔다.

MS의 오스모스 인수가 기업에 의미하는 바는?

MS가 패브릭 내에서 오스모스 기술을 어떻게 통합할지에 대한 구체적인 제품 로드맵은 아직 공개하지 않았다. 다만 업계 분석가들은 이번 통합이 CIO와 개발팀 모두에게 도움이 될 가능성이 크다고 봤다.

무어 인사이트 앤 스트래티지의 수석 애널리스트 로버트 크레이머는 CIO 관점에서 이번 인수가 운영 효율성 개선 및 분석, AI 이니셔티브의 가치 실현 속도 단축 등의 효과를 가져올 수 있다고 설명하며, 특히 데이터 엔지니어링 인력과 예산이 제한된 환경에서 효과가 두드러질 것이라고 진단했다.

하이퍼프레임 리서치의 AI 스택 부문 책임자인 스테파니 월터는 또 다른 장점으로, 통제 및 복원이 가능하고 감사까지 고려한 데이터 엔지니어링 자동화를 구현할 수 있다는 점을 꼽았다. 월터는 “AI가 실험 단계를 넘어 기업 전반으로 확산되면서, 신뢰성 및 규정 준수를 유지하기 위해서는 통제된 자동화가 필수가 되고 있다”라고 언급했다.

반면 크레이머는 월터의 평가와 달리, 기업이 패브릭 내 데이터 엔지니어링을 위해 오스모스 기술에 의존할 경우 플랫폼 종속성이 커질 수 있다고 경고했다. 그에 따르면, 종속성이 커지면 에이전틱 파이프라인 인증, 변경 사항에 대한 감사 및 롤백, 자율적 데이터 엔지니어링, 규제 및 컴플라이언스 요구 사항 간 정합성 등 거버넌스 및 리스크 관련 문제가 제기될 수 있다.

엔지니어링 반복 작업을 줄이는 효과

개발자 관점에서도 이번 인수는 생산성 향상으로 이어질 수 있다. 크레이머는 오스모스 인수가 복잡하고 정제되지 않은 데이터를 다루는 과정에서 발생하는 반복적이고 부가가치가 낮은 엔지니어링 작업을 줄여줄 가능성이 크다고 설명했다.

그는 “데이터 정리 작업, 일관성이 떨어지는 외부 데이터 소스 매핑, 파이프라인 골격 구성, 스파크 스타일의 변환 코드와 같은 작업을 사람이 직접 수행하는 대신 에이전트가 할 수 있다. 그러면 엔지니어는 아키텍처 설계, 성능 최적화, 데이터 품질 관리, 가드레일 설계에 집중할 수 있게 된다”라고 진단했다.

이어 그는 “개발 라이프사이클 역시 AI가 생성한 파이프라인과 변환 결과를 검토하고 테스트하며 안정성을 강화하는 방향으로 바뀔 수 있다. 이 과정에서 가시성 확보, 승인 워크플로, 되돌리기 기능이 핵심 설계 요건으로 자리 잡을 것”이라고 말했다.

최근 추가된 패브릭 기능과의 시너지

분석가들은 오스모스 인수가 최근 패브릭의 기능 개선을 보완하는 역할을 할 것이라고 내다봤다.

월터는 “최근 패브릭이 IQ 도입, 새로운 데이터베이스 추가, 원레이크 연동 강화 등 여러 기능을 확장하면서 이제 문제는 데이터에 접근하는 것이 아니라, 분석과 AI에 바로 쓸 수 있도록 데이터를 준비하는 단계로 옮겨가고 있다. 오스모스는 패브릭 환경 안에서 직접 데이터 수집, 변환, 구조 변경을 자동화함으로써 격차를 해소한다”라고 설명했다.

이어 그는 “패브릭 IQ 관점에서 보면 오스모스는 상위 데이터 소스가 바뀌더라도 시맨틱 계층과 추론 계층에 공급되는 데이터가 지속적으로 정제되고 안정적으로 유지되도록 돕는다. 시맨틱 시스템은 데이터가 일정하게 유지되고 이해 가능한 상태일 때만 효과를 낼 수 있는데, 오스모스는 이를 방해하는 운영 단계의 불필요한 마찰을 줄이는 데 초점을 맞췄다”라고 말했다.

오스모스 제품 및 기존 고객은?

다만 이번 인수가 모든 오스모스 고객에게 긍정적인 소식만은 아니다. 오스모스는 1월 내 MS 패브릭용 데이터 에이전트, 데이터브릭스용 데이터 에이전트, 오스모스 AI 어시스트 스위트 등 3가지 제품의 독립형 서비스 제공을 중단할 예정이다. 이는 오스모스의 기술은 당분간 패브릭 내부에서만 제공된다는 의미다. 데이터브릭스용 제품이나 AI 어시스트 스위트를 사용해 온 고객은 다른 대안을 찾거나, MS 패브릭 기반 서비스로 전환하는 방안을 검토해야 한다.
dl-ciokorea@foundryco.com