MS 패브릭, 의미 모델 자동생성 기능 폐지··· “데이터 거버넌스 강화 목적”

마이크로소프트가 기업 데이터를 기반으로 의미 모델(semantic models)을 자동 생성하던 기능을 폐지할 계획이다. 패브릭(Fabric) 사용자들은 앞으로 신규 데이터셋에 대한 분석 워크플로우를 구성할 때 더 많은 작업을 수동으로 수행해야 한다.

의미 모델은 패브릭에 저장된 원시 데이터에 의미와 맥락을 부여해 구조화된 형태로 표현하는 모델이다. 사용자는 웨어하우스, 레이크하우스, SQL 데이터베이스 등 패브릭 자산을 생성할 때 직접 의미 모델을 정의하거나, 자동 생성되는 ‘기본 의미 모델(Default Semantic Model)’을 활용할 수 있었다.

하지만 이 기본 옵션은 올해 말까지 단계적으로 폐지될 예정이며, 이를 활용해 빠른 프로토타이핑이나 데이터 구조 검증을 해오던 기업들에게는 적지 않은 영향을 미칠 것으로 보인다. 이미 생성된 기본 의미 모델도 자동 관리 대상에서 제외되고, 사용자가 직접 명시적으로 관리 및 유지해야 하는 일반 의미 모델로 전환된다.

마이크로소프트는 기본 의미 모델 기능의 폐지가 자사 엔터프라이즈 제품 전반에 걸쳐 데이터 거버넌스를 강화하려는 전략의 일환이라고 설명했다.

책임성을 강조하는 마이크로소프트의 전략

무어 인사이트 앤드 스트래티지(Moor Insights & Strategy)의 수석 애널리스트 로버트 크레이머는 이번 조치가 기업이 AI 및 분석 역량을 확장해 나가는 과정에서, 각 팀이 데이터 모델을 설계하고 관리하는 방식에 보다 명확한 책임을 부여하려는 전략적 의도라고 분석했다.

크레이머는 “이러한 변화는 워크스페이스를 체계화하고, 보고 프로세스를 더 투명하게 만드는 데 도움이 될 것”이라며 “팀은 감사 이력, 데이터 계보, 사용 현황 등을 더 명확하게 파악할 수 있게 된다”라고 설명했다.

다만 그는 “기업 사용자가 의미 모델을 수동으로 생성해야 하는 추가 작업이 생기기 때문에, 빠른 프로토타이핑 워크플로우에는 속도 저하가 발생할 수 있다”라고 진단했다. 그는 “예기치 않은 문제를 방지하려면 마이크로소프트가 제공하는 마이그레이션 스크립트를 조기에 활용하는 것이 바람직하다”라고 조언했다.

AWS와 구글도 같은 방향으로 전환 중

이런 전략은 마이크로소프트만의 움직임이 아니다. 자동 생성된 모델 대신, 구조화된 의미 계층을 기업이 직접 설계해 활용하도록 유도하는 클라우드 업체가 늘고 있다.

구글의 루커(Looker)는 사용자에게 룩ML(LookML)을 활용해 의미 모델을 직접 정의하도록 요구하고 있으며, 최근에는 여기에 ‘제미나이(Gemini)’를 결합해 AI 기반 모델 추천 및 챗봇 형태의 분석 기능을 제공함으로써 인사이트 도출 속도를 높이고 있다.

크레이머는 “AWS는 퀵사이트(QuickSight) 토픽을 통해 다른 방식을 취하고 있다. 머신러닝이 필드를 추천해주긴 하지만, 최종적으로 모델은 작성자가 직접 설계한다. 결국 두 기업 모두 AI와 잘 작동하고 데이터 거버넌스를 유지할 수 있는 ‘정제되고 설명 가능한 모델’을 지향하고 있다”라고 분석했다.

무엇이 바뀌고, 어떻게 적용될까?

마이크로소프트에 따르면, 올해 말 기본 의미 모델이 폐지된 이후에는 패브릭에서 웨어하우스, 레이크하우스, SQL 데이터베이스 또는 미러 데이터베이스를 생성하더라도 동일한 이름의 의미 모델이 자동으로 생성되지 않게 된다.

이와 함께, 패브릭의 ‘리포팅’ 탭에서는 기존 자동 생성 의미 모델과 연동돼 있던 ‘새 보고서(New Report)’, ‘기본 의미 모델 관리(Manage default semantic model)’, ‘의미 모델 자동 업데이트(Automatically update semantic model)’ 등의 옵션이 제거된다.

마이크로소프트는 기본 의미 모델의 폐지로 인해 빠른 보고서 생성을 지원하던 모델 레이아웃과 컨텍스트 메뉴 단축 기능도 함께 사라진다고 밝혔다. 대신 사용자는 ‘홈’ 탭 내 새로운 진입점을 통해 의미 모델을 명시적으로 생성하고 직접 관리해야 한다.

마이크로소프트에 따르면 기존에 생성된 기본 의미 모델도 영향을 받게 되며, 이 모델들은 원래 연결돼 있던 데이터 자산과 분리된 뒤 독립적인 의미 모델로 전환돼 사용자가 직접 수동으로 관리해야 한다.

이번 변경 사항은 오는 12월까지 적용될 예정이다.

추후 문제를 피하기 위한 모델 정리

크레이머는 기업이 이런 변화에 대비하려면 패브릭 관리자 API를 활용해 기존의 기본 의미 모델을 모두 식별하고, 이를 ‘유지(keep)’, ‘통합(merge)’, ‘폐기(retire)’ 등으로 태깅해 분류하는 작업부터 시작해야 한다고 조언했다.

또한 그는 기업이 유지하기로 결정한 모델에 대해서는 파워BI 프로젝트(PBIP)나 테이블러 모델 정의 언어(TMDL)를 활용해 명시적 의미 모델로 재구축해야 한다고 말했다. 그래야만 버전 관리와 거버넌스가 체계적으로 이뤄질 수 있다는 설명이다. PBIP는 파워BI 보고서와 의미 모델을 버전 관리 및 협업이 가능한 형식으로 저장하는 파일 포맷이며, TMDL은 PBIP 파일 내에서 의미 모델의 구조와 로직을 정의하고 관리하는 데 사용되는 모델링 언어다.

크레이머는 기업이 MS의 데이터 거버넌스 관리 도구인 ‘퓨어뷰(Purview)’를 활용해 의미 모델에 메타데이터를 추가함으로써 검색성과 거버넌스 수준을 함께 높일 수 있다고 설명했다.

그는 “향후 의미 모델이 깔끔하고 빠르게 동작하며 규정도 준수할 수 있도록 분석가들이 ‘별모양 스키마(Star Schema)‘의 설계 기법을 충분히 학습해야 한다. 지금 시간을 들여 구조를 정비하고 교육을 병행하는 팀이 나중에 비효율적인 모델이나 성능 저하 문제로 골치 앓는 일을 피할 수 있을 것”이라고 말했다.
dl-ciokorea@foundryco.com