‘전략적으로 접근해야 할 때’··· AI에 준비된 데이터를 만드는 3단계

많은 조직이 이미 생성형 AI의 가치를 입증하는 소규모 개념 증명(PoC)을 성공적으로 수행했지만, PoC를 확장하고 새로운 기술을 비즈니스의 다른 부분에 적용하는 데는 어려움이 따르고 있다. AI에 준비된 데이터 생성이 기업 내 표준 관행으로 자리 잡는 데 노력이 필요하기 때문이다. AI 준비 데이터 없이 실행되는 AI 프로젝트의 60%가 1년 내에 중단될 것이라는 가트너의 최근 예측은 IT 리더가 즉시 해결해야 할 과제를 보여준다.

많은 CIO에게 단 하나의 AI 프로젝트를 위해 데이터를 준비하기란 쉽지 않다. 소프트웨어 지원 기업 리미니스트리트(Rimini Street)의 CTO 에릭 헬머는 “AI 여정을 시작하면서 많은 이들이 자사 데이터가 엉망이라는 사실을 발견했다. 어떤 경우에는 수백 개의 다양한 시스템 중 어디에 데이터가 있는지 확신하지 못한다. 데이터를 찾더라도 AI가 사용할 수 있는 상태인지 알 수 없는 경우가 많다. 이런 상황이 AI 도입 의지에 제동을 걸게 된다”라고 말했다.

비즈니스 프로젝트 전반에서 AI를 지원하라는 요구 사항이 쏟아질 것에 대비해, CIO는 AI 준비 데이터가 표준 관행으로 자리 잡는 3가지 단계를 취할 수 있다.

기존 IT 시스템에서 벗어나기

EY의 글로벌 AI 부문 리더 베아트리즈 산즈 사이즈는 “궁극적인 목표는 AI 준비 데이터를 확보하는 데 있다. 이는 AI 모델에서 효과적으로 사용되고 특정 애플리케이션에서 원하는 결과를 생성하도록 최적화된, 일관성 있고 품질 높은 데이터를 의미한다”라고 말했다. AI 준비 데이터는 CIO가 단 하나의 애플리케이션을 위한 것이 아니라 기업 고유의 인텔리전스가 필요한 모든 애플리케이션에 적용될 수 있다.

많은 IT 리더는 표준 데이터 관행과 기존 IT 하드웨어 및 소프트웨어로 이 목표를 달성할 수 없다는 사실을 깨닫고 있다. 헬머는 “서로 연결되지 않은 시스템으로 구성된 방대한 환경에서 데이터를 정리하고 AI에 유용하게 만드는 일은 거의 불가능하다. HR 시스템에서 중복 레코드를 삭제하거나 다른 방식으로 데이터를 정리해도, 변경 사항이 관련 데이터 저장소에 적용되지 않아 데이터 불일치가 발생할 수 있다”라고 언급했다.

따라서 CIO는 비즈니스별 사용 사례에 필요한 모델을 정기적으로 훈련시키기 위해 기업 정보를 수집, 정리 및 분류하는 방법을 통합하고 AI 준비 데이터의 파이프라인을 구축해야 한다. 최근 가트너가 데이터 관리 리더를 대상으로 실시한 추가 연구에 따르면 대부분의 조직은 아직 이 단계에 이르지 못했다. 1,200개 이상의 조직을 대상으로 한 연구에서 3분의 2가 AI에 적합한 데이터 관리 관행을 갖추지 못했거나 그렇다고 확신할 수 없다고 응답했다. 즉, AI 도입을 확대할 계획인 IT 리더는 데이터 관리 방식을 재고해야 한다.

히타치 밴타라(Hitachi Vantara)의 AI 부문 CTO인 제이슨 하디는 지금까지 대부분의 조직이 이미 프로덕션 워크로드를 지원하는 데 어려움이 따르는 기존 시스템에 의존해 왔다고 말했다. 이제 AI 워크로드가 추가되면서 일상적 운영에까지 영향을 미치는 다운스트림 문제가 발생하고 있다. CIO는 엄청난 양의 데이터를 새로운 인터페이스 세트로 렌더링할 뿐만 아니라, 생성형 AI가 이전에는 볼 수 없었던 패턴으로 생성하는 모든 신규 데이터를 처리하기 위해 인프라를 개편해야 한다. 하디는 “AI 혁명은 모든 산업에서 데이터센터 현대화를 강제하고 있다”라고 언급했다.

사이즈에 따르면 데이터 현대화는 이미 2018년쯤부터 대규모로 시작됐다. 당시 새로운 기술이 등장함에 따라 기업들은 분석과 머신러닝에 필요한 대규모 구조화 및 비구조화 데이터 세트의 증가하는 요구 사항을 수용하기 위해 데이터 인프라와 관행을 변경해 왔다. 또한 데이터 가상화도 활용하기 시작했는데, 이는 데이터가 생성되는 곳과 실제 사용되는 곳을 분리함으로써 대형 데이터 웨어하우스의 필요성을 줄였다. 이제 자율적으로 작동하는 AI 에이전트의 등장으로 고품질 데이터에 대한 필요성이 그 어느 때보다 빠르게 증가하고 있다. 이미 진행 중인 데이터 현대화가 더욱 시급한 과제가 되고 있다.

AI로 데이터를 개선하고 지식으로 AI를 개선

다행히도 사이즈는 AI가 하나의 해결책이 될 수 있다고 조언했다. 예를 들어 생성형 AI는 합성 데이터를 생성하는 데 사용될 수 있으며, AI가 데이터 품질을 분석하고 개선하는 데 도움을 줄 수 있다. 일부 조직은 AI를 사용해 합리적인 범위 밖에 있는 값을 식별해 데이터 분포를 분석하고 누락된 값을 채우고 있다. AI는 또한 엔지니어가 문제 있는 데이터 세트를 찾아내고 주어진 값이 현실적인지 파악하기 위해 다양한 기술을 적용할 때도 도움을 줄 수 있다. 사이즈는 “현재 기업에서 AI의 응용 분야로 ‘데이터를 위한 AI’가 떠오르고 있다. 데이터 혁명과 AI 혁명이 동시에 일어난다는 사실은 결과적으로 윈-윈일 수 있는 상황”이라고 설명했다.

AI는 또한 분산된 인프라를 관리하기 위해 AI 에이전트를 활용하는 중앙 집중식 인텔리전스를 통해 훨씬 더 분산된 데이터 인프라를 구현할 수 있다. 수십만 개의 AI 에이전트가 표준을 적용하고 데이터 일관성을 보장할 수 있는데, 사이즈에 따르면 데이터 일관성 유지는 기업이 데이터 인프라와 관련해 직면하는 주요 과제다.

이를테면 AI는 CRM, 컨택 센터 소프트웨어, 금융 애플리케이션을 포함한 모든 시스템에서 특정 고객의 기록 시스템이 일관되게 유지되도록 도울 수 있다. 사이즈는 “일관성을 유지하기 위해, 고객이 컨택 센터나 웹과 상호 작용할 때마다 모든 시스템이 거의 실시간으로 변경 사항을 받는다. 이전에는 지연 시간이 더 길고 수동 확인이 많았지만, 이제는 모두 AI에 의해 주도될 수 있다. AI는 지속적으로 상태와 마스터 데이터 세트를 확인해 인텔리전스를 기반으로 전체 시스템에서 레코드를 업데이트해야 하는지 결정한다”라고 설명했다.

사이즈에 따르면 지식은 데이터를 해석하는 데 도움이 되기 때문에 데이터만큼 중요해지고 있다. 데이터 인프라 위에 지식 계층을 구축해 컨텍스트를 제공하고 환각을 최소화할 수 있다. 그는 “통신 분야에서 누군가가 예측 모델을 실행하는 경우, 재무 예측을 위해 동일한 모델을 실행하는 것과 변수, 입력, 결과가 달라진다. 지식에 집중할수록 AI는 더 정확해진다”라고 진단했다.

점진적으로 전환

일부 IT 리더는 AI 여정을 시작하기 전에 모든 데이터를 완벽한 상태로 만들어야 한다고 생각하고 있다. 그러면 눈앞의 과제에 압도당할 수 있다. 하디는 데이터 관리 관행과 인프라를 점진적으로 전환하는 것이 더 나은 접근법이라고 말했다. 그는 “기본 원칙과 관행을 마련한 후에는 한 번에 한 프로젝트씩 전환할 수 있다”라고 설명했다.

하디에 따르면 CIO의 주요 관심사이자 기본 원칙이 되는 영역은 사이버보안이다. IT 리더는 모델을 훈련시키는 데 사용되는 데이터가 프라이버시 보호 규정을 위반하지 않도록 할 뿐만 아니라 모델이 사용자의 접근 권한과 일치하는 응답을 생성하도록 해야 한다. 하디는 “AI 시스템은 누가 질문하는지 알아야 적절한 수준의 정보가 반환되고 추가 정보가 노출되지 않는다”라고 말했다.

특히 AI가 클라우드 기반 서비스로 제공될 때 지적 재산을 노출시킬 리스크도 줄여야 한다. 하디는 “서비스와의 인터페이스 방식과 데이터 유형, 주권 요구 사항, 민감도 요건, 규제에 따라 일부 데이터는 절대 클라우드에 보관해서는 안 된다는 결정이 나올 수 있다. 가이드라인을 마련하면 사레별로 온프레미스에 유지해야 할 데이터와 클라우드로 이동해야 할 데이터를 결정하는 데 유용할 것”이라고 조언했다.

헬머는 모범 사례를 준수하는 데 도움이 되는 관리 조직을 설립해야 한다고 말했다. AI 애플리케이션을 개발하거나 배포하는 사람은 데이터 품질뿐만 아니라 보존 정책, 데이터 종속성 정책 및 모든 적절한 규정과 일치하는 일련의 규칙을 준수해야 한다.

하디는 “여정을 진행하면서 각 프로젝트로 달성하고자 하는 결과를 결정하라”라고 조언했다. 그는 이어 “해당 결과에 도달하기 위해 필요한 데이터와 인터페이스해야 하는 시스템을 파악해야 한다. 수익을 보기도 전에 모든 문제를 한꺼번에 해결하려고 하기보다는 한 번에 하나의 결과에 집중하는 태도가 필요하다”라고 덧붙였다.
[email protected]