“엉터리 데이터, AI 성과 두 배로 망쳐”···글로벌 CIO 4인이 제시한 AI 시대의 데이터 관리 해법

고품질 데이터는 모든 IT 이니셔티브의 성공에 있어 필수적이다. 특히 AI 프로젝트에서는 그 중요성이 더욱 크다. 잘못된 데이터는 언제나 잘못된 결과를 낳으며, AI에서는 이로 인한 재무적 손실, 규제 위반에 따른 벌금, 평판 훼손 등 그 대가가 훨씬 더 크다. 반면, 성공적인 이니셔티브를 뒷받침하는 양질의 데이터는 전략적으로 중대한, 경우에 따라 판도를 바꿀 수 있는 경쟁력을 제공할 수 있다.

무선 네트워크용 반도체 제조사 스카이웍스 솔루션즈(Skyworks Solutions)의 부사장이자 CIO인 사티야 자야데브는 “AI 세계에서는 ‘쓰레기를 넣으면 쓰레기가 나온다’는 말이 두 배로 적용된다”라며 “우수한 AI 시스템의 비결은 데이터 계층을 얼마나 잘 구축하느냐에 달려 있다”라고 조언했다. 또한 그는 “데이터 소스를 이해하고, 데이터를 생성하며, 하나의 데이터 플랫폼을 구축하는 아키텍처와 인프라를 만드는 것이 중요하다”라고 설명했다.

자야데브를 비롯한 CIO들은 전통적인 머신러닝(ML)부터 생성형 AI, 에이전트형 AI에 이르기까지, 모든 AI 프로젝트의 단일 진실 공급원(single source of truth)으로써 데이터 레이크, 웨어하우스, 레이크하우스 구현에 집중하고 있다.

10여 년 전 빅데이터가 부상하던 시기, 비정형 데이터를 분석 자산으로 활용하기 위해 데이터 레이크가 등장했다. 이후 레이크하우스는 데이터 레이크처럼 비정형 데이터를 저장하면서도, 데이터 웨어하우스처럼 구조화 계층을 더해 더 빠르고 경제적으로 인사이트를 제공하는 아키텍처로 자리잡았다.

CIO들은 이 같은 기술들을 활용해 데이터 파이프라인의 견고함과 품질 수준을 확보하며, AI 전략을 통한 변혁적 가치를 실현하려 하고 있다.

더 나은 데이터 = 더 나은 AI

조직이 데이터를 보다 체계적으로 정비할수록 데이터 성숙도(data maturity)가 높아지며, 이는 AI 성과로 이어진다. 시장조사업체 IDC는 데이터 성숙도를 고급 데이터 품질 관리, 메타데이터 카탈로그화, 데이터 거버넌스 프로세스 활용 등으로 정의한다. IDC가 CDO 대상으로 진행한 설문조사에 따르면, 데이터 성숙도가 높은 기업은 생성형 AI 솔루션을 실제 운영에 적용할 가능성이 훨씬 높다.

IDC 데이터 인텔리전스 및 통합 소프트웨어 서비스 부사장 스튜어트 본드는 “조직들이 데이터 품질을 우선시함으로써 데이터 작업자의 생산성을 높이고 AI 결과의 정확성과 적절성을 향상시키고 있다”라고 분석했다.

해당 보고서에 따르면, AI에 최적화된 결과를 도출할 수 있도록 데이터를 준비하는 과정은 기업 성과에도 큰 영향을 미친다. 이는 고객 유지율 5배 향상은 물론, 수익성, 효율성, 매출 측면에서도 긍정적 효과를 보여준다.

스카이웍스 솔루션즈에서 자야데브는 데이터브릭스 기술 기반 레이크하우스를 데이터 품질 관리의 중심에 두고 있다. 그는“데이터 레이크하우스는 마치 마천루의 기초와 같다. 모든 데이터를 수집해 청동, 은, 금 계층으로 품질을 정제하고 구분한다”라며 “공장 및 기타 소스에서 유입되는 테라바이트 단위의 데이터를 포함해 페타바이트 규모의 데이터가 레이크하우스에 저장돼 있다”고 설명했다.

‘빈티지’ 데이터로 AI 전략 강화

자야데브와 스카이웍스 솔루션즈뿐 아니라, 와인 및 음료 제조 기업 갈로(Gallo)도 AI 인사이트 확보를 위해 데이터 웨어하우스와 레이크하우스를 도입했다. 갈로의 CIO 로버트 바리오스에 따르면, 갈로는 SAP S/4HANA 기반 데이터 웨어하우스를 구축해 소비자, 재무, 소싱 데이터를 각각의 데이터 마트로 구분했으며, 비SAP 데이터를 위해 AWS 레드시프트기반 데이터 레이크하우스를 활용하고 있다. 이 과정에서 메타데이터를 적용해 데이터 구조를 부여하고 있다.

갈로는 또한 생성형 AI를 통해 표준 문자열에서 벗어난 데이터나 누락된 정보를 식별하고 보완함으로써 데이터 품질을 향상시키고 있다. 예를 들어, 고객 데이터의 속성이 기준과 다를 경우, 생성형 AI가 문맥을 이해해 올바른 속성을 판단하고 교체해준다. 와인 설명에서도 마찬가지다. ‘spicy’로 표현된 와인을 ‘peppery’로 바꾸는 식이다.

갈로는 생성형 AI 구현에 AWS 베드록(Bedrock)을 활용하고 있으며, 자사 전용 LLM을 사용해 외부 공개 없이 데이터를 처리하고 있다.

바리오스는 “스포츠 에이전트나 부동산 에이전트처럼, 원하는 것을 말하면 AI 에이전트가 찾아주는 것”이라며, 다음 단계로는 의사결정 과정을 문서화해 이를 에이전트형 AI에 입력하고, 자율적 결정을 가능하게 하는 작업을 추진하고 있다고 전했다.

제약 데이터를 위한 레이크하우스 기반 통합 플랫폼

암 등 난치병 치료제를 개발하는 서비에 파마슈티컬즈(Servier Pharmaceuticals)는 자사 데이터를 구글 클라우드 플랫폼(GCP)의 빅쿼리(BigQuery) 기반 데이터 레이크하우스로 통합했다. 이 플랫폼은 연구개발(R&D), 제품팀, 기업 홍보팀 등 각기 다른 부서에서 활용되는 여섯 개 IT 포트폴리오의 공통 데이터 기반 역할을 하며, 이들 부서 모두 일정 수준의 AI를 도입하고 있다. 서비에의 IT 총괄 마크 융거에 따르면, 레이크하우스와 메타데이터 태그는 팀 간에 분리돼 있던 데이터를 연결해주는 역할을 하며, 데이터 사일로를 해소하는 부가적 이점을 제공한다.

융거는 “우리는 이질적인 데이터에 체계적인 분류체계와 명명법을 부여해 AI 알고리즘이 활용할 수 있도록 만들었다”라며 “이를 통해 투입되는 데이터의 품질을 보장하고, 그 결과물의 정확성도 확보할 수 있다”라고 말했다. 융거는 특히 AI 분석이 영업 및 마케팅 인사이트에서 큰 효과를 발휘하고 있다고 표현했다.

제약 산업에서 특허는 핵심 자산이다. 서비에는 자사 특허를 보호하는 동시에 타사의 특허를 침해하지 않도록 세심한 주의가 필요하다. 융거는 “공개 데이터 세트에 무엇을 포함시킬지 신중하게 검토해야 한다”라고 전했다. 이에 따라 서비에는 마이크로소프트 애저(Azure) 기반으로 프라이빗 챗GPT를 구현해, 기밀 유지를 보장하면서도 내부 문서와 이메일 작성 속도를 높이는 데 생성형 AI를 활용하고 있다.

이 외에도 임상시험 중 생성될 수 있는 개인정보는 유럽연합의 AI 법률(AI Act)을 준수해 엄격하게 관리해야 한다. 해당 법은 당사자 동의 없이 개인을 감시하는 행위를 금지한다. 융거는 “컴플라이언스 위반은 곧바로 막대한 벌금으로 이어질 수 있다. 규정을 준수하는 것이 매우 중요하다”라고 설명했다.

AES, 클린에너지 현장 데이터로 AI 기반 구축

지속가능한 에너지에 주력하는 발전 기업 AES는 GCP 기반 AI 플랫폼 ‘CEDAR’를 구축하고 있다. 이 플랫폼은 전사 클린에너지 현장에서 발생하는 운영 데이터를 집계하고 관리하는 기능을 수행한다. AES의 최고 디지털 책임자 알레한드로 레예스는 “CEDAR는 데이터 수집 및 정의 방식을 통일함으로써 전 제품 라인에서 일관된 데이터를 제공한다”라고 설명했다.

이 플랫폼은 데이터 카탈로그 도구 ‘Atlan’과 머신러닝 기반 데이터 품질 도구 ‘Qualytics’를 활용해 데이터 표준을 적용하며, 이를 기반으로 재무, 엔지니어링, 유지보수 등 각 부서가 공통된 AI 자원으로 데이터를 활용할 수 있게 한다.

AES는 또한 AI 플랫폼 ‘Farseer’를 통해 시장 수요, 날씨 조건, 에너지 생산 능력, 예상 수익 등을 예측하고 있으며, 이로써 적정 생산량과 가격 전략을 수립하고 있다. 해당 프로젝트는 CIO닷컴이 주최하는 ‘2024 CIO 100 어워드’를 수상했다. 레예스는 현재 구글 제미나이와 마이크로소프트 코파일럿을 병행해 사용 중이며, 향후 백오피스 자동화를 위한 에이전트형 AI 도입도 검토 중이라고 밝혔다.

AI 성공의 열쇠는 ‘데이터 거버넌스’

데이터 웨어하우스, 레이크, 레이크하우스는 결코 새로운 기술이 아니지만, AI를 통한 비즈니스 가치 실현이 중요한 과제로 부상하면서, 이들 기술에 다시 한 번 조명이 집중되고 있다. 스카이웍스 솔루션즈의 자야데브는 “AI는 기존 IT가 아닌 변혁적 도구이며, 누구나 접근을 원한다”라며 “문제는 이를 비즈니스가 다양한 유스케이스를 만들 수 있도록 열어주면서도 거버넌스를 확보하는 것”이라고 설명했다.

서비에의 융거는 데이터 거버넌스 프로젝트를 시작한 지 18개월이 지났지만, 가장 큰 난관은 인재 확보라고 지적했다. “역량과 전문성을 갖춘 인재, 그리고 프로세스가 모두 필요하다”며 “이러한 여정을 이끌고 가속화할 수 있는 적절한 인재를 찾는 것이 핵심”이라고 전했다.

AES의 레예스는 ‘지속 가능한 AI’를 위해 데이터 거버넌스를 업무 흐름을 해치지 않는 방식으로 구현하는 것이 중요하다고 조언했다. “조직 구성원 모두가 데이터를 자산으로 인식하고, 정확히 카탈로그화하고 관리해야 한다”라고 말했다.

갈로의 바리오스도 강력한 데이터 기반의 중요성을 재확인했다. 바리오스는 “기초가 제각각이면 결국 무너질 수밖에 없다”라며 “완성도 높은 레이크하우스를 보유해도, 실제로 활용하지 않으면 무용지물이다. 비즈니스 부서와 협력해 성과 지표를 공유해야 한다”라고 조언했다.
dl-ciokorea@foundryco.com