CIO코리아·IBM, “AI 성패 좌우하는 건 데이터”…AI 레디 데이터 전략 제시

이번 행사는 ‘데이터로 만드는 AI 성과 격차와 리더십의 선택’을 주제로 진행됐다. IBM과 컨플루언트는 AI 시대 기업 경쟁력의 핵심으로 ‘AI 레디(Ready) 데이터’와 실시간 데이터 활용 체계를 제시하며, 단순히 생성형 AI 모델을 도입하는 것을 넘어 기업 내부 데이터를 얼마나 신뢰성 있게 연결·가공·활용할 수 있느냐가 실제 AI 성과를 좌우한다고 강조했다.

첫 번째 세션에서는 한국IBM의 CTO & 테크 세일즈 리더인 이지은 전무가 AI 시대 데이터 전략의 중요성을 짚었다. 이 전무는 IBM 산하 연구소인 기업가치연구소(IBV)가 전 세계 1,700명 이상의 데이터·AI 관련 C레벨 리더를 대상으로 진행한 조사 결과를 소개하며 “기업들은 데이터가 AI 경쟁력의 핵심이라는 사실은 알고 있지만, 실제로 충분한 역량을 갖췄다고 답한 비율은 26%에 불과했다”라고 말했다.

이지은 전무는 “AI 시대는 단순히 새로운 기능이나 기술 하나를 도입하는 문제가 아니라 엔드투엔드 워크플로우 전체를 재구상하는 시대”라며 “기업 고유 데이터를 AI에 어떻게 연결하고 활용하느냐가 경쟁력을 결정하게 될 것”이라고 설명했다.

IBM은 AI 시대 데이터 전략의 핵심 요소로 ▲목적 기반 데이터 전략 ▲전사 확장이 가능한 데이터 아키텍처 ▲데이터·AI 거버넌스 ▲데이터 중심 조직 문화 ▲비정형 데이터 활용 등을 제시했다.

이지은 전무는 “기업 내부 데이터에는 해당 기업만의 핵심 인사이트가 담겨 있다”라며 “외부 LLM이 아무리 뛰어나더라도 기업 고유 데이터가 연결되지 않으면 실제 비즈니스 인사이트를 제공하기 어렵다”라고 말했다.

이어 “데이터 품질 문제, 접근성 부족, 데이터 계보(Lineage) 파악의 어려움 등으로 인해 기업들이 데이터를 충분히 활용하지 못하고 있다”라며 “AI 활용 목적에 맞춰 데이터를 재구성하고 품질을 지속적으로 관리하는 작업이 필요하다”라고 덧붙였다.

두 번째 발표에서는 IBM 아시아태평양 데이터 & AI 부문 CTO인 니킬 싱 쿠슈와가 AI 레디 데이터 아키텍처 구축 전략과 글로벌 기업 사례를 소개했다. 금융권 데이터 아키텍처와 데이터 엔지니어링 경험을 바탕으로 그는 “많은 기업들이 데이터 사일로, 데이터 컨텍스트 부족, 거버넌스 문제로 인해 AI 프로젝트를 실제 운영 환경으로 확장하지 못하고 있다”라고 진단했다.

쿠슈와 CTO는 AI 레디 데이터의 핵심 요소로 데이터 신뢰성, 규제 준수, 실시간 데이터 제공, 통합 데이터 아키텍처, 데이터 발견 가능성(Discoverability) 등을 제시했다.

그는 “데이터 소비자에게 데이터를 일일이 설명해야 한다면 이미 경쟁에서 뒤처진 것”이라며 “데이터의 의미와 출처, 민감 정보 여부 등을 메타데이터와 컨텍스트 기반으로 자동 이해할 수 있어야 한다”라고 말했다.

특히 비정형 데이터 중요성도 강조했다. 그는 “PDF, 엑셀, 로그, 오디오, 비디오 등 비정형 데이터는 AI 시대 이전보다 훨씬 중요해졌다”라며 “기업이 이런 데이터를 얼마나 효과적으로 활용하고 수익화할 수 있느냐가 경쟁력을 결정하게 될 것”이라고 설명했다.

또한 쿠슈와 CTO는 기존 데이터 웨어하우스와 데이터 레이크 구조의 한계를 언급하며, 하이브리드 기반 레이크하우스 아키텍처 필요성을 강조했다.

그는 “과거 데이터 플랫폼은 특정 벤더 기술에 종속되는 경우가 많았고, 다른 플랫폼으로 이동하는 데 막대한 비용과 시간이 필요했다”라며 “이제는 오픈 포맷 기반 개방형 아키텍처와 하이브리드 구조가 중요하다”라고 말했다.

IBM은 이날 왓슨X닷데이터(watsonx.data) 기반 레이크하우스 전략도 소개했다. IBM에 따르면 해당 플랫폼은 실시간 스트리밍 데이터, 벡터 검색, 데이터 가상화, 멀티 엔진 아키텍처 등을 지원하며, 온프레미스와 클라우드 환경을 모두 아우르는 하이브리드 구조를 제공한다.

쿠슈와 CTO는 “AI 에이전트 시대에는 데이터 컨텍스트가 가장 중요하다”라며 “의미 계층(Semantic Layer)을 통해 정형·비정형 데이터를 함께 연결하고 에이전트가 스스로 데이터를 이해할 수 있도록 하는 구조가 필요하다”라고 설명했다.

이어 그는 IBM 고객 사례도 소개했다. 유럽 대형 은행은 IBM 기반 AI 레디 데이터 플랫폼을 통해 규제 준수와 데이터 통합 환경을 구축했으며, 글로벌 유통 기업은 수십억 개 규모 벡터 데이터를 활용해 비정형 데이터 기반 데이터 수익화 체계를 운영하고 있다고 설명했다.

세번째 연사자로 나선 컨플루언트 코리아의 시니어 솔루션 엔지니어 신준희 이사는 실시간 데이터 기반 AI 아키텍처 필요성을 설명했다. 그는 “많은 기업들이 생성형 AI 프로젝트를 시작했지만 PoC 단계 이후 운영 환경으로 확장하는 과정에서 어려움을 겪고 있다”라며 “문제의 핵심은 AI 모델 자체보다 데이터를 어떻게 관리하고 AI에 적시에 제공하느냐에 있다”라고 말했다.

동시에 그는 기존 기업 데이터 인프라가 AI 시대를 위해 설계되지 않았다고 지적했다.신준희 이사는 “대부분의 기업 데이터는 분석 환경 중심으로 설계돼 있으며, 배치 처리 과정에서 이미 늦은 데이터와 오래된 컨텍스트로 변환된다”라며 “AI는 과거 데이터가 아니라 현재 상황에 맞는 최신 컨텍스트를 필요로 한다”라고 조언했다.

그는 이어 “과거 BI 환경에서는 사람이 배치 처리된 데이터를 기반으로 의사결정을 했기 때문에 일정 수준 지연된 데이터도 허용됐지만, AI 환경에서는 소프트웨어가 소프트웨어를 사용하는 구조이기 때문에 실시간 데이터 흐름이 중요해졌다”라고 말했다.

컨플루언트가 이러한 실시간 데이터 흐름을 구현하는 핵심 기술로 내세운 것이 아파치 카프카(Kafka)와 플링크(Flink) 기반의 스트리밍 데이터 플랫폼이다. 카프카가 데이터 발생 시점부터 실시간으로 데이터를 흘려보내는 역할을 한다면, 플링크는 이를 실시간으로 처리하는 동시에 과거 데이터도 같은 엔진에서 함께 다룰 수 있다. AI가 정확한 추론을 하려면 현재의 실시간 데이터뿐 아니라 축적된 과거 데이터도 함께 필요하기 때문이다.

신준희 이사는 “실시간 데이터와 과거 데이터를 연결해 AI에 제공하는 구조가 운영 환경에서 AI 경쟁력을 좌우한다”고 강조했다.

마지막 세션에서는 한국IBM 금융·제조 및 유통 사업본부의 김용민 부장이 ‘성공적인 AI 전환을 위한 데이터 현대화 사례 및 인사이트’를 주제로 발표했다.

김용민 부장은 금융·제조업 고객 사례를 중심으로 비정형 데이터를 정형화하고 AI 활용 가능한 형태로 전환하는 과정을 설명했다.

그는 “AI 레디 데이터 구축을 위해서는 정형·비정형 데이터를 통합하고 이를 신뢰 가능한 형태로 가공하는 작업이 중요하다”라며 “기업 내부 지식베이스를 기반으로 RAG(Retrieval-Augmented Generation) 환경을 쉽고 빠르게 구축할 수 있어야 한다”라고 말했다.

IBM은 보험사 사례를 통해 상품설명서 PDF 파일에서 상품명, 가입 연령, 보장 기간 등 핵심 엔터티를 자동 추출해 테이블화하는 과정을 시연했다. 이후 자연어 질의를 통해 SQL 생성과 데이터 조회까지 자동화하는 방식도 소개했다.

제조업 사례에서는 설비 고장 이력과 작업 문서 등 비정형 데이터를 구조화해 활용하는 사례도 공개됐다. IBM에 따르면 OCR, 벡터DB, 엔터티 추출 기능 등을 적용한 결과 비정형 문서 엔터티 추출 정확도가 평균 97~98% 수준으로 나타났다.

김용민 부장은 “기존에는 PDF 같은 비정형 문서를 사람이 직접 찾아보고 분석해야 했지만, 데이터 파이프라인과 RAG 환경을 구축하면 AI 챗봇을 통해 즉각적으로 활용할 수 있다”라고 설명했다.

또한 그는 데이터 가상화 기반 접근 방식도 강조했다. 데이터를 별도 ETL 배치로 복제하지 않고 원본 위치에서 직접 연결해 실시간으로 조회·활용하는 구조다.

김용민 부장은 “데이터를 매일 배치로 가져오는 방식은 중복과 지연이 발생한다”라며 “데이터 가상화를 통해 실시간 데이터 활용과 비용 절감을 동시에 달성할 수 있다”라고 말했다.

IBM은 AI 시대 데이터 플랫폼 방향성으로 온프레미스와 클라우드를 아우르는 하이브리드 구조, 오픈소스 기반 개방형 아키텍처, RAG 최적화 데이터 파이프라인 등을 제시했다. 특히 제조·금융처럼 데이터 주권과 규제가 중요한 산업군에서는 온프레미스 기반 AI 데이터 플랫폼 수요가 높아지고 있다고 설명했다.
jihyun.lee@foundryco.com