기고 | AI 투자의 딜레마, 단기 실적과 장기 성장 사이

에이전틱 AI의 시대가 도래하고 있는 지금, 기업은 일시적인 화제성에 현혹되기보다는 실질적인 혁신을 통해 지속 가능한 장기적 가치를 창출하는 데 집중해야 한다.

기술 산업의 생존이란, 끊임없는 혁신의 물결 속에서 이뤄진다. 중요한 기술의 변곡점마다 새로운 흐름을 창출하며, 이를 통해 산업 전반에 활력을 불어넣고 개인의 경력 또한 재창조하는 순환적 과정이 반복된다. 하지만 기술은 계속 발전하고 있지만, 우리의 일하고 생활하는 방식을 완전히 뒤바꿀 만한 획기적인 변화는 한동안 없었다.

최근의 기술 혁신을 꼽아보자면, 모바일, 사물인터넷, 데브옵스, 클라우드 정도가 있었다. 하지만 이러한 변화는 점차 예측 가능한 흐름을 따랐고, 초기의 열정과 투자 활동은 기대에 미치지 못하는 결과를 내거나 마케팅 전략에 의해 퇴색되곤 했다.

이번에는 다르다. 필자는 확신을 갖고 말할 수 있다. AI가 다른 기술과 근본적으로 다른 이유는 단순히 순식간에 우리의 관심을 사로잡았기 때문이 아니라, 기업 운영의 효율성과 비즈니스 가치에 미치는 영향력이 압도적이기 때문이다. .AI의 영향력은 모든 산업 분야에서 주목받고 있다. AI는 우리가 비즈니스와 기술을 근본적으로 다르게 바라보도록 만들고 있다. 현재의 투자와 미래 사업 방향성 사이의 균형을 맞추면서 말이다.

필자는 HP, IBM, 포드, 세일즈포스 등에서 아키텍트로 일해왔으며, 최근 컨설팅 기업 알라타(Allata)에서 소프트웨어 아키텍트로 근무하고 있다. 알라타에서는 비즈니스와 기술 패턴을 연구하며, 비즈니스 목표 달성을 위한 전략 기획에 주력하고 있다. AI가 제공하는 기회를 평가하면서 비즈니스와 기술 성숙도 모델, 패턴, 리스크와 보상, 비즈니스 가치 창출 과정을 체계적으로 분석하고 있다.

많은 사람들과 마찬가지로, 필자 역시 소비자로서 AI를 처음 접한 순간은 생성형AI였다. 이 기술은 마치 하룻밤 사이에 세상을 뒤흔든 것처럼 보였지만, 사실 이는 갑자기 등장한 것이 아니었다. 오히려 점진적이고 기초적인 기술 혁신의 일부로, 서서히 진행된 ‘느리게 움직이는 쿠데타’였다. 이 변화의 중심에는 데이터를 활용한 비즈니스 가치 창출이 있었다. 이제 그 과정을 처음부터 따라가며, 현대 기업이 AI를 효과적으로 도입할 수 있도록 역량을 단계적으로 나누고 우선순위를 정해 투자하는 전략을 살펴보자.

AI의 기반: 데이터부터 시작하라

기업이 실질적인 AI 전략을 수립하기 위해 가장 먼저 투자해야 할 요소는 데이터 품질이다. 데이터 품질이 확보되지 않으면 데이터에 대한 신뢰도도 확보될 수 없다. 머신러닝, 생성형 AI, 그리고 에이전틱 AI의 신뢰성을 확보하기 위한 기본 전제는 바로 고품질의 데이터다. AI가 데이터를 통해 가치를 창출한다고 하더라도, 데이터가 부실하면 그 결과 역시 신뢰할 수 없는 것이 된다.

오라일리(O’Reilly)의 조사에 따르면, 48%의 기업이 데이터 정확성을 유지하기 위해 머신러닝, 데이터 분석, AI 도구를 활용하고 있다. 이는 AI 이니셔티브를 위해 탄탄한 데이터 기반이 필수적임을 보여준다. 반면, 클릭(Qlik)의 조사에서는 21%의 기업이 신뢰할 수 있는 데이터를 확보하지 못해 AI 도입에 어려움을 겪고 있다고 지적했다. 이는 안정적인 데이터 플랫폼 구축의 필요성을 강조하는 결과다.

특히 인수·합병을 통해 성장한 기업에서는 이러한 문제들이 빈번하게 발생한다. 필자는 과거 대형 내구재 제조사의 엔터프라이즈 아키텍트로 일하면서, 인수·합병이 가져오는 가장 큰 문제가 핵심 시스템과 데이터의 중복이라는 점을 직접 경험했다. 기업이 여러 개의 독립적인 ERP 및 공급망 관리 시스템을 운영하게 되면, 데이터가 분산되고 일관성이 부족해진다.

기술 전문가이자 기업가인 데이브 맥크로리(Dave McCrory)는 2010년 ‘데이터의 중력(Data Gravity)’ 개념을 제시하며, 데이터가 한 곳에 모이면 그곳이 자연스럽게 중심지가 되며, 기업 내부에서는 그 데이터의 품질을 깊이 검증하지 않고 신뢰하는 경향이 있다고 설명했다. 실제로, 많은 기업의 데이터 저장소는 중복성이 심각하며, 명명 규칙, 제품 명칭, 비즈니스 용어가 일관되지 않아 신뢰할 수 없는 데이터가 생성된다. 기업이 신뢰할 수 있는 제품 데이터를 확보하지 못하면, 데이터 단절과 부정확성으로 인해 비즈니스 의사결정의 질이 떨어질 수밖에 없다.

이 문제를 해결하기 위해 많은 기업이 데이터 과학과 머신러닝에 상당한 투자를 하고 있지만, 데이터를 먼저 정제하고 통합하는 과정 없이 이를 진행하면 오히려 데이터 품질과 신뢰 문제를 더욱 악화시킬 수 있다. 클라우드 기반의 엔터프라이즈 데이터 플랫폼인 스노우플레이크, 데이터브릭스, AWS 레드시프트, 애저 데이터 팩토리 등을 활용하면, 데이터의 의미적 모델을 추상화하고, 파워BI 및 태블로와 같은 분석 도구에서 활용할 수 있는 비즈니스 준비된 데이터 계층을 구성할 수 있다.

돌이켜보면, 데이터 품질과 신뢰도가 확보되지 않은 상태에서 머신러닝 알고리즘과 모델 개발을 위해 데이터 과학 자원에 투자하는 것은 성급한 결정일 수 있다. 이런 결정을 하면 데이터 품질과 신뢰도 관련 문제를 증폭시킬 수 있다. 잘못된 데이터를 기반으로 한 AI 의사결정은 데이터를 전혀 사용하지 않는 것만큼이나 잘못된 결정이 될 수 있다.

先 데이터 플랫폼 구축 後 머신러닝 활성화하기

2030년까지 글로벌 데이터 플랫폼 투자는 연평균 14.9%의 성장률을 기록할 것으로 예상되며, 데이터 품질과 신뢰성이 이러한 투자를 이끄는 핵심 요소로 작용하고 있다. 내구재 산업을 예로 들어 데이터 품질을 우선적으로 고려한다면, 다층 아키텍처와 클라우드 데이터 플랫폼을 통해 데이터를 통합하는 접근 방식이 필수적인 사전 단계를 충족하는 데 도움이 될 수 있다.

이와 동시에, 데이터 품질을 보장하기 위해 조직 내에서도 데이터 거버넌스를 병행해 구축해야 한다. 이를 위해 데이터 관리자(custodian), 데이터 스튜어드(steward), 중앙집중형 또는 분산형 데이터 거버넌스 모델을 지원하는 역할을 정의하고, 일관된 엔터프라이즈 데이터 카탈로그 및 데이터 제품을 운영할 필요가 있다. 비즈니스 활용이 가능한 데이터 영역과 적절한 거버넌스를 지원하는 엔터프라이즈 데이터 플랫폼이 마련되면, 머신러닝을 위한 필수 준비 단계도 갖춰지게 된다. 이를 통해 데이터 이상 탐지, 정제, 데이터 계보 검증 등의 작업을 보다 정교한 알고리즘과 학습 가능한 모델을 활용해 수행할 수 있다.

적절한 OEM 채널 파트너와 협력해 데이터 플랫폼을 구축하면, 기업은 데이터에 대한 기반 투자를 성공적으로 정착시키는 동시에 동일한 플랫폼에서 최적의 머신러닝 기능을 확장할 수 있다. 예를 들어, 스노우플레이크의 데이터 클라우드를 도입한 기업이라면 기존 투자의 강점을 활용할 수 있도록 네이티브 머신러닝 플랫폼 옵션을 고려할 수 있다. 반면, 오픈소스 머신러닝 솔루션을 도입하는 경우, 이를 관리할 준비가 되어 있지 않다면 예상치 못한 비용과 숨겨진 운영 부담이 발생할 수 있다.

데이터 플랫폼의 발전 계획(로드맵)이 조직이 보유해야 할 기술 역량과 잘 맞는다면, 두 가지 선택지 사이에서 더 나은 의사결정을 할 수 있다. 첫 번째는 조직 내부 직원의 기술 역량을 개발하는 것이고, 두 번째는 외부에서 필요한 기술 인력을 채용하거나 서비스를 구매하는 것이다. 이 두 가지 접근 방식 사이에서 조직의 상황에 맞는 최적의 균형점을 찾을 수 있다. 데이터브릭스, 애저 데이터 팩토리(Azure Data Factory), AWS 레드시프트 등 유사한 클라우드 데이터 플랫폼도 같은 맥락에서 이해할 수 있다. 모든 경우에 있어 단기 성과와 장기 비전을 고려할 때 기초적인 데이터 플랫폼 로드맵이 중요하다.

기업은 자사의 데이터 플랫폼과 비즈니스 상황에 적합한 생성형AI 도입 방안이 있는지 먼저 살펴봐야 한다. 이때 단계적 접근이 중요한데, 데이터 플랫폼에 대한 초기 투자를 시작으로, 머신러닝을 거쳐 최종적으로 생성형AI까지 발전하는 현실적인 발전 경로를 수립할 수 있다. 이러한 단계적 접근을 통해 시간이 지나면서 조직은 기술 선택, 투자 시기, 투자 규모 등을 최적화할 수 있다.

생성형 AI는 인사, 조달, 금융, 고객 서비스, 영업, 마케팅, 기업 운영, 공급망 등 다양한 분야에서 활용될 수 있다. 일부 사용 사례에서는 명확한 비즈니스 가치와 운영 효율성을 제공하지만, 단기 및 장기 투자 측면에서 높은 비용 장벽이 존재할 수 있다.

시장 도입률을 고려하면, 초기 투자와 구현 시간이 적게 드는 사용 사례일수록 채택 가능성이 높아진다. 또한, 플랫폼 차원에서 복잡성, 보안, 인프라 등의 리스크를 최소화하면서 신속하게 가치를 입증할 수 있어야 한다. 따라서, 빠른 ROI(투자 대비 효과)를 확보할 수 있는 실질적인 성과가 중요하다.

시장 도입과 투자에서 지속적인 성과를 보이는 분야는 고객 경험을 위한 생성형AI다. 다음 데이터를 살펴보자.

• 스태티스타에 따르면, 전체 컨택센터의 약 15%가 생성형 AI 기능을 도입해 고객 인증 프로세스를 개선하고, 솔루션 옵션을 간소화하며, 통화 요약 및 후속 조치를 자동화하고 있다.
• 로이터에 따르면, 모딜리티 기업 리프트(Lyft)는 생성형 AI 도입을 통해 평균 고객 서비스 해결 시간을 87% 단축하고, 하루 수천 건의 요청을 효율적으로 처리하고 있다.
• CRN 조사에 따르면, 약 53%의 기업이 고객 서비스 챗봇을 생성형 AI 도입의 최우선 과제로 꼽고 있으며, 그다음으로 소프트웨어 개발 및 코드 생성(예: 깃허브 코파일럿), 영업 및 마케팅(예: 세일즈포스), 연구개발(R&D) 및 금융(예: SAP)이 뒤를 잇는다.

엔터프라이즈 데이터 플랫폼(EDP) 투자를 기반으로 머신러닝과 생성형 AI까지 자연스럽게 확장되는 로드맵을 수립하면, 기업은 데이터 플랫폼의 기본 기능을 최대한 활용하면서 비즈니스 가치와 실질적인 성과를 보장할 수 있다. 이를 통해 기업은 자사 데이터 플랫폼이 향후 AI와 생성형 AI까지 대응할 수 있는 기술적 토대를 마련할 수 있으며, 장기적인 투자를 위한 명확한 방향성을 확보할 수 있다.

반짝이는 신기술과 실용적 혁신, 에이전틱 AI의 가능성

에이전틱 AI에 대해 더 깊이 들여다보자. 우리는 모두 ‘새로운 기술에 대한 과한 집착(Shiny Object Syndrome, 새롭고 흥미로운 것에 쉽게 주의를 빼앗겨 기존의 목표나 계획을 지속하지 못하는 현상)’을 경험하며 이를 피하려 하지만, 혁신 기술이 주는 매력은 쉽게 거부하기 어렵다. 아키텍트와 소프트웨어 엔지니어에게 AI는 무한한 가능성을 탐색할 기회를 제공하지만, 동시에 본질적인 목표에서 벗어나게 만들 수도 있다.

그러나 AI 분야에서 등장하는 몇 가지 혁신적인 기술은 기업이 즉각적인 운영 효율성을 확보하는 데 큰 영향을 미칠 수 있다. 에이전틱 AI와 같은 신기술에 대한 투자를 외면할 수도 있지만, 현재 시장의 흐름과 혁신 속도를 고려할 때 무관심이 근본적인 해답이 될 수 없다.

에이전틱 AI는 기본적으로 애플리케이션, 플랫폼 또는 최종 사용자를 대신해 작업을 수행하는 소프트웨어 에이전트를 구현하는 기술이다. 이 에이전트는 논리적으로 사고하고 반복적으로 계획을 수립하며, 복잡한 다단계 문제를 해결하기 위해 작업을 실행하고 학습한다. 이러한 자율적 또는 반자율적 에이전트는 ‘에이전틱 메시(agentic mesh)’라고 불리는 환경 내에서 협업할 수도 있다. 공급망 관리, ERP, HCM, 금융, 영업 및 마케팅과 같은 핵심 시스템의 운영 효율성을 고려하면, 이 기술이 가져올 변화는 상당하다.

에이전틱 AI의 실제 적용 사례를 살펴보면 그 가능성을 보다 구체적으로 이해할 수 있다. 예를 들어, 이메일 마케팅에서 에이전트는 기업 시스템 전반에서 데이터를 수집하고, 구조화된 데이터와 비구조화된 데이터를 분석하며, 트랜잭션 시스템, API 및 문서 관리 시스템을 활용해 업무를 자동화할 수 있다.

이 과정에서 에이전트는 필요한 작업을 세분화해 비즈니스 정보를 얻고, LLM과 상호작용하며, 논리적으로 계획을 수립한 후 최적의 방식으로 실행할 수 있다. 예를 들어, 월 매출 10만 달러를 목표로 하는 맞춤형 이메일 캠페인을 요청할 경우, 에이전트는 제품의 위치 및 성과 지표, 고객 연락처가 포함된 CRM 데이터를 활용해 캠페인을 설계할 수 있다.

이러한 에이전트의 강점은 작업을 이해하고 분해하는 능력, 시스템과의 상호작용, 과거 작업을 기억하는 기능, 학습한 내용을 바탕으로 더 나은 대안을 도출하는 역량에서 나타난다. 특히, 복잡한 워크플로우를 다룰 때 여러 에이전트가 협업하고 지속적으로 학습하면서 대규모 실행을 가능하게 한다는 점에서 강력한 도구가 될 수 있다.

2024년부터 본격적인 주목을 받기 시작한 에이전틱 AI는 빠르게 확산되고 있다. 딜로이트는 2025년까지 생성형 AI를 도입한 기업의 25%가 에이전틱 AI 파일럿 프로그램이나 개념 검증(PoC)을 진행할 것으로 전망하며, 2027년까지 이 비율이 50%로 증가할 것으로 예상했다. 또한, 유아이패스에 따르면 IT 임원의 77%가 올해 안에 에이전틱 AI에 투자할 계획이며, 37%는 이미 해당 기술을 활용하고 있다고 밝혔다.

실용적 혁신 사례

새로운 기술이 복잡한 비즈니스 환경에서 확실한 비즈니스 가치를 창출하는 경우는 드물다. 그러나 펄프 및 종이 제품 제조·유통업체인 조지아-퍼시픽(Georgia-Pacific)은 AI를 활용해 운영 효율성과 안전성, 의사결정 프로세스를 개선하며 혁신을 이끌고 있다.

조지아-퍼시픽은 ERP와 같은 핵심 시스템 및 주문 관리와 같은 복잡한 프로세스를 AI로 최적화하려는 기업들에게 중요한 시사점을 제공한다. 기업 혁신 담당 부사장인 마이클 캐럴과 혁신 디렉터 롭 노리스의 주도하에, 조지아-퍼시픽 팀은 “매 순간 들어오는 수많은 개별 주문을 보다 정밀하게 처리할 수 있도록 주문 관리 프로세스를 최적화했다”라고 설명했다.

캐럴은 인과적 AI(causal AI) 개념을 도입해 거의 실시간으로 패턴을 분석하고 이상 탐지를 수행하며, 원인과 결과를 기반으로 오류를 조기에 감지하는 AI 솔루션을 개발했다. 그는 “시스템이 자율적으로 결정을 내릴 수 없는 경우, 인과 분석 패턴을 통해 적절한 대응 방안을 추천할 수 있도록 했다”라고 밝혔다.

이러한 휴먼인더루프(human-in-the-loop) 기반 솔루션은 인간과 AI가 협력하는 방식으로 운영되며, 고도로 복잡한 비즈니스 프로세스에서도 높은 비즈니스 가치를 창출할 수 있도록 설계됐다. 이 성과는 2024년 4월 포춘의 “조지아-퍼시픽이 인과 AI로 이루어낸 혁신적 성과”라는 제목의 기사에서도 다뤄졌으며, 기업의 성공을 위한 기반을 마련하는 데 중요한 역할을 했다.

조지아-퍼시픽의 접근 방식이 차별화된 이유는 점진적인 투자, 비즈니스 프로세스 및 시스템, 데이터 저장소에 대한 깊은 이해, 그리고 인간과 기계가 협력하는 문제 해결 방식의 균형에서 찾을 수 있다. 완전한 자율성과 반자율성의 균형을 유지하면서 인과 AI의 새로운 가능성을 개척한 이 접근 방식은 향후 혁신과 확산의 기반이 될 것으로 전망된다.

리스크와 보상을 균형 있게 관리하기

AI를 엔터프라이즈 환경에서 성공적으로 도입하려면 데이터 기반을 조기에 구축하는 것이 중요하다. 신뢰할 수 있는 데이터 제품을 개발하려면 우선적으로 데이터 품질을 확보하는 데 집중해야 한다. 데이터 플랫폼 구축에 대한 합리적인 투자와 AI 기능 도입에 대한 검증된 OEM 로드맵을 통해, IT 전문가는 신중한 선택으로 중복과 기술적 부채를 크게 줄일 수 있다.

또한, 중앙집중형 또는 연방형 모델을 통해 데이터 관리자와 데이터 제품 소유자를 조기에 지정해 데이터 거버넌스를 강화하면, 기업의 다양한 비즈니스 영역에서 일관성 있는 데이터와 의미 있는 컨텍스트를 유지할 수 있다. 신뢰할 수 있는 데이터가 없다면 AI는 단순히 기존의 데이터 품질 문제를 확대 재생산하게 되며, 이는 기업의 의사결정 전반에 걸쳐 광범위한 리스크를 초래할 수 있다.

조지아 퍼시픽의 사례를 참고해 점진적인 투자를 통해 머신러닝을 도입하고, 데이터 품질을 향상시키기 위한 분석과 이상 탐지를 활용하는 것이 효과적인 접근 방식이다. 특히, OEM 기반의 엔터프라이즈 데이터 플랫폼이 제공하는 네이티브 머신러닝 기능을 활용하면, 점진적으로 더 높은 수준의 AI 활용을 실현할 수 있다.

생성형 AI는 기업에서 다양한 방식으로 활용될 수 있다. 적정 수준의 투자로 가시적 성과를 얻고자 한다면, 이미 생성형 AI를 도입한 대기업의 사례 연구와 비즈니스 성과를 참고하여 우선 고객 경험 개선부터 시작하는 것이 좋다. 기업이 보유한 데이터 시스템(데이터 레이크하우스, 웨어하우스)에 챗GPT와 같은 대화형 인터페이스를 연결하는 기본적인 솔루션을 도입하면, 기존에 투자한 데이터 시스템을 더 쉽게 활용할 수 있을 것이다.

에이전트 AI는 2024년에 급속한 성장세를 보이며, 더 많은 기업이 이 기술을 도입할 것으로 전망된다. 2025년에는 세일즈포스와 SAP 같은 글로벌 기업이 각각의 에이전트 기술을 강화하고 있기에 시장이 한층 성장할 것이다. 두 기업 모두 반자율 및 완전 자율 지능형 워크플로 자동화에 중점을 두고 있으며, IT 전문가가 직면하는 복잡한 비즈니스 프로세스를 기본적으로 지원한다.

특히, 세일즈포스의 CRM, 마케팅 클라우드, 커머스 클라우드를 위한 템플릿 기반 에이전트의 장점은 분명하다. SAP 고객이라면 ERP 구현을 위한 에이전트 AI의 완벽한 지원 체계를 확보하는 것이 2025년의 판도를 바꿀 수 있는 확실한 시작점이 될 수 있다.

AI 기반 기업 환경에서는 단기 성과와 장기 비전의 균형이 핵심 과제다. 당장의 기회를 놓치지 않으면서도 지속 가능한 성장을 위한 기술 기반을 구축하는 것이 기업의 중요한 전략적 결정이 될 것이다. IT 산업에는 여러 전환점이 있지만, 장기적인 비즈니스 가치를 실현하려면 기초적인 투자와 점진적인 혁신을 전략적으로 추진해야 한다. AI 도입이 점차 확산됨에 따라, 이러한 접근 방식이 더욱 중요한 역할을 하게 될 것이다.

*필자 디온 유세피(Dion Eusepi)는 기술 산업에서 오랜 경험을 쌓아온 전문가로, 하이브리드 클라우드 환경을 위한 엔터프라이즈 데이터 및 AI-ML 플랫폼, 다층 데이터 파이프라인 아키텍처, 온프레미스, 클라우드, 엣지 컴퓨팅 환경을 아우르는 인텔리전트 생태계 솔루션 설계 및 구축에 집중하고 있다. 포드(Ford Motor Company), 제너럴 모터스(General Motors), 스탠리 블랙앤데커(Stanley Black & Decker), IBM, 세일즈포스 등 다양한 산업 분야의 플랫폼 솔루션을 개발한 경험이 있다.
[email protected]