CIO코리아·한국IBM, 제조·유통 IT 리더 대상 조찬 포럼 개최···“에이전틱 AI 성공은 운영·데이터 준비에 달려”

CIO코리아와 한국IBM은 3월 5일 서울 그랜드 인터컨티넨탈 서울 파르나스에서 ‘에이전틱 AI 리더십 익스체인지(Agentic AI Leadership Exchange)’ 조찬 포럼을 개최했다. 제조·유통 산업의 CIO, CDO, AX·DX 리더들을 대상으로 열린 이번 행사에는 30여 명의 업계 관계자가 참석해 ‘무엇을 할 수 있는가’를 넘어 ‘어떻게 실제 성과로 연결할 것인가’를 핵심 화두로 에이전틱 AI 도입과 확산 전략을 논의했다. 행사에서는 EY 컨설팅의 이창호 파트너와 한국IBM 기술 리더 4인이 연사로 나서 에이전틱 AI의 글로벌 도입 사례를 비롯해 엔터프라이즈 표준 아키텍처, AI 레디 데이터 전략, 백엔드 연동 방안 등을 소개했다.

한국IBM 김성균 상무는 개회사에서 올해 초 고객사를 만나며 공통적으로 확인한 두 가지 핵심 어젠다로 AI 에이전틱과 SRE(사이트 신뢰성 엔지니어링) 구축을 꼽았다. 그는 “고객들이 가장 궁금해하고 많이 질문하는 핵심 주제를 중심으로 이번 행사를 구성했다”며 행사의 취지를 설명했다.

첫 연사로 나선 이창호 EY 파트너는 ‘주요 산업의 에이전틱 AI 도입 현황 및 전망’을 주제로, AI-레디(Ready) 기업으로 도약하기 위한 다섯 가지 핵심 전환 방향을 제시했다. 그는 ▲인간 중심 프로세스를 AI-퍼스트 워크플로우로 재설계 ▲현안 중심의 바텀업 개선이 아닌 AI 에이전트 기반 톱다운 혁신으로 전환 ▲에이전트를 단순 지원 도구가 아닌 전사 수준의 비즈니스 플랫폼으로 인식 ▲단일 조직·시스템 내 개선을 넘어 조직 간·시스템 간 업무 혁신에 집중 ▲업무 자동화 중심에서 의사결정 지원 중심으로 전환해야 한다고 강조했다.

이 파트너는 “이제 기업들의 관심은 에이전트 개발 방법론이 아니라 어디에서 실질적인 ROI를 확보할 수 있는가로 이동하고 있다”며 “톱다운 접근을 통해 성과 창출이 기대되는 영역을 우선 선정해 추진하는 것이 중요하다”고 말했다.

이 파트너는 특히 기존 RPA가 반복 작업 자동화에 머물렀다면, 에이전틱 AI 시대에는 LLM 기반의 APA(Agentic Process Automation)로 패러다임이 전환되고 있다고 설명했다. APA는 맥락 이해와 실시간 학습, 자율적 의사결정이 가능해 인간의 판단이 필요했던 업무까지 자동화할 수 있다는 것이다. 또한 조직 간 커뮤니케이션 영역에서 문서와 데이터가 비효율적으로 전달되는 지점에 에이전트를 도입하면 효과가 크다고 짚었다.

이창호 파트너는 마지막으로 에이전트 시대의 전략적 전환을 위한 제언도 제시했다. 그는 단일 부서나 시스템 단위의 PoC에 머물기보다 기간계 시스템과 연계된 자동화를 지향해야 하며, AI가 핵심 비즈니스를 수행하는 환경에서 기업이 어떤 모습일지를 먼저 구상한 뒤 이를 역산하는 방식으로 조직 간 의사결정 업무를 위한 AI 플랫폼 전략을 수립할 필요가 있다고 조언했다. 또한 AI 기술 조직이 아닌 프로세스 혁신 조직을 중심으로 협업 체계를 구축하고, AI가 학습하고 활용할 데이터의 의미 기반 연결을 위해 ‘AI 레디 데이터(AI Ready Data)’를 준비해야 한다고 설명했다.

김혜영 한국IBM 소프트웨어 테크니컬 리더는 복수의 글로벌 조사 결과를 인용하며 에이전틱 AI 도입의 현실을 짚었다. MIT 조사에 따르면 AI를 도입한 기업 가운데 실제로 성공적인 성과를 거둔 기업은 5% 미만에 불과하다. IDC 조사에서는 84%의 기업이 AI 유스케이스를 발굴하고 연구하고 있는 것으로 나타났지만, BCG 기준으로 실제 파일럿 프로젝트까지 진행한 기업은 26%에 그친다. 또한 맥킨지 보고에 따르면 운영 단계로 확장해 실질적인 효과를 거둔 기업은 10% 수준에 불과하다.

김 리더는 이러한 격차의 원인에 대해 “많은 기업이 에이전트를 만드는 데 초점을 맞추고 있지만, 실제 백엔드 시스템 연동을 포함한 운영 준비는 충분히 갖추지 못한 경우가 많기 때문”이라고 진단했다.

김혜영 리더는 엔터프라이즈 에이전틱 AI의 표준 아키텍처로 에이전트 SDLC(개발 라이프사이클), 에이전트 오케스트레이션, 모델 및 도구 계층, 데이터·시스템 연동 계층, 보안·거버넌스 계층, 운영·비용 관리 계층 등 6개 기술 스택을 제시하며 “에이전트 개발뿐 아니라 뒷단 시스템과의 연동, 라이프사이클 관리, 거버넌스까지 갖춰야 비즈니스 성과로 이어진다”고 강조했다.

김광수 한국IBM 어카운트 테크니컬 리더는 에이전틱 ADLC(Agent Development Lifecycle)를 주제로 발표했다. 그는 에이전트 AI 도입 시 부서별로 분리된 AI 운영의 사일로화, 중앙 관리 체계의 부재, 거버넌스 미비 등 세 가지 허들을 지적하며 “에이전트를 구축했다고 해서 끝나는 게 아니라 개발·테스트·배포·운영·모니터링의 전반적 프로세스를 갖추어야 지속적 확장이 가능하다”고 말했다.

IBM의 ‘왓슨x 오케스트레이트(watsonx Orchestrate)’ 플랫폼을 중심으로, 노코드 기반의 5분 내 에이전트 구축, 수백 가지 커넥터를 통한 ERP·CRM 등 기존 시스템과의 빠른 연결, 멀티벤더·멀티모델 지원, 내장된 가드레일을 통한 보안·거버넌스 기능 등을 소개했다. 또한 개발자 향 커스텀 에이전트 구축 도구인 ‘밥(Bob)’ 프로젝트와 에이전트 옵저버빌리티 기능도 함께 공개했다.

한 글로벌 식음료·소비재 기업의 실제 도입 사례도 공유됐다. 해당 기업은 기존 MS 코파일럿 환경 안에서 왓슨x 오케스트레이트를 통해 HR·IT 등 멀티 에이전트 오케스트레이션을 구현했으며, 직원 만족도와 생산성 향상, 보안 리스크 감소, 확장 가능한 아키텍처 확보 등의 효과를 거둔 것으로 소개됐다.

김동영 한국IBM 어카운트 테크니컬 리더는 ‘AI 레디 데이터(AI Ready Data)’ 관점에서 발표했다. 그는 “63%의 기업이 데이터 파편화 문제를 경험하고 있고, 실제 AI 모델에 활용되는 기업 데이터는 1% 미만”이라며 데이터 통합·품질·거버넌스·비정형 데이터 관리 등 네 가지 관점의 준비가 필요하다고 설명했다.

특히 비정형 데이터 처리와 관련해, IBM의 왓슨X닷데이터(watsonx.data)가 PDF·워드 등 문서에서 데이터를 자동 추출하고 청킹·임베딩을 거쳐 벡터 데이터베이스에 적재하는 파이프라인을 제공한다고 소개했다. 또한 IBM이 인수한 컨플루언트(Confluent)의 카프카 기반 실시간 데이터 처리 역량과 데이터스택스(DataStax)의 NoSQL·벡터·그래프 데이터베이스 기능을 결합해 AI에 필요한 실시간 데이터 인프라를 구축할 수 있다고 설명했다. 제로 카피(Zero-Copy) 통합 기능을 통해 온프레미스와 클라우드 간 데이터를 복사 없이 활용할 수 있어 비용·속도·보안 측면에서 최적화된다는 점도 강조됐다.

마지막 세션에서 유근진 한국IBM 어카운트 테크니컬 리더는 AI 에이전트의 엔터프라이즈 백엔드 연결을 주제로 발표했다. 그는 제조 현장에서 “3번 라인 가동 상태가 어때?”라고 물었을 때 성형기 진동을 감지해 예방 정비를 권고하거나, 유통 매장에서 “강남점 제품 재고 상태는?”이라는 질문에 4시간 후 품절 예상과 자동 발주 제안까지 이어지는 챗봇 데모를 선보이며 “실시간 시스템 오브 레코드에서 발생한 데이터를 AI가 실시간으로 피드받아 액션하는 것이 ROI의 가장 핵심적인 부분”이라고 말했다.

유근진 리더는 엔터프라이즈 AI 에이전트 아키텍처에서 API 게이트웨이, AI 게이트웨이, MCP 게이트웨이라는 세 가지 단일 진입점의 중요성을 강조했다. 프롬프트 종류에 따른 적절한 LLM 모델 라우팅, 비용 관리 및 최적화, 보안·인증·인가 등을 게이트웨이 단에서 통합 관리해야 한다는 것이다. 보안 측면에서는 API 키·인증서 등을 중앙 저장소에서 관리하고 접속 시점에만 동적으로 발급·폐기하는 ‘단기 자격증명’ 방식을 제안했다.

그는 또한 AI 에이전트 시대에 옵저버빌리티(가시성)의 중요성을 언급하며, LLM 토큰 사용량·비용·레이턴시 모니터링부터 에이전트의 비결정적 행동 추적, MCP 게이트웨이 연동 상태 점검까지 포괄적 관찰이 필요하다고 밝혔다. 유근진 리더는 “에이전트 기능을 제공하는 소프트웨어 벤더는 많지만, 개발부터 운영, 비용 관리까지 엔터프라이즈 전반을 아우르는 기능을 제공하는 사례는 아직 많지 않다”며 “IBM은 이러한 영역을 통합적으로 지원하는 플랫폼을 제공하고 있다”고 설명했다.
jihyun.lee@foundryco.com