비용 최적화 시대, CIO가 AI로 ‘최대 가치’를 만드는 3가지 전략

CIO는 그 어느 때보다 기술로 더 많은 일을 해내야 한다. 환경도 녹록지 않다. 지난해 보도된 것처럼 디지털 리더는 IT 지출을 줄이라는 요구를 받는 동시에 혁신을 주도하고 비즈니스를 성장 궤도에 올려야 한다. AI 기반의 빠른 전환이 ‘새로운 표준’이 된 시대에, 이 조합은 달성 난이도가 꽤 높은 목표다.

가트너에 따르면, CIO의 절반 이상이 생산성 개선 압박을 받고 있으며, 52%는 비용 절감 요구를 받고 있다. 메시지는 분명하다. IT 리더는 성과 중심으로 빠르게 전환해야 하며, C 레벨 목표와 맞닿은 이니셔티브에 집중해 측정 가능한 성과를 내야 한다.

선도적인 기업 임원들은 AI가 이런 목표 달성에 도움이 된다는 점을 일찌감치 확인했다. 소비재 기업 콜게이트-팜올리브(Colgate-Palmolive)의 최고 데이터·애널리틱스 책임자(CDAO) 다이애나 실드하우스는 생성형 AI, 고급 분석 등 팀이 만드는 모든 솔루션이 비즈니스 요구와 연결되도록 ‘기업 전반의 촘촘한 연결’을 구축하는 데 초점을 맞추고 있다.

실드하우스는 “비즈니스의 핵심 문제점을 먼저 찾고, IT가 어떻게 도울 수 있을지 고민한다. 기술부터 꺼내 드는 접근은 아니다. 비즈니스와 프로세스, 사람들이 실제로 무엇을 하는지 보고, 새로운 기술을 어떻게 적용할지 탐색한다”라고 설명했다.

가트너는 이런 ‘비즈니스 가치 중심’ 접근이 성공으로 가는 지름길이라고 본다. 단순히 비용을 깎는 것이 아니라, 비용 최적화를 ‘전략적으로’ 실행해 지출을 관리하고 비즈니스 가치를 극대화하는 CIO는 조직 미션에 대한 기여도를 끌어올리는 데 더 성공적이라는 분석도 내놨다.

이제 과제는 AI와 데이터 투자로 장기 가치를 증명하는 일이다. 비용 최적화를 통해 경쟁우위를 만들려는 디지털 리더는 3가지 영역에 집중하는 흐름이 뚜렷해지고 있다.

1. 지출 관리 전술을 바꿔라

영국 연금 규제기관 TPR(The Pensions Regulator)의 디지털·데이터·기술 디렉터 폴 네빌은 비용 최적화의 중요성을 과소평가해선 안 된다고 지적한다. IT 부서는 기술 투자에서 가치를 만든다는 평판이 늘 좋은 편이 아니었고, AI 시대에는 그 인식을 바꿔야 한다는 주장이다.

네빌은 “과거 디지털 리더는 주로 ‘무엇을 만들었는지’에 대해 말했지만, 어떤 성과를 내려고 하는지에 대해 말하지 못했다. 우리 스스로에게 도움이 되지 않는 방식이었고, 나도 그런 실수를 했다. 그 교훈을 배우려고 노력했다”라고 덧붙였다.

스카이(Sky)와 BT 등의 민간 대기업에서 경력을 쌓은 네빌은 공익 목적의 디지털 혁신으로 무게중심을 옮겼다. 대형 자선단체 2곳에서 컨설턴트로 일한 뒤 지방정부 IT 책임자 역할을 맡았고, 그 과정에서 비용 최적화 역량을 다듬었다. 런던 기술·혁신 사무국과 협업해 최적화된 기술 조달을 가로막는 장애물을 넘기 위한 가이드라인·템플릿·베스트 프랙티스를 묶은 툴킷도 만들었다. 현재 TPR에서도 ‘신기술이 필요하다’고 말하는 사용자들이 먼저 제대로 된 질문을 던지도록 유도하는 일을 이어가고 있다.

네빌은 “내가 하는 일은 ‘무엇을 달성하려는가’를 묻는 것이다. 그러면 기술은 해법의 일부가 된다. 신기술이 새로운 기회를 주는 건 맞지만, 그 기회도 비즈니스 언어로 이야기해야 한다”라고 강조했다.

PC 제조사 레노버의 CIO 아트 후는 최적화를 ‘비즈니스 중심 아이디어의 깔때기를 운영하는 일’로 본다. 레노버의 포트폴리오 기반 AI 접근에는 전 사업 영역에 걸쳐 1,000개가 넘는 등록 프로젝트가 포함돼 있다. 후는 수많은 아이디어를 일단 폭넓게 실험하게 한 뒤, 가치가 보이는 지점에 집중하는 방식으로 AI 탐색과 최적화를 운영한다.

후는 “처음부터 품질에 과도하게 집착하지 않는 것이 중요하다. 프로젝트가 너무 많기 때문이다. 모든 프로젝트의 품질만 바라보면 속도가 느려진다. 일정 규모로 커지거나, 여러 프로젝트를 결합해 그룹 차원에서 수백만~수천만 달러 단위의 자본을 제대로 투입할 수 있는 단계가 되면 그때 품질을 본격적으로 따진다”라고 설명했다.

레노버는 상용 모델과 파생 모델을 혼합해 AI 이니셔티브를 추진한다. 주요 사용례는 상담 요원의 업무를 돕는 대화 요약, 엔터프라이즈급 소프트웨어 엔지니어링에 에이전틱 AI를 적용하는 방식, 생성형 AI로 마케팅 콘텐츠를 제작하는 사례 등이 있다.

후는 ‘올바른 프로젝트’를 수확하려면 리스크를 관리하면서 자본 배분의 균형을 잡아야 한다며, “AI는 다른 도구와 다르지 않다. 추가로 고려해야 할 변수가 하나 더 생긴 것이다. 예산이 있고 시장 출시 속도를 원하지만, 동시에 컴플라이언스와 보안 같은 이슈도 있다. AI는 그 목록에 하나 더 추가된 것뿐이지만, 워낙 주목도가 높아 지금은 부담이 더 크게 느껴진다”라고 덧붙였다.

2. 기술을 ‘통합’하지 않으면 비용이 폭주한다

수많은 AI 프로젝트를 추진한다고 해서 반드시 ‘금맥’을 찾는다는 보장은 없다. 프로젝트 가이드라인은 사용례 선별에 도움이 되지만, 실험을 ‘가치 있는 프로덕션 서비스’로 바꾸는 과정은 또 다른 과제다. 특히 비용이 급격히 불어나지 않도록 하려면 ‘통합’에 집중해야 한다.

원예용품 기업 스코츠미라클그로(ScottsMiracle-Gro)의 데이터 인텔리전스 부문 VP 파우스토 플라이츠는 기반 구축에 우선순위로 뒀다. 2023년 합류 이후 플라이츠는 AWS 기술, 구글 서비스, 딥러닝 모델을 활용해 경영진의 의사결정을 돕는 인사이트를 만드는 작업을 진행해왔다.

지난 1년 동안 플라이츠는 생성형 AI와 에이전틱 AI 기반의 고객 중심 사용례도 실험했다. 예를 들어, AI 기반 검색은 구글 버텍스 AI의 RAG 애플리케이션을 통해 동작하며, 고객은 자연어로 질문하고 답을 얻을 수 있다. 또 웹 기반 챗 에이전트의 대화 품질을 높이기 위해 시에라(Sierra)와도 협업을 진행 중이다.

스코츠미라클그로는 직원 업무를 돕는 코파일럿 형태의 AI 활용도 검토하고 있다. 조직 내부에서는 ‘이메일 리라이트(Email Rewrite)’라는 프로덕션 서비스를 구축했는데, 내부 세일즈포스 지식 문서의 텍스트를 가져와 몇 초 안에 자연스러운 답변 초안을 만들어주는 방식이다. 이런 이니셔티브가 높은 ROI를 낼 수 있지만, 성패는 통합에 달렸다.

플라이츠는 “지금 백오피스 자동화는 데이터의 문제가 아니다. 에이전트를 예로 들면, LLM이 지시사항을 수행하지만 ‘실행’하려면 도구에 접근해야 합니다. 프로세스를 다시 설계하려면 확장성이 필요한 지점이 바로 도구 계층이다. 어려운 부분은 ERP 같은 엔터프라이즈 시스템과의 통합이다. 도구 계층이 성장해야 한다”라고 설명했다.

통합은 업계 전반의 고민이기도 하다. 가트너는 지난해 엔지니어링 리더의 77%가 AI 통합을 ‘주요 과제’로 꼽았다고 보고했다. 프로세스 마이닝 기업 셀로니스(Celonis)의 북미·UKI·MEA 담당 SVP 루팔 카리아 역시, 가치 있는 AI 서비스를 내놓으려는 비용 최적화형 CIO에게 통합이 핵심이라고 본다.

카리아는 “여러 종류의 모델과 도구가 함께 돌아가야 한다는 점에서 기술적인 과제가 있다. 마이크로소프트나 오픈AI만으로는 좋은 결과를 내기 어렵다. 하지만 데이터브릭스, 마이크로소프트, 그리고 에이전트를 결합하면 솔루션이 나온다”라고 설명했다.

판도라(Pandora)의 최고 디지털·기술 책임자 데이비드 월름즐리도 같은 맥락에서 ‘오케스트레이션’을 강조한다. 서로 다른 패키지 간 조율이 AI 서비스의 가치를 여는 열쇠라는 뜻이다.

월름즐리는 “어떤 업체와 이야기해도 자사만의 AI 비전을 말한다. 하지만 그 비전 위에 우리 비즈니스를 올릴 생각은 없다. 업체의 기술이 우리 시스템 전체와 어떻게 맞물리는지를 봐야 한다”라고 강조했다.

3. ‘비즈니스 가치’로 수렴시켜라

월름즐리는 경영진은 물론, 세일즈포스, SAP, 마이크로소프트 등 솔루션 업체 파트너와 함께 사용례를 발굴해 왔다. 다른 CIO에게 주는 교훈은 단순하다. 경쟁우위를 만드는 지점에 집중하라는 것이다.

판도라는 AI에 3가지 큰 기대를 걸었다. 첫째는 에이전틱 AI로 고객 서비스를 개선하는 것이다. 판도라는 세일즈포스의 에이전트포스(Agentforce) 기술을 활용하기 위해 파트너십을 맺었고, 온라인 고객 서비스 요청 중 큰 비중을 이 기술로 처리하는 방향을 추진 중이다. 둘째는 신제품 개발이고, 셋째는 조직 전반의 백엔드 자동화이다.

월름즐리는 “신제품을 시장에 내놓는 방식에 AI와 도구, 사고방식, 각종 장치를 어떻게 적용할 것인지의 문제다. 그리고 조직 전체의 백엔드 자동화가 운영 모델을 어떻게 바꿀지도 중요하다. 결국, AI를 최적으로 활용한다는 것은 더 똑똑한 비즈니스를 만드는 일이다”라고 강조했다.

콜게이트-팜올리브의 실드하우스는 조직의 AI 노력이 엉뚱한 방향으로 새지 않도록 프레임워크를 구축했다. 이 프레임워크는 AI를 구동하는 도구·기반 같은 ‘수평 요소’와, 혁신 등 우선 탐색 영역을 담은 ‘수직 요소’로 구성된다.

핵심 축 중 하나는 매출 성장 관리다. 실드하우스 팀은 직원이 더 빠르게 가격 결정을 내릴 수 있도록 사내 진단·예측 도구를 만들었다. 사용량을 추적해 효과를 검증한 뒤 전 세계로 확산했다. 이런 성공 사례가 프로모션 최적화, 캘린더 최적화 등 연관 영역의 AI 기반 개발로 이어졌다는 설명이다.

실드하우스는 “콜게이트-팜올리브 같은 규모와 범위를 가진 기업에서는 ‘한 시장에서만 쓰는 1회성 솔루션’으로는 원하는 가치를 만들 수 없다. 인도나 브라질 같은 핵심 시장을 직접 다니다 보면, 현지 팀이 도구를 어떻게 쓰고 있고 현장에서 어떤 변화를 만들고 있는지 보여주는데, 그런 장면이 정말 중요하다”라고 덧붙였다.
dl-ciokorea@foundryco.com