AI 성과를 끌어내는 5가지 핵심 지표

지난해 AI에 대규모 투자가 이뤄졌지만, 실제로 측정 가능한 성과를 낸 기업은 많지 않았다. PwC의 2026년 1월 글로벌 CEO 설문조사에 따르면 CEO의 56%는 지난 12개월 동안 AI로 매출이 늘거나 비용이 줄었다고 답하지 않았다. 가트너 조사도 비슷하다. AI로 비용을 절감했다는 CFO는 5%, 매출이 증가했다는 CFO는 6%에 그쳤다. 그렇다면 이런 저조한 수치의 배경에는 무엇이 있을까?

중고차 유통 기업 카맥스(CarMax)의 EVP 겸 CITO 샤밈 모하마드는 “많은 기업이 완전히 잘못된 것을 측정하는 데 지나치게 집중하고 있다. AI를 어떻게 측정해야 하는지에 대한 근본적인 오해가 있다”라고 지적했다.

기업이 비즈니스 목표를 잘못 설정하는 경우도 많다. 대표적인 예가 직원 생산성 향상이다. 소프트웨어 개발자 1인당 2시간을 절약해주는 AI가 있다고 해도, 그 시간이 실제로 어떤 사업 성과로 이어졌는지 CFO에게 설명하지 못하면 큰 의미가 없다. 하지만 그 연결고리를 입증하는 일은 쉽지 않다. 일부 기업은 효율 개선을 실현하는 데 필요한 조직 변화관리의 수준도 과소평가했다. 여기에 성과 중 얼마가 AI 덕분인지 가려내거나, AI 프로젝트를 대규모로 운영할 때의 지속 비용을 예측하는 문제까지 겹치면서 측정은 더 어려워진다.

AI 생산성 향상이 인력 감축이나 채용 축소로 이어질 것이라고 기대했던 CEO는 많았지만, 실제 결과는 기대에 못 미쳤다. 가트너에 따르면, 인력 감축이 가능하려면 최소 50~70% 수준의 생산성 향상이 필요하다. 가트너의 애널리스트 네이트 수다는 “이 정도 수준에 도달한 사례는 많지 않다. 대부분 사례는 전혀 개선이 없거나, 있어도 30% 안팎에 머문다”라고 설명했다.

반면 일부 기업은 전략적 사업 성과와 AI를 정렬하고, ROI를 장기적으로 바라보며, 전통적인 재무 지표 안에 꼭 들어가지 않더라도 핵심 사업 목표에 집중해 성과를 내고 있다. 다음은 AI 추진 과정에서 적용하거나 점검해야 할 5가지 핵심 기준이다.

1. 올바른 프로젝트를 고르고 전략적 사업 목표와 맞춰라

성공 지표와 이정표를 논하기 전에 먼저 해야 할 일은 명확하다. 사업 목표와 맞는 사용례를 고르고, 가장 전략적으로 중요한 사업 성과를 우선순위에 두는 일이다. 동물용 의약품 기업 조에티스(Zoetis)의 EVP 겸 최고 디지털·기술 책임자 키스 사보는 “이사회와 함께 연구개발과 커머셜 부문 사용례의 우선순위를 정했다”라고 밝혔다.

사업 성과 자체를 기준으로 비교해야 하며, 업계 선도 기업과의 투자 수준도 비교해야 한다. 금융서비스 업계 선도 기업을 조사한 결과를 보면, 데이터와 AI에는 전체 IT 예산의 15~20%가 투입됐다. IT 예산 자체는 기업 매출의 10~12% 수준이었다. 프랙티셔너스 포 프랙티셔너스(Practitioners for Practitioners)의 최고 임원이자 에드워드존스(Edward Jones)의 전임 최고 데이터·AI 책임자였던 자르 툴란은 “수치는 기업마다 다를 수 있지만, 핵심 경쟁사가 어디에 얼마나 투자하고 있고 또 어디에서 자원을 줄이고 있는지 파악하는 것이 중요하다”라고 강조했다.

네이트 수다는 기술 부문이 아닌 경영진이 AI 지출을 결정하는 경우가 많고 실제 구현은 기술 리더가 책임진다며, 이 때문에 기대 가치와 시간표에 대한 공동 이해가 필요하다고 봤다.

카맥스는 실제로 그렇게 하고 있다. 모하마드는 “사업 부문 책임자가 기대 효과를 약속하고, CFO와 기술 리더가 해당 사용례를 검토한다”라며, “비용은 해당 사업부 예산에서 집행되고, 책임은 사업부장이 진다”라고 설명했다.

조에티스는 고객서비스팀의 생산성을 높이기 위한 AI 파일럿을 추진하면서 통화당 소요 시간과 후속 조치 생성 시간을 함께 측정했다. 통화 시간은 거의 변하지 않았지만, AI가 후속 조치 추천을 생성하면서 후속 업무 시간은 크게 줄었다. 고객 경험의 질은 좋아졌고, 팀은 더 많은 고객에게 대응할 수 있게 됐다. 이것이 조에티스가 가장 중요하게 본 성공 지표였다. 조에티스는 마이크로소프트 코파일럿과 추가 AI 기능도 도입해 AI 활용을 확산했지만, 현재는 공급망과 계약 라이프사이클 관리 등 더 큰 변화를 만드는 영역에 집중하고 있다.

결국 조직의 사업 전략과 맞물린 전사적 AI 전략이 중요하다. 툴란은 에드워드존스에서 데이터·AI 전략을 수립하는 데만 2년이 걸렸다고 전했다. 에드워드존스는 자사 데이터로 학습한 생성형 AI 도구를 자문 인력에게 제공했고, 미팅 노트와 CRM 데이터에 기반해 고객 포트폴리오 계획을 빠르게 작성할 수 있도록 지원하는 자문 에이전트도 개발했다.

툴란은 “사내 리서치를 고객 계획과 대조한 뒤, 고객에게 그 계획을 어떻게 실행할지 추천안을 제시한다”라며, “자문팀은 주당 약 하루 분량의 업무 시간을 절감했고, 고객에게 더 빠르게 대응할 수 있게 됐다”라고 설명했다. 이어 “고객과 더 깊이 있는 상담이 가능해졌고 고객 만족도 점수도 높아졌으며, 고객 성과 역시 고객 목표에 더 잘 부합하게 됐다”라고 덧붙였다.

고객서비스를 개선하는 AI는 손익계산서에도 직접 영향을 줄 수 있다. 고객 이탈이 줄면 매출 손실을 막을 수 있고, 전환율이 올라가면 매출이 늘어난다. 관건은 매출 변화 자체를 측정하는 것과, 그 영향 중 얼마가 AI와 직접 연결되는지 구분하는 일이다.

재무 효과가 크지만 눈에 잘 띄지 않는 프로젝트도 있다. 예를 들어 더 정확한 판매·매입채무 예측을 통해 자본 활용도를 높이면 운영 자본 사이클과 평균 회전성 부채 활용도를 크게 개선할 수 있다. 이는 사실상 유동성을 늘리는 효과다. 수다는 “정확도가 높아질수록 필요한 운영 자본 규모나 회전성 부채 이자 지급액이 줄어든다”라며, “둘 다 잉여현금흐름을 늘릴 수 있어 기능적으로는 비용 절감과 비슷하게 보지만, 재무제표상 나타나는 위치는 다르다. 운영 자본 축소는 현금흐름표에, 회전성 부채 이자비용 절감은 손익계산서에 반영된다”라고 설명했다.

어떤 AI 프로젝트는 목표가 수익이 아니라 기본 방어선 구축일 수도 있다. 이미 챗GPT 같은 도구에 익숙한 사용자를 따라잡기 위해서다. 기업이 기본적인 생성형 AI 도구를 제공하지 않으면, 직원이 회사 데이터를 공개형 도구에 넣어 분석할 위험이 생긴다. 자체 코파일럿이나 GPT 환경을 갖추는 비용보다 이 위험이 더 클 수 있다.

생성형 AI는 이제 사무직 직원의 기본 도구로 자리 잡아가고 있다. 콜로니얼 파이프라인(Colonial Pipeline) 전 SVP 겸 CTO 압시언 탈라사즈는 “조직에서 엑셀의 가치를 어떻게 측정하겠는가? 모두가 사용하지만, 이제는 그 필요성을 따로 묻지 않는다. 생성형 AI가 아직 그 단계까지 온 것은 아니지만, 일하는 방식과 비용, 기업 내 기대치가 바뀌면서 충분히 그런 결과로 갈 수 있다”라고 말했다.

2. 실제 비용 구조를 정확히 파악하라

ROI를 추정할 때 가장 까다로운 부분은 투자, 즉 비용 분모를 정확히 파악하는 일이다. 전통적인 IT 프로젝트와 달리 AI는 구축 비용보다 운영 비용, 특히 대규모 확장 이후의 운영 비용이 더 크다. 수다는 “AI는 기존 공식을 뒤집기 때문에 그 점을 감안해 계획해야 한다. CIO에게는 익숙하지 않은 비용 구조다”라고 짚었다.

문제는 판 자체가 크다는 점이다. 개별 AI 프로젝트의 비용뿐 아니라, 이를 뒷받침하기 위해 선행돼야 하는 데이터·인프라·거버넌스 투자까지 감안하면 리스크는 더 커진다. 사보는 “25년간 기술 분야에 있었지만, 지금까지 해본 것 중 가장 비싸고 복잡한 일”이라고 털어놨다.

다만 모든 프로젝트가 고비용인 것은 아니다. 탈라사즈는 “큰 비용이 들지 않는 프로젝트도 봤고, 수백만 달러가 드는 프로젝트도 봤다”라고 말했다. 프로젝트 비용은 내부 인력이 직접 구축·개발할 수 있는지, 외부 파트너에 의존하는지, 데이터와 인프라 요건을 이미 충족했는지, 전체 시스템이 디지털화돼 클라우드에 올라가 있는지 등에 따라 달라진다.

성과 측정 방식은 ROI 계산에도 직접 영향을 준다. 탈라사즈는 대부분의 프로젝트가 공통 플랫폼 위에 올라가는데, 플랫폼 구축 비용이 상당할 수 있고, 그 비용을 어떻게 배분하느냐에 따라 개별 AI 프로젝트의 경제성이 달라진다고 설명했다. 그래서 프로젝트별 경제성도 중요하지만, 전체 그림을 보기 어려운 경우가 많다. 혁신성과 불확실성이 큰 프로젝트는 제약업의 신약 개발이나 석유·가스 탐사 같은 리스크 자본 프로젝트의 성격을 띠기도 한다는 것이다. 탈라사즈는 “데이터와 AI 인프라 투자, 플랫폼화, 확장성, 도입 속도에 대한 불확실성, 다른 사용례와의 연결성을 함께 봐야 하기 때문에 AI 프로젝트의 재무 지표는 개별 과제보다 포트폴리오 차원에서 설명하는 편이 더 효과적”이라고 분석했다.

핀옵스 재단의 AI 워킹그룹도 AI 프로젝트 가치를 더 세밀하게 측정하는 방법을 논의 중이다. 재단의 최근 현황 조사에 따르면, AI 지출을 관리하는 기업은 98%로, 2년 전 31%에서 크게 늘었다.

재무 보고에 쓰이는 지표 자체는 같지만, 그 지표를 산출하기 위해 필요한 데이터는 AI에서 전혀 다르다. 게다가 그 데이터를 얻는 일도 쉽지 않다. 핀옵스 재단의 펠로우 로브 마틴은 “AI는 사용 시간 대신 토큰, 사용 시간과 분 대신 API 호출 수로 성과를 측정한다. 문제는 비용과 사용량 데이터가 청구 데이터와 함께 제공되지 않는 경우가 많다는 점”이라고 지적했다. 결국 기업은 API 프록시나 서드파티 제품을 통해 별도로 수집할 수밖에 없다.

문제는 여기서 끝나지 않는다. 모델이 실제 사용된 토큰 수를 제대로 알려주지 않는 경우도 있다. 마틴은 “AI 비용과 서비스 가용성은 변동성이 더 크기 때문에, 모델을 대규모로 운영할 때의 비용을 정확히 예측하지 못할 수도 있다”라고 말했다. 이 때문에 많은 IT 임원이 고정 수치 대신 범위로 비용을 전망하고 있다. 마틴은 CIO가 의장을 맡는 AI 투자위원회나 태스크포스를 만들고, AI 지출과 관련된 모든 이해관계자와 함께 핀옵스 범위를 정의해야 한다고 조언했다. 또 경쟁하는 프로젝트를 단계적으로 자금 지원하고, 데이터 수집·분석 계획을 수립하며, 성과 지표를 이사회 언어로 번역해줄 수 있는 경험 많은 임원이 필요하다고 덧붙였다.

3. 성공 가능성이 큰 지표에 우선순위를 둬라

가트너가 제시한 10가지 AI 가치 지표 가운데 생산성은 하위권에 속한다. 자본 활용도를 높이거나 손실을 줄이고, 고객 경험을 개선하거나, 신제품 개발에 기여하는 프로젝트가 매출 성장 측면에서 훨씬 큰 잠재력을 가진다.

운영 지표인 순추천지수(NPS), 시간당 산출량, 백로그 감소는 모두 직원 대비 수익성과 관련이 있다. 반면 직원 1인당 평균 인건비, 매출과 전환율, 회피된 손실 같은 재무 지표는 ROI를 보여준다. 트래픽과 클릭 수, 시장점유율 성장 같은 선행 지표는 가트너가 말하는 ‘미래 대비 수익’과 연결된다.

툴란은 모든 기업이 따라야 할 AI 스코어카드 기준이 있다고 본다. 다만 조직 상황에 맞게 조정해야 한다는 전제를 달았다. AI 전략을 평가하고, 기술 스택이나 플랫폼을 점검하며, 기술을 도입하는 직원의 사고방식과 역량 측면에서 AI 준비도를 확인하고, 최종적으로 원하는 사업 성과와 실제 결과를 비교해야 한다는 것이다. 툴란은 “이 기준은 산업과 업종 특성에 맞아야 하고, 조직이 AI 여정의 어느 단계에 있는지도 반영해야 한다”라고 강조했다.

다만 원하는 사업 성과를 설명하는 데 전통적인 재무 지표만이 항상 최우선은 아니다. 예를 들어 목표가 고객만족도 개선이라면 NPS 설문 같은 지표가 중요할 수 있다. 그러나 이 역시 한계가 있다. 사보는 “설문 응답에 의존해야 하기 때문에, 개선 가치가 실제보다 부풀려질 가능성이 있다”라고 지적했다.

카맥스는 두 개의 주요 AI 프로젝트에서 고객만족도, 전환율, 매출을 가장 중요한 지표로 본다. 이 온라인 자동차 유통업체는 고객이 구매 과정을 더 쉽게 이해할 수 있도록 돕는 AI 어시스턴트 ‘스카이(Skye)’를 구축했다. 또 ‘로즈(Rhodes)’라는 가상 에이전트는 콜센터 상담원에게 어떤 질문을 해야 하는지 제안하고, 필요한 문서를 빠르게 찾게 하며, 주별 규정과 정책 탐색도 지원한다.

모하마드는 “시간 절감도 좋은 지표이지만, 우리가 보는 것은 그 시간이 어떤 사업 성과를 만들어내는가”라며, “확보된 시간을 활용해 회사에 더 큰 가치를 어떻게 만들고 있는지가 핵심”이라고 설명했다.

NPS 점수는 고객 경험 개선을 보여준다. 스카이와 로즈를 함께 운영한 결과 전환율은 높아졌고, 매출도 늘었다. 모하마드는 “핵심은 상담원의 역할이 단순 정보 검색자에서 신뢰할 수 있는 조언자로 고도화되고 있다는 점”이라며, “역할은 서로 융합되고 있고, 사람들이 하는 일은 재정의되며, 프로세스도 다시 설계되고 있다”라고 말했다.

4. 사용자를 준비시키고 실제 수용률을 추적하라

아무리 잘 설계한 AI라도 사용자가 받아들이지 않으면 실패한다. 그래서 사용자 수용도는 사전 준비가 필요한 또 하나의 핵심 지표다. AI 모델만 학습시키는 것으로는 부족하다. 조직 내 역할에 맞게 AI를 개인화하고, 사람들이 실제로 AI를 활용하는 방법까지 교육해야 한다. 툴란은 “업무 흐름 안에서 훌륭한 경험이 돼야 한다. 그렇지 않으면 만족도 점수는 낮아지고 AI 도입률도 떨어진다”라고 경고했다.

조에티스도 초기에 변화관리 투자 규모를 과소평가했다. 사보는 “초기에는 얼마나 빨리 움직일 수 있느냐에만 초점이 맞춰져 있었다”라며, “만들기만 하면 사람들이 사용할 것이라고 생각했지만, 사용자가 일상 업무에 어떻게 녹여야 하는지 이해하지 못하면 가치는 나오지 않는다”라고 덧붙였다.

5. 장기 가치까지 보되, 과장은 피하고 판단을 믿어라

카맥스가 최고경영진에게 보고하는 AI 프로젝트 지표는 크게 네 가지다. ROI, 매출 영향, 비용 효율성, 그리고 경쟁우위 확보 역량으로서의 전략적 가치다.

AI 프로젝트의 사업 가치를 설명할 때는 ‘가치 노출도’ 개념도 포함해야 한다. 각 AI 사용례는 데이터·프로세스·플랫폼의 변화를 요구할 수 있고, 그 과정에서 다른 프로젝트도 활용할 수 있는 새로운 역량이 생길 수 있기 때문이다. 탈라사즈는 “하나의 프로젝트가 다른 기회를 여는 경우가 많다”라며, “다른 프로젝트의 비용과 편익을 아직 세부적으로 알지 못하더라도, 현재 프로젝트가 전략적으로 새로운 역량을 열고 있다는 사실 자체에 가치가 있다”라고 설명했다. 또한, 경쟁 차별화 요소가 될 프로젝트라면 그것을 평가할 성공 지표도 별도로 필요하다고 덧붙였다.

탈라사즈는 프로젝트를 제안할 때 기대치를 투명하게 설정한다며, “단일 재무 지표 하나만 제시하지 말고, 여러 시나리오를 함께 보여주는 것이 중요하다. 각 결과에 영향을 주는 전제와 변수까지 함께 설명해야 한다”라고 강조했다. 예를 들어 도입률이나 구현 속도에 따라 기대 성과가 어떻게 달라지는지까지 포함해 그림을 그려준다는 것이다. 탈라사즈는 “리더들은 각각의 점이 어떻게 연결되는지, 더 큰 그림이 무엇인지 이해하고 싶어 한다”라고 말했다.

결국 가장 중요한 성공 지표는 손익계산서에 미치는 영향과 해당 AI 사용례가 직원 경험에 어떤 변화를 주는지를 보여주는 지표다. 사보는 “프로세스 어느 단계에서든 정량 지표를 붙일 기회가 있다면 반드시 붙여야 한다. 다만 AI는 아직 초기 도입 단계이고 새로운 영역이기 때문에, 지금은 측정할 수 없는 요소도 분명 존재한다. 그래서 때로는 사업을 잘 아는 사람들의 판단을 믿어야 한다. 다만 상식적으로 접근하고, 결과를 과장하지 않는 것이 중요하다”라고 강조했다.
dl-ciokorea@foundryco.com