복잡한 AI ROI, 글로벌 기업은 이렇게 계산하고 관리한다

AI가 비즈니스를 혁신할 잠재력에 대한 기대와 화제가 커지고 있지만, 실제로 많은 조직은 자사가 도입한 AI가 어느 정도 효과를 내고 있는지를 정확히 파악하는 데 어려움을 겪고 있다.

AI는 단순히 특정 업무를 대체하거나 프로세스를 자동화하는 수준을 넘어, 일 자체가 이뤄지는 방식을 바꾼다. 이런 변화는 수치로 정량화하기 어려운 경우가 많다. AI의 영향을 측정한다는 것은 결국 무엇을 성과로 볼 것인지를 정의하고, 새로운 형태의 디지털 노동을 기존의 비즈니스 성과와 어떻게 연결할지를 결정하는 문제다.

시장 인텔리전스 및 소싱 플랫폼 업체 소스86(Source86)의 시니어 마케팅 매니저 아구스티나 브란즈는 “지금 이 순간 전 세계의 다른 조직과 마찬가지로, 우리 역시 해답을 찾아가며 하나씩 시도하고 있다”라고 전했다.

이처럼 정답을 정해두지 않고 시행착오를 거치며 접근하는 방식이, 오늘날 기업들이 AI ROI를 바라보고 논의하는 전반적인 흐름을 만들어내고 있다.

AI의 가치를 어떻게 측정할 수 있는지에 대한 실마리를 찾기 위해, 여러 기술 리더를 만나 각 조직이 이 영역의 성과를 어떻게 가늠해 나가고 있는지를 들었다. 인간의 업무 결과와 단순 비교하는 기준부터, 조직 문화 변화와 비용 모델, 가치 실현을 둘러싼 복잡한 계산까지 추적하는 프레임워크에 이르기까지 접근 방식은 다양했다.

AI 성과를 가늠하는 첫 질문 ‘사람보다 나은가’

현재 사용되는 거의 모든 AI 지표의 근간에는 조직들이 공통적으로 던지기 시작한 하나의 질문이 있다. AI가 인간과 비교해 특정 업무를 얼마나 잘 수행하는가라는 점이다. 가령 소스86의 브란즈는 인간의 성과를 평가할 때 사용하는 동일한 기준을 AI에도 적용하고 있다.

브란즈는 “AI가 업무 속도를 높여주는 것은 분명하지만, 빠르다고 해서 곧바로 ROI로 이어지는 것은 아니다”라며 “우리는 인간의 결과물을 평가하는 방식과 똑같이, 트래픽 증가나 유효 리드, 전환 같은 실제 성과를 만들어내는지를 본다”라고 설명했다. 그는 “특히 유용했던 KPI는 ‘유효 성과당 비용’으로, 이전과 같은 실질적인 성과를 훨씬 낮은 비용으로 얼마나 얻을 수 있는지를 보여주는 지표”라고 덧붙였다.

핵심은 동일한 맥락에서 인간이 만들어낸 결과와 비교하는 데 있다. 브란즈는 “AI의 영향을 분리해 보기 위해 AI를 활용한 콘텐츠와 그렇지 않은 콘텐츠를 대상으로 A/B 테스트를 진행한다”라고 말했다.

그는 “AI가 생성한 문구나 키워드 클러스터를 테스트할 때도 트래픽, 참여도, 전환율 등 동일한 KPI를 추적하고, 이를 인간만으로 만든 결과물과 비교한다”라며 “또 AI 성과는 절대적인 판단 기준이 아니라 방향성을 보여주는 지표로 본다. 최적화에는 매우 유용하지만, 최종 판단 기준은 아니다”라고 설명했다.

디지털 마케팅 에이전시를 운영하는 마크 오렐 르구는 보다 더 과감한 관점을 제시했다. 그는 “AI가 인간보다 이 일을 더 잘할 수 있는가를 따져봐야 한다. ‘그렇다’라고 대답할 수 있으면 쓰는 게 맞고, 아니라면 돈과 노력을 들일 이유가 없다”라고 말했다. 그는 “프리미엄 여행 서비스를 운영하는 고객사에 AI 에이전트 챗봇을 지원했으며, 이 챗봇을 통해 성사된 단 한 건의 예약이 7만 유로(약 1억 2천만 원)의 추가 매출로 이어졌다”라고 사례를 들었다.

르구가 본 KPI는 단순했다. 그는 “리드가 챗봇에서 나왔는가, 그 리드가 실제 전환됐는가”라고 설명하며, “두 가지 모두 ‘예’라면 AI 챗봇의 성과로 보면 된다”라고 말했다. 이어 그는 “일정 기간 동안 AI가 만들어낸 리드와 전환, 예약된 상담을 인간이 처리한 결과와 비교한다”라며 “AI가 인간 기준을 충족하거나 상회하면 성공으로 판단한다”라고 전했다.

다만 이런 기준은 이론적으로는 명확하지만, 실제 적용은 훨씬 까다롭다. 유효한 비교 환경을 만들고 외부 변수를 통제하며, 결과를 온전히 AI의 기여로 귀속시키는 일은 말처럼 쉽지 않기 때문이다.

확실한 성과 : 시간, 정확성, 가치

AI ROI에서 가장 눈에 띄는 요소는 시간과 생산성이다. 컨설팅 업체 트랜스포머티브(Transformativ)의 디렉터 존 아탈라는 이를 ‘생산성 향상’이라고 부르며, 프로세스나 업무를 완료하는 데 걸리는 시간과 그로 인해 확보되는 가용 역량으로 측정한다고 설명했다.

다만 명확해 보이는 지표도 전체를 담아내지 못할 수 있다. 아탈라는 “초기 프로젝트에서는 KPI가 상당히 제한적이었다”라며 “프로젝트가 진행되면서 의사결정의 질, 고객 경험, 직원 몰입도까지 개선됐고, 이 역시 재무적으로 측정 가능한 영향을 미쳤다”라고 말했다.

이 같은 인식은 아탈라의 팀이 세 가지 관점으로 구성된 프레임워크를 만드는 계기가 됐다. 생산성과 정확성, 그리고 그가 ‘가치 실현 속도’라고 부르는 지표다. 이는 투자 회수 기간이나 도입 후 첫 90일 동안 실현된 효과 비중 등으로, 비즈니스에서 성과가 얼마나 빠르게 나타나는지를 보여준다.

비슷한 접근 방식은 전문 콘텐츠 및 소프트웨어 솔루션 기업 월터스 클루워(Wolters Kluwer)에서도 적용되고 있다. 월터스 클루워에서 금융 서비스 솔루션 부문 디렉터 아오이페 메이는 고객이 수작업 방식과 AI를 활용한 작업을 비교해, 실제로 발생하는 시간과 비용 차이를 구체적으로 파악할 수 있도록 지원하고 있다고 설명했다.

메이는 “법률 조사를 수작업으로 수행할 때 걸리는 예상 시간을 산정하고, 변호사 시간당 평균 비용을 적용해 수작업 비용을 계산한다”라며 “같은 작업을 AI의 도움을 받아 수행했을 때도 동일한 방식으로 추산한다”라고 말했다. 그 결과 고객은 의무 조사에 소요되는 시간을 최대 60%까지 줄이고 있다고 전했다.

그러나 시간만으로는 충분하지 않다. 아탈라가 제시한 두 번째 관점인 의사결정 정확성은 오류 감소, 재작업 축소, 예외 처리 감소에서 비롯되는 효과를 포착한다. 이는 곧 비용 절감과 고객 경험 개선으로 직결된다.

AI 전략·분석 전문 업체 스타애플 AI(StarApple AI)의 CEO 에이드리언 덩클리는 재무 관점을 가치 사슬의 더 상위 단계에서 바라본다. 그는 “항상 중요한 지표는 효율성 향상, 고객 지출, 전체 ROI라는 세 가지”라며 “AI를 통해 얼마나 비용을 절감했는지, 추가 지출 없이 비즈니스에서 얼마나 더 많은 가치를 끌어냈는지를 추적한다”라고 설명했다.

덩클리가 이끄는 연구 조직 섹션9(Section 9)는 여러 시스템이 동시에 작동하는 환경에서 AI의 기여도를 어떻게 추적할 것인지라는 보다 미묘한 문제도 다룬다. 그는 기후 연구 시절 사용했던 ‘임팩트 체이닝’ 기법을 활용해, 각 프로세스를 그 이후의 비즈니스 가치와 연결하고 AI 도입 이전의 ROI 기대치를 설정한다고 설명했다.

월터스 클루워의 콘텐츠 관리 디렉터 톰 푸타세 역시 AI로 인해 발생한 개별 변화가 이후 업무 단계와 비즈니스 성과로 어떻게 이어지는지를 단계적으로 연결해 살펴보는 일명 임팩트 체이닝(impact chaining) 방식을 활용하고 있다. 그는 이를 “하나의 변화나 결과가 연관된 하위 효과에 어떤 영향을 미치는지를 추적하는 방식”이라고 설명하며, 실제로는 자동화가 가치를 가속하는 지점과 인간의 판단이 여전히 핵심적인 정확성을 더하는 지점을 구분하는 데 활용된다고 말했다.

다만 아무리 정교한 지표라도 제대로 측정되지 않으면 의미가 없다. 기준선을 설정하고, 성과가 어디에서 비롯됐는지를 구분하며, 실제 비용을 반영하는 과정이 수치를 진정한 ROI로 만드는 단계다. 바로 이 지점에서 계산은 복잡해지기 시작한다.

ROI 계산의 핵심 3가지: 기준선·기여도·비용 구조

지표를 뒷받침하는 계산은 명확한 기준선을 설정하는 것에서 시작해, AI가 비즈니스를 수행하는 비용 구조를 어떻게 바꾸는지를 이해하는 단계에서 마무리된다.

디지털 전환 지원 기업 모바덱스(Movadex)의 공동 설립자 살로메 미카제는 무엇을 측정할 것인지부터 다시 생각해야 한다고 조언했다. 그는 “임원들에게 모델의 정확도가 얼마인지를 묻는 대신, 이 기능이 출시된 이후 비즈니스에서 무엇이 달라졌는지를 보라고 말한다”라고 설명했다.

미카제의 팀은 이러한 비교 구조를 모든 도입 과정에 포함시킨다. 그는 “AI 도입 이전의 프로세스를 기준선으로 설정한 뒤, 통제된 방식으로 단계적 도입을 진행해 모든 지표에 명확한 비교 대상을 둔다”라고 말했다. 조직에 따라 고객 지원의 최초 응답 시간과 해결 시간, 개발 조직의 코드 변경 리드타임, 영업 조직의 수주율과 콘텐츠 제작 주기 등을 추적한다. 다만 그는 이 모든 지표에 가치 도달 시간, 활성 사용자 채택률, 인간의 개입 없이 완료된 작업 비율이 포함된다고 설명했다. 사용되지 않는 모델의 ROI는 0이기 때문이다.

하지만 사람과 AI가 동일한 워크플로를 공유할 경우 기준선은 쉽게 흐려질 수 있다. 이 문제로 울터스 클루워(Wolters Kluwer)의 톰 푸타세 팀은 성과가 어디에서 비롯됐는지를 구분하는 방식을 전면적으로 재검토하게 됐다. 그는 “AI와 인간 전문가가 서로 다른 방식으로 가치를 더하고 있다는 점을 처음부터 알고 있었기 때문에, 단순히 ‘AI가 했다’거나 ‘사람이 했다’고 나누는 것은 정확하지 않았다”라고 말했다.

이들이 선택한 해법은 업무의 각 단계를 AI가 자동으로 만든 부분(machine-generated), 인간이 따로 확인한 부분(human-verified), 사람의 판단과 수정이 더해진 부분(human-enhanced)으로 따로 구분해 기록 및 관리하는 방식이었다. 이를 통해 자동화가 효율성을 높이는 지점과 인간의 판단이 맥락을 보완하는 지점을 명확히 보여줄 수 있었고, 혼합된 성과에 대한 보다 현실적인 그림을 만들 수 있었다.

보다 넓은 차원에서 ROI를 측정한다는 것은 AI의 실제 비용 구조를 마주하는 일이기도 하다. 구독 서비스 관리 플랫폼 업체 주오라(Zuora) 싱크탱크 조직인 서브스크라이브드 인스티튜트의 총괄 디렉터인 디렉터 마이클 만사드는 AI가 SaaS 시대 이후 IT 업계가 당연하게 여겨온 경제 모델을 뒤흔들고 있다고 지적했다.

만사드는 “전통적인 SaaS는 구축 비용은 높지만 한계 비용은 거의 0에 가깝다”라며 “반면 AI는 개발 비용은 상대적으로 낮지만 운영 비용이 높고 변동성이 크다”라고 설명했다. 그는 “AI 에이전트가 무엇을 성취했는지가 가치의 기준이 되는 환경에서는, 접속 인원이나 기능 수를 기준으로 한 요금 모델이 제대로 작동하지 않는다”라고 덧붙였다.

CIO가 AI ROI를 측정하는 데 도움이 되는 5가지 팁

1, 모델의 정확도에만 집착하지 말고 비즈니스 변화를 보라. AI 시스템을 도입하기 전에 반드시 기존 프로세스를 기준선으로 설정하고, 통제된 방식으로 단계적 도입을 진행해 모든 지표에 명확한 비교 대상을 마련해야 한다. 이를 통해 AI 도입 이후 무엇이 실제로 달라졌는지를 판단할 수 있다.

2. AI가 기존 SaaS의 경제 구조를 뒤흔든다는 점을 인정해야 한다. 전통적인 IT는 한계 비용이 낮지만, AI는 운영 비용이 높고 변동성이 크다. 단순한 좌석 기반 요금 모델에서 벗어나, 해결 건당 비용처럼 AI 에이전트의 실제 성과에 가치가 직접 연결되는 사용량 기반 또는 성과 기반 요금 모델을 검토할 필요가 있다.

3. AI의 성공은 전체 효과만이 아니라 신뢰성과 안정성에 달려 있다. 총소유비용(TCO)을 함께 고려하고, 기대되는 총효과를 안전성과 신뢰성 신호에 따라 조정해야 한다. 여기에는 환각 발생률, 가드레일 개입률(AI가 위험하거나 부적절한 결과를 내지 않도록 안전장치가 작동한 빈도), 오버라이드 비율(AI의 판단이나 결과를 사람이 최종적으로 수정하거나 바꾼 경우), 모델 드리프트(시간이 지나면서 데이터 환경 변화로 AI 성능이나 판단 기준이 달라지는 현상) 같은 지표가 포함된다.

4. 인간과 AI가 업무 처리 과정에 함께 관여하는 만큼, 성과를 단순히 ‘AI의 결과’로 보는 것은 부정확하다. 각 단계를 AI가 자동으로 만든 부분(machine-generated), 인간이 따로 확인한 부분(human-verified), 사람의 판단과 수정이 더해진 부분(human-enhanced)로 나누고 기록 및 관리하는 체계를 도입해, 자동화가 효율성을 더하는 지점과 인간의 판단이 필수적인 맥락을 제공하는 지점을 정확히 구분해야 한다.

5. AI의 장기적인 성공은 직원의 채택과 신뢰에 달려 있다. 초기 단계에서는 직원 인식, 사용률, 자가 보고 생산성 같은 이른바 ‘정성적 ROI’를 함께 추적해야 한다. 이러한 지표는 내부 공감을 이끌어내는 데 활용될 수 있으며, 직원의 인식이 채택의 선순환을 만들어 이후 보다 확실한 ‘정량적 ROI’로 이어지게 된다.

만사드는 일부 기업이 성과 기반 요금제를 시험하고 있다고 설명했다. 비용 절감이나 성과 증가분의 일정 비율을 지불하거나, 젠데스크의 건당 1.5달러 해결 모델처럼 AI가 고객 문의를 한 건 완전히 해결했을 때마다 정해진 비용을 지불하는 방식이다. 그는 이런 흐름을 두고 “계속 기준이 바뀌는 과정”이라고 표현하며 “하나의 정답이 되는 요금 모델은 지금도 없고 앞으로도 없을 것”이라고 말했다. 이어 “많은 기업이 사용량이나 실제 성과에 따라 비용을 지불하는 구조로 이동하고 있으며, 이 경우 가치는 AI가 만들어낸 실제 영향과 직접 연결된다”라고 설명했다.

기업들이 AI 활용에서 성숙 단계로 접어들수록, 단 한 번 ROI를 정의하는 것을 넘어서는 과제에 직면하고 있다. 시스템이 진화하고 확장되는 과정에서도 AI가 만들어내는 성과를 일관되게 유지해야 한다는 점이다.

ROI의 확장과 지속 가능성

모바덱스의 미카제에게 측정은 AI 시스템이 출시되는 순간에 끝나지 않는다. 그의 프레임워크는 ROI를 일회성 성과 지표가 아니라 지속적으로 계산해야 하는 값으로 본다. 그는 “비용 측면에서는 추론 비용만이 아니라 총소유비용을 모델링한다”라고 설명했다. 여기에는 통합 작업, 평가 체계 구축, 데이터 라벨링, 프롬프트와 검색 비용, 인프라와 벤더 수수료, 모니터링, 그리고 변화 관리를 담당하는 인력까지 포함된다.

미카제는 이 모든 요소를 하나의 명확한 공식에 담는다. 그는 “우리는 위험 조정 ROI를 보고한다”라며 “총효과에서 총소유비용을 뺀 뒤, 환각 발생률, 가드레일 개입률, 인간 검토 과정에서의 오버라이드 비율, 데이터 유출 사고, 재학습을 유발하는 모델 드리프트 같은 안전성과 신뢰성 지표를 반영해 조정한다”라고 설명했다.

미카제에 따르면 대부분의 기업은 비교적 단순한 기준을 받아들인다. ROI를 매출 증가분과 총마진 변화, 회피된 비용의 합에서 총소유비용을 뺀 값으로 계산하며, 운영 사례의 경우 투자 회수 목표를 두 분기 이내로, 개발자 생산성 플랫폼의 경우 1년 이내로 설정하는 것이 일반적이다.

그러나 공식이 아무리 완벽해도 모델이 확장성을 고려해 설계되지 않았다면 실제 현장에서는 실패할 수 있다. 미카제는 “동기 부여된 소규모 파일럿 팀은 인상적인 초기 성과를 만들 수 있지만, 확장 과정에서는 문제가 발생하는 경우가 많다”라고 말했다. 데이터 품질, 워크플로 설계, 팀 인센티브는 대개 동시에 성장하지 않으며, 그 결과 AI ROI는 깔끔하게 확장되지 않는다는 설명이다.

그는 동일한 실수를 반복해서 목격한다고 말했다. 한 팀을 위해 만들어진 도구가 전사 차원의 이니셔티브로 재포장되면서, 초기 가정은 재검토되지 않는 경우다. 그는 “영업 조직은 효율성 향상을 기대하고, 제품 조직은 인사이트를 원하며, 운영 조직은 자동화를 바란다”라며 “하지만 모델이 그중 하나만을 위해 튜닝됐다면 마찰은 불가피하다”라고 설명했다.

이에 대해 미카제는 AI를 일회성 도입이 아닌 살아 있는 제품으로 다룰 것을 조언했다. 그는 “성공적인 팀은 실험 단계에서 매우 엄격한 성공 기준을 설정한 뒤, 확장 전에 그 목표를 다시 검증한다”라며 시스템이 커지는 과정에서도 유효성을 유지할 수 있도록 소유권, 재학습 주기, 평가 루프를 초기에 정의한다고 말했다.

이러한 장기적 관리는 측정 자체를 위한 인프라에 달려 있다. 스타애플 AI의 덩클리는 “대부분의 기업은 실제로 측정을 수행하는 데 드는 비용조차 고려하지 않는다”라고 경고했다. 그는 “ROI를 지속하려면 결과를 추적하고, 그 결과가 비즈니스 성과에 어떤 영향을 미치는지를 보여줄 사람과 시스템이 필요하다”라며 “이 계층이 없으면 기업은 측정 가능한 영향이 아니라 인상에 기반해 운영하게 된다”라고 지적했다.

정성적 ROI의 영역: 문화, 채택, 신뢰

아무리 뛰어난 지표라도 조직 내부의 공감과 동의가 없다면 무너질 수 있다. 스프레드시트를 만들고 대시보드를 구축한 이후, AI의 장기적인 성공은 사람들이 이를 얼마나 채택하고 신뢰하며, 실제 가치가 있다고 느끼는지에 달려 있다.

UX·고객 인사이트 플랫폼 기업 유저테스팅(UserTesting)의 AI 총괄 마이클 도마닉은 ROI를 ‘정량적 ROI’와 ‘정성적 ROI’로 구분한다.

도마닉은 “정량적 ROI는 대부분의 경영진이 익숙해하는 개념”이라며 “특정 AI 도입과 직접적으로 연결되는, 측정 가능한 비즈니스 성과를 의미한다”라고 설명했다. 여기에는 전환율 개선, 매출 성장, 고객 유지율 상승, 기능 출시 속도 향상 등이 포함된다. 그는 “이런 성과는 실질적인 비즈니스 결과로, 반드시 엄격하게 측정할 수 있고 또 그렇게 해야 한다”라고 말했다.

반면 정성적 ROI는 인간적인 측면에 초점을 둔다. 도마닉은 “직원들이 실험을 시작하고, 새로운 효율성을 발견하며, AI가 자신의 업무를 어떻게 바꿀 수 있는지에 대한 감각을 키우는 과정에서 나타나는 문화적·행동적 변화”라고 설명했다. 이러한 변화는 수치로 환산하기 어렵지만, 그는 “기업이 경쟁력을 유지하는 데 필수적”이라고 강조했다. AI가 점차 기반 인프라로 자리 잡을수록 두 영역의 경계는 흐려지고, 정성적인 요소는 측정 가능해지며, 측정 가능한 요소는 더 큰 변화를 만들어내게 된다는 설명이다.

컨설팅 기업 프로메보(Promevo)의 CTO 존 페티트는 직원 인식이나 사용률처럼 정성적 범주로 보일 수 있는 자가 보고 KPI가 강력한 선행 지표가 될 수 있다고 주장했다. 그는 “AI 도입 초기 단계에서는 자가 보고 데이터가 성공 여부를 가늠하는 가장 중요한 선행 지표 중 하나”라고 말했다.

그가 함께 일했던 한 고객사에서는 직원의 73%가 새로운 도구가 생산성을 높인다고 응답했다. 이 생산성 향상이 아직 객관적으로 측정되지 않았음에도, 이러한 인식은 채택을 가속하는 역할을 했다. 페티트는 “인식에 기반한 입소문이 채택의 선순환을 만든다”라며 “도구의 효과는 사람들이 자신의 성공 사례를 공유하고, 다른 이들이 이를 따라 하면서 시간이 지날수록 커진다”라고 설명했다.

스타애플 AI의 덩클리는 직원들이 AI가 자신의 성과를 가려버릴 수 있다는 불안을 자주 느낀다고 지적했다. 실제로 섹션9가 장기간 추적 조사한 한 기업 사례에서는, 직원들이 자신의 업무 성과 일부가 AI의 공으로 돌아가는 것을 꺼렸고, 그로 인해 자신의 기여도가 평가절하된다고 느끼는 경우가 있었다.

덩클리는 이런 저항을 극복하려면 구성원들이 AI의 이점을 편안하게 받아들이고 긍정적으로 인식하도록 돕는 내부 챔피언이 필요하다고 말했다. 결국 ROI를 측정한다는 것은 AI가 작동한다는 사실을 입증하는 데 그치지 않는다. 사람과 AI가 함께 성과를 낼 수 있다는 점을 증명하는 과정이기도 하다.
dl-ciokorea@foundryco.com