칼럼 | AI ROI를 계산할 때 기대치를 더 낮춰야 하는 이유

자동차를 구매할 때는 창문 스티커에 적힌 공인 연비를 먼저 보기 마련이다. 1리터로 18km를 달린다는 수치를 보면 기대가 커지지만, 막상 차를 집까지 몰고 오면 실주행 연비는 그보다 훨씬 낮게 나온다는 점을 깨닫는다. 제조사가 평지나 내리막길, 최적의 조건만 가정해 측정한 결과가 아닌가 하는 생각이 들 때가 많다.

AI 생산성을 둘러싼 논의도 이와 크게 다르지 않다. 글로벌 컨설팅사의 보고서든, 최신 AI 플랫폼을 앞세운 벤더의 설명이든, 혹은 CEO가 요청한 ROI 전망이든 대부분의 예측은 지나치게 낙관적이다. 문서로만 보면 그럴듯해 보이지만 실제 업무 환경에서는 기대치에 미치지 못하는 경우가 많다. 과장된 전망을 전제로 전략을 세우면, 조직은 목표에서 벗어나기 쉬운 기반을 스스로 만들게 된다.

디지털 전략 컨설턴트로 일하면서, 잠재력이 주는 기대감과 실제 실행 과정의 현실성을 균형 있게 반영하는 새로운 기준이 필요하다는 점을 여러 차례 확인해 왔다. 흥미로운 점은 이런 접근법의 출발점이 기술이 아니라 금융 분야에서 나왔다는 사실이다.

‘할인율’을 적용할 필요성

금융 분야의 기초 재무 과정에서 가르치는 현금흐름 할인법(DCF)을 참조할 만하다. 이는 투자를 평가할 때 미래에 발생할 현금흐름을 모두 합산하는 대신, 시간과 위험을 고려해 그 가치를 할인하는 방식이다. 내일 받을 1달러는 오늘의 1달러보다 가치가 낮고, 그 1달러가 실제로 들어올지 불확실하다면 가치는 더 떨어진다.

AI 생산성을 평가할 때도 이와 같은 사고방식이 도움이 된다. “코파일럿이 개발자 생산성을 2배로 높인다”와 같은 표면적 수치는 잠재력을 최대치로 가정한 값일 뿐이다. 실제 계획에 활용할 수 있는 현실적인 수치를 얻으려면 3가지 요소를 감안해 ‘할인’해야 한다. 이는 목표에 도달하기 위해 사람이 투입해야 하는 노력, 조직이 AI를 받아들이는 데 걸리는 시간, 그리고 AI의 불완전성에서 비롯되는 위험을 의미한다.

사람의 노력: 사람과 기계가 맞물리는 현실

생성형 AI는 일을 대신해주는 ‘자동 조종 장치’가 아니라 속도를 높여주는 ‘가속기’에 가깝다. 문제를 정의하고, 모델이 올바르게 작동하도록 안내하며, 최종 결과를 검증하는 과정은 여전히 사람이 맡아야 한다. 예를 들어 소프트웨어 엔지니어링에서는 깃허브 코파일럿(GitHub Copilot) 같은 도구가 즉시 실행 가능한 코드를 만들어주지만, 그 코드 상당수는 여전히 디버깅과 테스트, 수정이 필요하다.

한 고객사의 파일럿 프로젝트에서 엔지니어들은 업무 시간의 약 4분의 1을 AI가 생성한 코드를 검토하거나 다시 작성하는 데 사용했다. 생산성은 분명 의미 있는 수준으로 올랐지만, 벤더가 흔히 주장하는 ‘생산성 2배’와는 거리가 있었다. 실제 수치는 약 40% 향상에 가까웠고, 이는 훨씬 현실적이면서도 지속 가능한 수준이었다. 결론은 명확했다. AI는 역량을 증폭시키지만 사람의 판단을 대신하지는 못한다. 이를 생산성 전망에 반영해야 모델은 더 신뢰할 수 있고 계획은 더 현실적이 된다.

도입 속도와 확산 곡선

또 다른 중요한 요소는 기술 도입 속도다. AI로 인한 생산성 향상은 한꺼번에 나타나지 않는다. 다른 엔터프라이즈 기술과 마찬가지로, 도입 과정은 학습과 실험, 확산을 거치며 점진적인 곡선을 그린다.

포춘 500대 제조 기업의 한 사례를 살펴볼 만하다. 이 회사는 코드 개발용 코파일럿 도입을 추진하면서 이러한 도입 곡선을 직접 모델링했다. 첫해에는 전체 개발자의 약 4분의 1만 활발히 도구를 사용했다. 시간이 지나면서 도입률은 꾸준히 증가했고, 비용과 효과도 일상적인 개발 흐름 속에서 자연스럽게 확대될 것으로 예상됐다. 이들은 4년에 걸친 도입 기간을 기준으로 ROI를 산정해 조직이 변화에 적응할 수 있는 속도와 맞는 예측치를 제시할 수 있었다. 결과적으로 가파르고 비현실적인 상승 곡선이 아닌, 신뢰할 수 있는 전망을 확보했다.

강력한 비즈니스 사례가 있어도 생산성은 저절로 발생하지 않는다. 도입에는 시간, 교육, 그리고 반복적인 사용 경험이 필요하다. 이런 현실적 조건을 추정치에 포함해야 계획은 방어 가능하면서도 실제 실행으로 이어질 수 있다.

위험 조정: AI 환각을 반영

모든 생산성 모델은 위험 요소도 고려돼야 한다. 가장 성능이 뛰어난 시스템도 오류를 낼 수 있으며, 그로 인한 운영·평판 측면의 비용은 상당할 수 있다.

이런 사례는 뉴스에서도 어렵지 않게 볼 수 있다. 올해 한 글로벌 기술 기업은 AI 이미지 생성기가 부적절한 결과를 만들어내자 마케팅 캠페인을 전면 철회했다. 문제는 관리 부재가 아니라 위험을 과소평가한 것이었다. 기업은 문제를 해결하고 공지·조율 작업을 진행하며 신뢰를 회복하는 데 수 주를 투입해야 했다. 이 회복 기간 동안 투입된 시간과 자원은 본래 생산 업무에 사용될 수 있었다.

CIO가 생산성을 추정할 때는 이런 불가피한 시행착오를 감안해야 한다. 결과물 검증, 오류 수정, 후속 조치에 필요한 시간과 노력이 분석에 포함돼야 한다. 투자자가 위험이 큰 자산에 더 높은 수익률을 요구하는 것처럼, 기술 리더도 위험성이 높은 AI 활용에 대해서는 생산성 기대치를 조정해야 한다.

개념에서 실천으로

‘할인된 생산성’ 개념은 실제 현장에 적용할 때 비로소 힘을 발휘한다. 예를 들어 한 소프트웨어 엔지니어가 코파일럿을 사용한다고 가정해보면, 이론상 생산성은 2배까지 늘어날 수 있다. 하지만 사람 검증 과정, 점진적인 도입 속도, 위험 요소를 반영하면 현실적인 생산성 증가는 30~40% 수준에 가까워진다.

이를 시각화하면 폭포수(waterfall) 차트 형태가 된다. 전체 AI 기회 규모를 출발점으로 두고, 사람의 노력, 도입 속도, 위험 요인을 고려해 하나씩 차감해 나간다. 그렇게 남는 수치가 실제로 달성 가능한 생산성 향상이며, 팀의 실제 업무 방식을 반영한 값이기 때문에 CFO나 CEO에게도 자신 있게 제시할 수 있다. 경험이 쌓이면 이 수치를 넘어설 가능성도 충분히 있다.

서로 다른 AI의 ‘연비’

AI는 업무 방식을 빠르게 바꾸고 있다. 하지만 새 차의 공인 연비가 실제 주행 환경에 따라 달라지듯, AI 성과 역시 조직의 환경, 구성원의 활용 방식, 실행력에 따라 크게 달라진다. 생산성에 ‘할인율’을 적용해 바라보는 관점은 CIO와 기술 리더가 AI 기술의 잠재력과 실제 성과 사이의 간극을 좁히고, 신뢰할 수 있고 방어 가능하며 실현 가능한 기대치를 세우도록 돕는다.

AI 역시 운전과 마찬가지로, ‘연비’는 상황에 따라 달라질 수밖에 없다.
dl-ciokorea@foundryco.com