칼럼 | AI 실패 원인이 IT 부서 탓? 실제 이유를 찾아야 할 때

기술의 가치에 대한 논쟁이 다시 한번 수면 위로 떠오르고 있다. 이는 저널리스트 니콜라스 카가 하버드 비즈니스 리뷰에 기고한 글에서 “IT는 경쟁적, 전략적인 우위를 거의 제공하지 않는 범용재에 불과하다”라고 선언한 지 약 22년 만의 일이다.

IT 분야에서 일했거나 그 주변에서 경험해 본 사람이라면 이런 논쟁의 흐름이 익숙할 수 있다. 다만 이번에는 광대역 통신이나 ERP 시스템이 아니라 AI와 자동화, 그리고 뒤처질 것을 우려하는 비즈니스 리더들이 논의의 대상이 됐다. 여기에 혁신 기술과 IT, IT 부서를 서로 다른 개념으로 보지 않고 동일시하는 대중적인 인식이 더해지면서 주제는 더욱 혼란스러워졌다.

카의 전제는 기본적으로 타당하다. 기업은 인터넷 연결 속도나 노트북의 성능, 네트워크 자체로 인해 성장하지 않는다. 이런 요소는 어디서나 사용할 수 있는 범용 자산이기 때문이다. 그러나 그의 주장은 필수적인 범용 자산이 없을 경우 기업이 경쟁력을 잃을 수 있다는 점을 충분히 고려하지 않았다. 지난 20년간의 모든 경쟁 우위, 예를 들어 아마존의 공급망이나 에어비앤비의 마켓플레이스는 카가 전략적으로 무의미하다고 치부했던 IT 인프라 위에서 구축됐다.

그럼에도 불구하고, IT 분야의 주요 연구자들은 IT 전문가들이 당연하게 여겨온 인식에 계속해서 문제를 제기해 왔다.

가령 최근 캘리포니아 매니지먼트 리뷰(California Management Review)에 게재된 글에서 학자 조 페퍼드와 마틴 모커는 대부분의 AI 투자가 기대한 만큼의 투자 대비 수익(ROI)을 내지 못할 것이라고 분석했다. 지난 3년간 AI 이니셔티브 가운데 기대에 부합한 사례가 25%에 불과하다는 IBM 연구 결과가 근거로 제시됐다. 이들의 문제 제기는 기술이 아무리 혁신적이더라도 그 자체로 경쟁 우위를 보장하지는 않는다는 카의 견해와 맞닿아 있다. 바꿔 말하면 AI 투자 실패의 실제 원인이 기술 자체에 있지 않을 수 있다는 지적이다. 중요한 것은 책임 소재다. 이들의 관점에서 보면, 진짜 문제는 IT가 아니라 핵심적인 기술 관련 결정을 IT에 떠넘긴 뒤 그 결과를 탓하는 비즈니스 리더십에 있다.

한층 더 깊이 들어가면, 페퍼드는 많은 기업이 ‘IT 운영 모델’과 ‘IT 조직 모델’을 혼동하고 있다고 지적한다. IT 운영 모델은 디지털 자산과 업무 흐름이 비즈니스를 어떻게 움직이는지를 뜻하고, IT 조직 모델은 기술 지식을 가진 인재가 어떻게 구성돼 있는지를 의미한다. 기술 분야 안팎의 많은 사람들은 전략은 비즈니스 부서에서 나오고 실행은 IT 부서의 몫이라고 믿는다. 그러나 오늘날 경쟁을 차별화하는 요소의 약 90%가 소프트웨어와 데이터, 디지털 워크플로우를 통해 구현되고 있다. 카가 2003년에 IT가 범용재로 전락하고 있다고 경고했다면, 페퍼드의 주장은 IT를 오직 범용재로만 취급하는 한 그 이상의 가치를 만들어내기는 어렵다는 것이다.

서로 다른 IT 접근법, 비슷한 결과

이 난제를 제대로 이해하려면 오늘날 기업의 IT 부서가 서로 다른 2개의 평행 세계에 위치해 있다는 점을 인식할 필요가 있다. 하나는 기술의 소유권이 모호한 대기업 환경이다. 대기업에서 흔히 마케팅 부서는 민첩성을 요구하고, 재무 부서는 예측 가능성을 원하며, 운영 부문은 안정성을 중시한다. IT 부서는 이러한 상충된 요구 속에서 혁신적이면서도 리스크를 피해야 하고, 전략적이면서도 비용 효율적이어야 하며, 빠르면서도 안전해야 한다는 요구를 받는다. 여기에 복잡한 의사결정과 벤더 구조, 부서별로 따로 움직이는 인센티브 체계까지 겹치면서, 충분히 합리적인 프로젝트조차도 이해관계 싸움이 이어지는 긴 정치적 과정으로 변해버린다.

그 결과 대기업의 특징은 책임지지 않는 비즈니스 리더십으로 귀결된다. 페퍼드가 비판하는 지점도 바로 여기다. 기술 결정에 대한 책임을 지지 않거나 그럴 의사가 없는 리더를 대신해 문제를 해결할 수 있는 IT 부서는 없다.

두 번째 IT 세계는 중소기업 환경이다. 이곳에는 조직을 지키려고 애쓰는 CIO도 없고, 혁신을 가로막는 CFO도 없으며, 모든 결정을 늦추는 아키텍처 심의 위원회도 존재하지 않는다. 설립자와 소유주가 직접 기술 결정을 내리며, 현금 흐름과 고객 유지, 성장 목표를 누구보다 현실적으로 인식하고 있다. 이들은 가능한 한 많은 업무를 외부에 맡기고, SaaS를 적극적으로 도입하며, 불필요한 IT 관료주의로 인한 부담을 겪지 않는다. 그럼에도 불구하고 ERP 프로젝트는 여전히 실패하고, CRM 도입은 기대에 못 미치며, 시스템 통합은 현실의 복잡성 앞에서 무너진다. 의사결정 주체만 달라졌을 뿐, 문제의 양상은 대기업과 크게 다르지 않다.

정반대의 거버넌스 모델을 가진 두 세계가 같은 결과를 겪고 있다면, 문제의 원인은 IT에 있지 않을 가능성이 커진다. IT가 부족해서가 아니다. 핵심은 IT가 아니라, 조직이 당면한 과제를 해결하는 데 필요한 역량에 접근할 수 있느냐다. 페퍼드의 주장처럼, 그리고 다수의 중소기업이 이미 체감하고 있듯이 네트워크, 단말, 인증 체계, 백업, 사이버보안 등 ‘항상 유지해야 하는’ 제품은 외주화하거나 자동화하고, 표준화하거나 서비스 형태로 소비할 수 있다.

그러나 데이터 전략과 AI 준비도, 디지털 제품 관리, 운영 모델 재설계, 고객 경험 혁신 등 비즈니스 경쟁력과 직결된 역량은 전통적인 IT 영역 안에 자연스럽게 자리 잡기 어렵다. 이는 기술을 이해하는 비즈니스 전략가와 비즈니스를 이해하는 기술자가 함께할 때 비로소 제대로 작동한다.

이 때문에 페퍼드는 기술 지식을 특정 부서에 가둬두는 방식이 아니라, 조직 전반에 내재화해야 한다고 주장했다. 이는 안정성과 보안, 연속성 측면에서는 뛰어난 역량을 지닌 전통적인 IT 전문가들이 혁신 랩을 운영하거나 데이터 과학팀을 이끌고 고객 중심의 디지털 경험을 설계하는 역할을 맡을 때 어려움을 겪는 이유이기도 하다. 서로 다른 성격의 업무이며, 각각 다른 역량과 보상 체계, 운영 모델을 요구한다.

리스크를 높이고 격차를 드러내는 AI

CEO의 기대감에 이끌려, 많은 조직이 AI가 비즈니스를 근본적으로 바꿀 것이라는 믿음으로 서둘러 도입에 나서고 있다. 그러나 IBM 기업가치연구소의 2025년 CEO 조사에 따르면 전체 AI 프로젝트의 60%는 여전히 파일럿 단계에 머물러 있다. 이때 최고데이터책임자는 데이터 품질과 거버넌스, 명확하지 않은 사용례를 주요 걸림돌로 꼽는다. 이런 문제의 원인은 IT가 아니다. 리더십과 전략, 조직 역량의 문제다. 비즈니스 리더가 AI 사용례를 정의하거나 기술 투자를 평가할 역량을 갖추지 못했을 때, 반응은 쉽게 예상할 수 있다. 결정권을 IT에 넘기고, IT가 본래의 방식대로 움직이면 결과에 불만을 제기하는 것이다.

이런 격차를 해소하려면 기업에는 크게 3가지 변화가 필요하다. 이는 IT 부서를 없애자는 이야기가 아니라, IT의 역할과 목적을 다시 정의하는 데 초점을 맞춘다.

1. ‘항상 유지해야 하는’ IT 요소를 유틸리티처럼 다뤄야 한다. 즉, 전기처럼 안정적이고 효율적이며 예측 가능하게 운영돼야 한다. 범용 서비스는 논쟁의 대상이 아니라 관리의 대상이다. 경쟁 우위를 만들어주지는 않지만, 이것이 없으면 비즈니스는 즉시 마비된다.

2. 디지털과 AI 역량은 전통적인 IT 영역 밖에서 구축한다. 애자일 제품팀과 데이터 거버넌스, 분석, 혁신 관련 팀은 비즈니스 모델이 형성되는 지점, 즉 매출, 고객 경험, 운영과 훨씬 가까운 곳에 있어야 한다.

3. 기술 성과에 대한 책임을 비즈니스 리더가 져야 한다. 기술 투자는 곧 비즈니스 투자다. IT 부서에 단순한 프로젝트 수행 과제로 넘길 일이 아니다. 이는 IT 부서를 가치 창출의 공동 설계자가 아닌 공급자로만 규정해 온 잘못된 파트너십 모델을 끝내야 한다는 페퍼드의 주장과 일치한다. 중소기업에서는 이러한 책임 구조가 이미 작동하고 있다. 대기업에서는 이를 새로 만들어야 한다.

물론 이러한 인식 전환이 곧바로 IT 부서의 책임을 줄이지는 않을 것이다. 부실한 프로세스 설계와 취약한 데이터 거버넌스, 비현실적인 기대치, 벤더 관리 실패로 인한 문제에서 IT 부서는 여전히 책임을 떠안게 될 가능성이 크다. IT는 실망이 교차하고 증상이 드러나는 유일한 지점이기 때문에, 근본 원인이 다른 곳에 있더라도 손쉽게 희생양이 될 수 있다.

카가 20여 년 전 주장한 내용처럼 IT 하드웨어와 인프라는 범용재가 됐다. 또한 디지털 가치를 창출하기 위해 IT의 역할을 재고해야 한다는 점에서 페퍼드와 모커의 지적도 타당하다. 그러나 더 근본적인 진실은 기술 자체가 실패하는 것이 아니라, 기업이 기술이 성공할 수 있는 환경을 만들지 못하고 있다는 점이다.
dl-ciokorea@foundryco.com