일문일답 | “AI 프로젝트 실패의 핵심은 기술이 아닌 사람과 계획” AI 전략가가 말하는 성공 조건

컨설팅 기업 KG&Co의 CEO 키런 길머리는 최근 글로벌 B2B 네트워킹 플랫폼 팅커스360에서 ‘2025년 에이전틱 AI 분야를 대표하는 50인’에 선정됐다. 그는 CIO, CTO, 최고 AI 책임자를 거친 디지털 전환 전문가로, 지난 20여 년간 글로벌 기업의 자동화·데이터·AI 프로젝트를 이끌어왔다.

베스트셀러 작가이자 영국 내 AI 전략과 지능형 자동화 분야의 대표적인 전문가로 꼽히는 길머리는 복잡한 기술을 구체적인 비즈니스 성과로 연결하는 능력으로 잘 알려져 있다. 그의 연구와 활동은 기업이 단순한 실험 단계를 넘어 실제 운영 효과를 거둘 수 있도록 돕는 데 초점을 맞추고 있으며, 혁신과 윤리, 거버넌스의 균형을 중시한다.

이번 인터뷰에서 그는 AI 프로젝트가 확장에 실패하는 원인과 리더들이 비즈니스와 기술의 간극을 좁히는 방법, 그리고 혁신적 CIO가 AI를 ‘과열된 유행’이 아닌 ‘실질적 성과’로 전환하기 위해 지금 무엇을 해야 하는지를 짚었다.

Q: 많은 기업이 AI에 막대한 투자를 하고 있지만, 실제로 의미 있는 ROI(투자수익률)를 달성하는 곳은 많지 않다. AI 프로젝트가 확장에 실패하는 가장 큰 이유는 무엇이라고 보는가?
A: 대부분의 AI 프로젝트가 어려움을 겪는 이유는 기술 그 자체가 아니라 두려움, 무지, 그리고 부실한 실행 때문이다. 가장 근본적인 문제는 많은 기업이 ‘AI를 위한 AI’를 시작한다는 점이다. 해결해야 할 명확한 비즈니스 과제나 얻을 수 있는 구체적 이익, 성공을 측정할 기준 없이 ‘개념 증명(Proof of Concept)’ 실험에 빠져든다. 나는 이를 ‘Proof of Cost(비용 증명)’이라고 부른다.

비즈니스 목표와의 긴밀한 정렬이 없다면, AI 프로젝트는 연구실을 결코 벗어나지 못한다. 여기에 데이터 품질 저하, 거버넌스나 교육의 부재, 경영진의 미온적 지원, 변화관리 프로그램 부재, 법무·리스크·컴플라이언스 부서의 초기 미참여, 그리고 비즈니스와 IT 간 협업 부족 등이 문제를 더욱 악화시킨다.

AI 프로그램이 실패하는 이유는 이미 널리 알려져 있다. 놀랄 일은 거의 없다. 하지만 여전히 많은 기업이 ‘놓칠까 두려워(FOMO)’ 성급히 AI를 도입하거나 기본 원칙을 무시한 채 가치를 얻지 못하는 모습을 보면 놀랍다.

AI를 성공적으로 확장하려면 다른 전략적 과제와 동일한 수준의 엄격함이 필요하다. 명확한 비전, 결과에 책임지는 비즈니스 오너(이상적으로는 임원급), 고품질 데이터, 그리고 적절한 성과 지표가 그것이다.

작게 시작하라. 빠르게 가치를 증명하고, 그 실질적 성과를 기반으로 신뢰와 추진력을 쌓으며 확장하라.

Q: 기업이 지능형 자동화(Intelligent Automation)와 머신러닝 프로젝트를 실험 단계에서 실제 운영 단계로 전환하기 위해서는 무엇이 필요할까?
A: 대부분의 기업은 ‘파일럿에서 실제 운영으로 넘어가는 과정’에서 멈춘다. 새로운 기술의 신기함을 좇느라, 측정 가능하고 실질적인 비즈니스 가치를 추구하지 못한 채 실험 단계에 너무 오래 머문다.

이 단계를 넘어가기 위해서는 구조화된 접근이 필요하다. 일정 기간 내 실현 가능한 고임팩트 비즈니스 사례 한두 개를 선정하고, 명확한 성공 지표를 정의한 뒤 빠르게 운영 단계로 옮겨야 한다. 그렇게 해야 자신감과 ‘디지털 근육’을 기를 수 있다.

기술 전문성과 비즈니스 통찰을 함께 갖춘 크로스펑셔널 팀을 구성하고, 처음부터 확장성을 염두에 둬야 한다. 재사용 가능한 모델과 코드, 표준화된 데이터 파이프라인, 견고한 거버넌스 체계를 설계 초기 단계부터 포함해야 한다.

AI를 실험에서 실제 운영으로 옮기는 일은 결국 원칙과 절차를 얼마나 꾸준히 지켜내느냐의 문제다. 반복 가능한 프로세스, 지속적인 개선, 타당한 비즈니스 케이스, 그리고 명확한 책임 구조가 필수적이다.

조직이 무의미한 테스트나 ‘반짝이는 AI 실험’에 매달리는 대신, 실제 가치 창출에 집중할 때 AI는 더 이상 주의 분산 요소가 아니라, 기업 운영의 일상적 일부가 된다.

Q: ‘비즈니스와 기술의 간극을 좁히는 것’고 말씀하신 바 있다. 리더가 AI 전략을 실제 비즈니스 성과와 정렬시키기 위해 어떤 실천이 필요하다고 보는가?
A: 그 간극을 좁힌다는 것은 결국 모두가 같은 언어를 말하게 하는 일이다. 기술팀은 모델과 알고리즘을 이야기하고, 비즈니스 리더는 고객과 결과를 이야기한다. 성공적인 조직은 이 두 세계를 하나로 묶는다.

모든 AI 프로젝트는 반드시 구체적이고 실질적인 비즈니스 문제를 중심에 두어야 한다. 고객, 직원, 매출, 효율성 등 기업의 핵심 성과에 직접적인 영향을 미치는 과제를 선택해야 한다. 데이터 과학자와 비즈니스 책임자가 함께 참여하는 크로스펑셔널 팀을 구성하고, 협업을 ‘사후적 조치’가 아닌 일상적 업무로 만들어야 한다.

또한 리더는 스토리텔링에 집중해야 한다. AI가 고객 경험과 기업 전략을 어떻게 뒷받침하는지를 모두가 이해할 수 있는 명확하고 실용적인 언어로 설명해야 한다. 구성원들이 AI를 기술적 실험이 아니라 비즈니스 성과의 동력으로 인식할 때, 자연스럽게 수용과 투자가 뒤따른다.

덧붙이자면, 비즈니스 리더들이 IT를 더 이해하려 노력하고, IT팀도 손익계산서(P&L)를 읽는 법을 배워야 한다고 생각한다. 기업에는 여러 언어가 존재하지만, 서로의 세계를 이해하려는 시간이 없으면 혼란과 불만, 낭비만 남는다. 오늘날 기업에는 내부 갈등을 벌일 여유가 없다.

Q: 데이터 품질, 프라이버시, 거버넌스 문제는 여전히 효과적인 AI 도입의 걸림돌로 꼽힌다. 이를 개선하기 위해 가장 중요한 프레임워크나 문화적 변화는 무엇이라고 생각하는가?
A: 기술만으로는 잘못된 데이터 관행을 고칠 수 없다. 승리하는 기업을 만드는 진짜 차이는 ‘문화’에 있다. 데이터를 기술적 부산물이나 사후적 고려사항이 아닌, ‘전략적 자산’으로 다루는 문화 말이다. 이는 IT 부서만이 아니라 조직 전체 구성원이 데이터의 소유권, 품질, 투명성, 보안, 프라이버시에 대해 공동의 책임을 져야 함을 의미한다.

무엇보다 올바른 질문부터 던져야 한다.
• 우리는 어떤 데이터를 보유하고 있는가?
• 그 데이터는 얼마나 완전한가?
• AI가 활용할 수 있는 형태로 수집되고 있는가?

이런 근본적인 질문이 출발점이 돼야 한다. 또한 DAMA 같은 검증된 데이터 관리 프레임워크를 도입하거나, OECD AI 원칙 등 글로벌 표준에 맞춰 운영 방식을 정렬하는 것이 도움이 된다. 이는 윤리적이면서도 효과적인 데이터 관리를 위한 탄탄한 기반을 마련한다.

문화적으로는 서로 다른 언어를 사용하는 법무, IT, 컴플라이언스, 비즈니스 운영 부서 간의 협업을 장려해야 한다. 이들이 함께 ‘정확하고, 안전하며, 신뢰할 수 있는 데이터’를 유지할 때 AI 프로젝트의 성공 가능성은 훨씬 높아진다.

좋은 거버넌스는 속도를 늦추는 것이 아니다. 오히려 지속 가능한 성장을 가능하게 만든다.

Q: 생성형 AI가 점점 더 쉽게 접근 가능한 기술이 되면서, CIO와 CTO는 어떤 활용 사례를 선택하고 어떤 것은 피해야 할까?
A: 지금의 가장 큰 유혹은 ‘새롭고 반짝이는 것’을 모두 따라가는 것이다. 요즘 그 대상은 단연 생성형 AI다.

하지만 성공적인 비즈니스 리더들은 단 한 가지 질문부터 던진다. “우리가 해결하려는 비즈니스 문제는 무엇인가?”

그들은 효율성을 높이거나, 새로운 고객 경험을 창출하거나, 측정 가능한 가치를 만들어내는 활용 사례에 우선순위를 둔다. 반대로, 위험이 높거나 정의가 불명확하며, 실질적인 비즈니스 근거가 없거나, 기업이 통제할 수 없는 데이터에 의존하는 프로젝트는 피한다. 특히 민감한 정보나 편향 가능성이 실제 피해로 이어질 수 있는 영역에서는 더욱 신중해야 한다.

CIO와 CTO는 또한 생성형 AI를 ‘모든 곳에 적용해야 한다’는 충동을 경계해야 한다. 생성형 AI는 만능 해법도, 마법 같은 해결책도 아니다. 인간의 사고를 보완하고, 복잡한 프로세스를 단순화하며, 의미 있는 인사이트나 자동화를 실현하는 사례에 집중해야 한다.

철저하게 파일럿을 진행하고, 실제 효과를 측정하며, 실무에서 검증된 것만 확장하라. 그것이 생성형 AI 시대에 CIO와 CTO가 성공적으로 균형을 잡는 길이다.

Q: AI 윤리와 규제 준수에 대한 우려가 커지고 있다. 혁신과 책임 있는 AI 도입을 어떻게 균형 있게 추진할 수 있을까?
A: ‘책임 있는 AI(Responsible AI)’는 사후 대응이 아니라 ‘거버넌스에서 시작’해야 한다. 데이터 수집부터 모델 배포까지 AI 생애주기의 모든 단계에 윤리적 가이드라인을 내재화해야 한다. 책임성과 투명성을 설계 원칙의 일부로 포함시키는 것이 핵심이다.

혁신과 책임의 균형은 속도를 늦추는 것이 아니라, 신뢰를 구축하는 일이다. 직원과 고객은 자신이 이해하고 신뢰하는 기술을 훨씬 더 적극적으로 받아들이고 지지한다.

이를 위해 기업은 윤리위원회를 구성하고, 위험 요소에 대한 열린 논의를 장려하며, 팀이 윤리적 문제를 조기에 인식할 수 있도록 ‘책임 있는 AI 교육’에 투자해야 한다. 또한 구성원들이 제기한 윤리적 질문에 신속하고 명확하게 대응할 수 있는 체계적 메커니즘을 만들어야 한다.

AI 프로그램을 처음부터 윤리와 투명성을 기반으로 설계하면, 이후에는 불필요한 문제를 수습하느라 시간을 낭비하지 않아도 된다. 처음의 정직한 설계가 미래의 속도를 만든다.

Q: 자동화는 종종 비용 절감 수단으로 인식된다. ‘지능형 자동화’는 인력 혁신과 생산성 측면에서 어떤 의미가 있는가?
A: 지능형 자동화는 사람을 대체하는 것이 아니라, 사람을 ‘고도화’하는 것이다. 반복적이고 가치가 낮은 업무를 제거해 직원이 창의성, 전략, 고객 관계 등 진정한 가치를 창출하는 일에 집중할 수 있도록 돕는다.

진정한 생산성 향상은 자동화와 인간의 판단이 결합될 때 발생한다. AI가 반복적인 업무를 처리하고, 사람이 혁신과 사고에 집중할 때 조직은 더 빠르고, 더 똑똑하며, 더 유연해진다.

이를 실현하려면 기업은 인력 재교육에 적극적으로 투자해야 한다. 또한 리더는 말뿐 아니라 실제 행동으로, 자동화가 ‘위협’이 아닌 ‘협력자’임을 직원들에게 보여줘야 한다.

사람이 대체되는 것이 아니라 ‘역량이 확장되고 있다’고 느낄 때, 생산성과 사기는 함께 높아지고 기업의 성과는 10배로 커진다.

Q: 오늘날 클라우드 플랫폼과 오픈소스 생태계는 기업의 AI 도입을 가속화하는 데 어떤 역할을 하고 있나?
A: 클라우드와 오픈소스 생태계는 기업 간의 경쟁 환경을 평준화하고 있다. 클라우드 플랫폼은 대규모 초기 투자 없이도 확장 가능하고 유연한 인프라를 제공해, AI 솔루션을 빠르게 실험하고 배포하며 확장할 수 있게 한다.

한편 오픈소스 생태계는 협업과 혁신을 촉진한다. 기존의 모델과 코드를 기반으로 새로운 가치를 빠르게 구현할 수 있게 하며, 결과적으로 비즈니스 성과로 이어지는 시간을 단축시킨다.

이 두 요소가 결합되면 과거 기업의 AI 도입을 가로막던 마찰과 장애물이 크게 줄어든다.

대부분의 조직에게 속도의 비결은 바로 이 조합에 있다. 중요한 것은 처음부터 모든 것을 새로 만드는 것이 아니라, 이미 검증된 기술을 통합하고, 적응하며, 이전보다 더 빠르게 가치를 전달하는 것이다.

Q: 데이터 과학자, 엔지니어, 비즈니스 부서 간의 협업을 강화해 AI 솔루션이 지속적인 가치를 창출하도록 하려면 IT 리더는 무엇을 해야 할까?
A: 협업은 ‘공유된 책임감(shared ownership)’에서 시작된다. 데이터 과학자와 엔지니어는 기술적 역량을, 비즈니스 팀은 맥락과 목적을 제공한다. 이 두 관점을 일치시킬 때 AI는 측정 가능하고 장기적인 비즈니스 가치를 만들어낸다.

부서 간 벽을 허물고, 명확한 목표를 중심으로 협력하는 통합형 협업 팀을 구성해야 한다. 또한 자주 소통하고, 성과 지표를 공유하며, 투명한 보고 체계를 마련해야 한다. 비즈니스 사용자가 설계 과정에 직접 참여할 때, 결과에 대한 신뢰가 생기고 자연스럽게 도입 속도도 빨라진다.

리더십의 역할도 결정적이다. 기술적 완벽함보다 협업과 문제 해결을 장려하는 문화를 조성해야 한다.

AI의 목표는 ‘가장 복잡한 모델’을 만드는 것이 아니라, ‘가장 유용한 모델’을 만드는 데 있다.

Q: 마지막으로, 향후 5년간 AI와 자동화 분야에서 가장 주목할 만한 트렌드는 무엇이며, 기업은 이를 어떻게 준비해야 할까?
A: 앞으로 다가올 ‘10배 성장’을 이끌 핵심은 ‘에이전틱 AI’의 부상이다. 에이전틱 AI는 스스로 사고하고, 자율적으로 행동하며, 다른 AI 에이전트와 협력할 수 있는 시스템으로, 단순한 업무 자동화를 넘어 ‘비즈니스 의사결정’ 자체를 자동화하게 될 것이다. 이는 기업 운영 방식을 근본적으로 바꿔놓을 것이다.

또 하나 주목할 점은 AI가 양자컴퓨팅, 엣지 AI, 디지털 트윈 등 차세대 기술과 융합하고 있다는 사실이다. 이러한 기술들이 결합되면 속도, 통찰력, 혁신, 생산성, 개인화, 비즈니스 민첩성 등 모든 차원에서 ‘가능성의 정의’가 새로 쓰이게 될 것이다.

기업은 지금부터 강력한 거버넌스 체계, 윤리적 AI 프레임워크, 데이터 품질, 인력의 역량 개발에 투자해야 한다. 미래는 단순히 ‘최신 기술 유행(FOMO)’을 좇는 기업이 아니라, 신뢰와 투명성, 혁신을 함께 구축하는 기업의 것이 될 것이다.
dl-ciokorea@foundryco.com