기업 AI 도입을 가로막는 5가지 장애물

기업 전반의 생산성을 높이기 위한 방안으로 인공지능(AI), 특히 생성형 AI에 대한 관심이 높아지고 있다. 그러나 AI가 실제로 성공을 거두기까지는 여러 장벽이 존재한다.

IT 리더들이 이러한 문제를 조기에 인식하고 극복할수록 AI 기반 시스템에서 더 큰 가치를 빠르게 이끌어낼 수 있다. 다음은 기업이 반드시 극복해야 할 주요 장애물과 이를 해결하기 위한 IT 리더들의 접근 방식을 정리한 내용이다.

1. 낮은 데이터 품질

레노버와 IDC가 공동으로 실시한 설문에 따르면, 전 세계 IT 및 비즈니스 의사결정권자 2,920명을 대상으로 조사한 결과, 데이터 품질 문제는 AI 프로젝트가 기대에 미치지 못하는 가장 큰 원인으로 나타났다.

이에 대응하기 위해 응답자의 3분의 1은 자사 조직이 데이터 관리 역량을 우선적으로 강화할 계획이라고 밝혔다.

디지털 뱅킹 기업 앨라이파이낸셜(Ally Financial)의 최고 정보∙데이터∙디지털 책임자인 사티시 무투크리슈난은 이 문제 해결을 위해 사일로 구조를 해체하고 데이터 거버넌스를 강조하고 있다. 그는 “AI는 처리하는 데이터에 크게 의존하기 때문에, 데이터의 광범위한 활용과 관련된 도전과 위험을 철저히 관리하고 있다”라고 설명했다.

무투크리슈난은 또한 “전체 데이터의 98%를 중앙 집중형 클라우드 네이티브 데이터베이스에 통합함으로써 데이터의 힘을 최대한 활용할 수 있도록 했다”라며 “배포 전 강력한 데이터 보안, 고객 프라이버시 보호, 모델 리스크 검토, 그리고 결과의 지속적인 모니터링을 위한 프로세스를 마련했다”라고 전했다.

AI 컨설팅 기업 해킷그룹(The Hackett Group)의 수석부사장 존 톰슨은 ““데이터 품질 문제는 실제로 AI 도입을 가로막는 현실적인 장애물이며 중요한 우려 사항”이라며 “다만 이 문제는 트랜잭션이나 분석 환경에서 흔히 논의되는 전통적인 데이터 품질 이슈보다 훨씬 더 큰 범위의 과제”라고 말했다.

톰슨은 “생성형 AI 환경에서는 조직의 데이터, 문서, 영상, 정책, 절차 등 사실상 100%의 정보 자산이 실시간으로 활용 가능하다”라며 “그 수준은 전사적자원관리(ERP)나 고객관계관리(CRM) 시스템에서 다루는 데이터 품질 문제보다 훨씬 더 크고 복잡한 이슈”라고 설명했다.

톰슨은 “생성형 AI에 맞는 데이터 품질 문제를 해결하기 위해서는, AI 도입 전에 데이터를 정제하려고 하기보다, 정보를 먼저 생성형 AI에 입력한 뒤 이를 적극적으로 탐색하고 질의하며 프롬프트를 활용해 어떤 정보가 정확하고 최신인지, 반대로 어디에 정확성, 관련성, 명확성이 부족한지를 찾아야 한다”라고 설명했다.

여기에 그는 “생성형 AI는 정보 개선이 필요한 부분을 식별하는 도구”라며 “이 과정을 제대로 수행하는 방법은 생성형 AI를 먼저 도입한 뒤 데이터 품질을 어떻게 개선할지 파악하는 것이지, 그 반대가 아니다”라고 강조했다.

2. 내부 전문성 부족

2025년 3월, 미국의 전문역량 개발 기관인 아메리칸매니지먼트협회(American Management Association)는 북미 지역 전문가 1,100여 명을 대상으로 설문을 진행했다. 그 결과, 응답자의 57%가 “AI의 발전 속도를 따라가지 못하고 있다”고 답했으며, 실제 AI 관련 교육을 받은 비율은 절반에도 못 미치는 49%에 불과했다.

무투크리슈난은 “조직은 직원들이 AI의 역량과 한계를 이해할 수 있도록 교육과 훈련을 위한 인프라를 갖춰야 한다”라고 조언했다. 그는 “적절한 교육 없이는 AI의 도입과 활용이 기대한 성과로 이어지기 어렵다”며 “AI는 우리 세대에서 가장 큰 기술 혁신 중 하나라고 생각하지만, 이를 일상 업무에 통합하는 일은 매우 큰 변화관리 과제”라고 설명했다.

앨라이는 전사 구성원이 책임감 있게 AI를 활용할 수 있도록 필수 교육을 제공하고, AI 활용 가이드북, AI 이해도를 높이기 위한 단기 교육 과정, 그리고 전사 대상의 ‘AI 데이’와 같은 학습 프로그램을 운영했다.

톰슨은 “역량 격차는 앞으로 더 커질 것”이라며 “지금이 바로 시작해야 할 때”라고 강조했다. 그는 “당장 자신의 팀부터 시작할 수 있다. 테스트 사례를 실습하게 하고, 개인 프로젝트나 열정 프로젝트에 AI를 적용해보게 하라. 모두가 수업을 듣기만 하는 방식은 오히려 역량 격차 해소를 늦추는 길이다. 생성형 AI는 누구나 접근할 수 있는 도구이며, 이 접근성을 활용해 실습 중심의 학습 기회를 제공해야 한다”고 조언했다.

톰슨은 ‘경험은 강의를 듣는 것보다 훨씬 더 훌륭한 스승’이라는 표현을 썼는데, 그는 “생성형 AI 환경을 구축하고, 모든 직원이 6개월에서 1년간 자유롭게 활용할 수 있도록 해보라. 직원들은 단일 강의는 물론 여러 강의를 듣는 것보다 훨씬 많은 것을 배우게 될 것”이라며 “물론 교육 자체가 불필요하다는 뜻은 아니다. 여전히 강의는 필요하다. 하지만 직원들이 직접 생성형 AI 환경을 다루기 시작하면, 역량 격차가 하루하루 줄어드는 것을 체감하게 될 것”이라고 조언했다.

SAP 아메리카의 최고 AI 책임자인 자레드 코일은 “조직은 적절한 AI 활용 사례를 식별할 수 있는 내부 전문가와, 다른 조직의 AI 활용 경험을 갖춘 외부 인재를 함께 배치하는 데 주력해야 한다”고 조언했다. 그는 “내부 지식은 기존 시스템과 프로세스에 AI를 통합하는 데 필수적이며, 외부 인재는 최신 AI 기술을 효과적으로 활용하고 시스템을 안정적으로 운영하는 데 도움을 줄 수 있다”라고 설명했다.

3. 리소스를 확보할 수 있는 활용 사례 발굴의 어려움

대부분의 기업은 AI나 생성형 AI와 직접 관련 없는 우선순위 과제를 이미 다수 갖고 있다. 이러한 환경에서 IT 리더가 AI 프로젝트를 추진하려면 예산, 인력, 경영진의 관심 등 다양한 자원을 확보할 수 있는 설득력 있는 비즈니스 사례를 제시해야 한다.

아웃소싱 기업 태스크어스(TaskUs)의 최고정보책임자 찬드라 벤카타라마니는 “AI가 불필요한 복잡성을 더하지 않으면서 실질적이고 측정 가능한 가치를 창출할 수 있는 비즈니스 사례를 찾는 일이 가장 큰 과제 중 하나”라고 말했다.

여기에 벤카타라마니는 “생성형 AI의 흐름에 휩쓸리기 쉬운데, 진정한 성공은 이러한 유혹을 뿌리치고 생산성 향상, 의사결정 강화, 핵심 업무 흐름 간소화 등 기술이 내부 역량을 보완할 수 있는 영역에 집중할 때 이뤄진다”라고 설명했다. AI 프로젝트를 시작하기 전에는 비용 절감, 속도 향상, 사용자 경험 개선 등 명확한 목표를 먼저 설정하는 것이 필수라는 점도 강조했다.

벤카타라마니는 “우선순위 간 경쟁도 큰 도전 과제”라며 “고성장 중심, 고객 중심 기업으로서 IT 자원에 대한 수요가 끊임없이 존재한다. 결국 AI 프로젝트는 예산, 인재, 경영진의 관심을 두고 다른 과제와 경쟁해야 하며, 이때 전략적 정렬이 핵심”이라고 덧붙였다.

태스크어스는 AI 프로젝트를 특정 부서가 단독으로 추진하지 않고 전사적으로 공동 책임을 지는 구조로 운영하고 있다. 이 방식은 기술적으로 실행 가능한 투자를 추구하는 동시에 투자 수익률을 명확히 이해하는 사업 리더들이 프로젝트를 주도하도록 돕는다.

그는 “가드레일을 갖춘 실험 지향 마인드를 갖추고, 신중한 파일럿 프로젝트와 명확한 KPI(핵심성과지표), 피드백 루프를 설정해 시행하고 있다”며 “이런 접근법 덕분에 실효성이 검증되지 않은 솔루션에 과도하게 투자하는 일을 피할 수 있었고, 단기적 유행보다 장기적 가치에 집중할 수 있었다”고 밝혔다.

해킷그룹의 톰슨은 “비즈니스 사례나 활용 사례, 우선순위 경쟁은 우리 커리어 초기부터 계속된 과제”라며 “생성형 AI가 특히 유리한 점은 대부분의 문제에 적용 가능하다는 점이다. 최고경영진(C-suite)이 가장 고민하는 전략적 이슈부터 시작하는 것이 좋다”고 조언했다. 그는 “활용 사례에 시간을 너무 오래 들이지 말고 당장 뛰어드는 것이 중요하다. 지금이 바로 차이를 만들 수 있는 때”라고 강조했다.

4. 노후화된 레거시 시스템

효율성을 높이고 고객 및 임직원 서비스 품질을 향상시키기 위한 디지털 전환 프로젝트는 많은 기업이 추진 중이다. 그러나 아직 전환을 시작하지 않았거나 속도가 느린 기업은 AI 도입을 위해 이를 우선 과제로 삼아야 한다. 구형 레거시 시스템과 애플리케이션은 AI 성공을 가로막는 잠재적 장애물이 될 수 있기 때문이다.

과거 저장 비용 문제로 제한된 데이터만을 저장하도록 설계된 수십 년 된 애플리케이션은 최신 AI 도구와 쉽게 통합되지 않으며, 일부는 AI 도입을 사실상 차단하고 있기도 하다.

SAP 아메리카의 코일은 “단순히 최신 LLM(대규모언어모델)이나 레이크하우스 기술을 붙여 놓는다고 성공이 보장되지는 않는다”며 “AI에 대한 열정도 중요하지만, 진짜 핵심은 집중력이다. 충분한 자원 없이 무작정 많은 프로젝트를 시작해서는 안 된다”고 경고했다.

배송 및 물류 서비스 기업 베호(Veho)의 공동 설립자 겸 CTO 프레드 쿡(Fred Cook)은 “우리는 배송 경로 구축과 요금 책정, 배송 품질 개선 등에 AI와 머신러닝을 적극적으로 활용하고 있다”고 밝혔다. 그러나 AI 도구를 최대한 활용하기 위해 시스템 전면 개편이 먼저 필요했다.

그는 “2017년에 구축한 기존 플랫폼은 전반적으로 불안정했으며, 이에 따라 2023년 말부터 2024년 전반에 걸쳐 모든 핵심 시스템을 재구축했다. 개편된 시스템이 도입되자 AI 애플리케이션 통합이 훨씬 수월해졌고, 이후 AI 실험 속도가 크게 빨라졌다”고 설명했다.

베호는 고객지원 AI 에이전트, 배송기사 파트너 지원 AI 에이전트, 클라이언트 지원 AI 에이전트 등을 포함해 다양한 활용 사례로 시작했다. “알림, 데이터 파싱, 다양한 택배 단계의 품질관리 등 기존에는 수작업으로 진행하던 업무를 간소화하기 위한 간단한 AI 에이전트도 구축했다”고 전했다.

AI 인프라 구축과 관련된 또 다른 장벽은 높은 비용이다. 시스템 통합, 맞춤형 소프트웨어 개발, API 생성, 레거시 시스템 업그레이드 등 IT 현대화 수준에 따라 다양한 비용이 발생할 수 있다.

5. 직원의 사보타주(방해 행위)

2025년 생성형 AI 서비스 기업 라이터(Writer)와 독립 리서치 기관 워크플레이스인텔리전스(Workplace Intelligence)가 공동 진행한 조사에 따르면, C레벨 임원 800명과 일반 직원 800명 등 총 1,600명의 지식근로자 중 31%가 “조직의 AI 프로젝트를 의도적으로 방해한 적이 있다”고 답했다.

교육 서비스 및 기술 기업 스킬소프트(Skillsoft)의 최고정보책임자 오를라 데일리는 “이 같은 사보타주는 AI 이니셔티브를 무력화시키고, 자원 낭비와 기회 손실로 이어질 수 있는 심각한 문제”라고 지적했다.

데일리는 “AI에 대한 방해 행위는 종종 일자리 상실에 대한 불안, AI의 혜택에 대한 오해, 변화에 대한 저항에서 비롯된다”며, “조직은 내부 구성원의 우려를 충분히 이해하려는 노력을 기울이고, 지속적인 학습 문화를 조성하며, AI 도입에 직원을 적극적으로 참여시켜 변화에 대한 기대감을 유도해야 한다”고 설명했다.

그녀는 또, 조직 내에서 AI 도입을 지지하고 앞장설 수 있는 인물을 식별하고, AI가 어떻게 직원 경험을 개선할 수 있는지 구체적인 사례를 통해 공유하는 것이 효과적이라고 강조했다. 예를 들어, 행정 업무에 들이는 시간을 줄이고 고객 응대에 더 많은 시간을 투자할 수 있는 방식이 대표적이다.

데일리는 “이 과정에서 가장 중요한 건 효과적인 리더십”이라고 전했다. 리더는 AI에 대한 이해를 갖고, 기술이 인재와 조직 내 역할에 어떤 긍정적 영향을 주는지 명확히 설명할 수 있어야 하며, 이는 기술적 역량뿐 아니라 커뮤니케이션 능력과 리더십까지 종합적으로 요구된다고 설명했다. 그녀는 “직원들이 조직의 리더가 실제 AI를 업무에 활용하고, 명확한 활용 사례와 성과를 직접 보여주는 모습을 보면, AI에 대한 두려움이 흥미와 호기심으로 바뀌게 된다”고 덧붙였다.

jihyun.lee@foundryco.com