“AI가 실용 단계에 접어든 해” 2025년 IT 리더가 꼽은 핵심 교훈 10가지

올해 CIO 의제를 주도한 기술은 의심의 여지 없이 AI였다. 이 때문에 IT 리더는 한 해 동안 AI 기술과 활용 방식, 그리고 이를 통해 어떻게 최대의 비즈니스 가치를 끌어낼 수 있을지를 고민했다.

다만 IT 리더들은 2025년을 돌아보며 기술적인 교훈을 많이 언급하지 않았다. 그보다 AI가 기술을 넘어 리더십과 조직, 구성원, 사회 전반에 어떤 변화를 가져왔는지에 더 집중했다. CIO 8명이 올 한 해 동안 얻은 중요한 교훈 10가지를 소개한다.

1. “2025년은 AI가 실용성을 갖춘 해”

CIO는 수년간 AI 실험과 파일럿 프로젝트를 진행해 왔지만, 다수의 연구에서 확인되듯 상당수가 실제 성과로 이어지지 못했다. 그러나 북미노동자국제연합(LIUNA)의 CIO 매튜 리처드는 2025년을 AI, 특히 생성형 AI가 본격적으로 제 역할을 하기 시작한 해로 평가하며 “AI가 실질적으로 유용해진 해”라고 언급했다.

그는 지난 1년간 벤더가 제공한 엔터프라이즈 AI 도구를 검토한 결과, 매우 흥미롭고 완성도가 높아졌으며 최종 사용자가 이전보다 훨씬 생산적인 방식으로 일할 수 있도록 돕고 있다고 설명했다.

또한 2025년 한 해 동안 AI 도구가 매우 빠른 속도로 발전하면서, 연초에는 상상하기 어려웠던 이니셔티브까지 추진할 수 있게 됐다. 그는 “도구가 진화하면서, 정보를 얻고 이를 복잡하지 않은 방식으로 사용자에게 바로 제공할 수 있는 새로운 방법이 생겼다”라고 말했다.

대표적인 사례에는 LIUNA의 IT팀이 개발한 AI 기반 제품을 있다. 이 제품은 새로 체결된 노조 계약서에서 정보를 추출한 뒤, 과거 및 현재 데이터를 기준으로 분석해 계약 조건이 기준과 기대치에 부합하는지를 검증한다. 현재 이 제품은 파일럿 단계에 있으며, 사람이 직접 활용하기는 사실상 어려운 ‘방대한 지식 저장소’에 접근한다는 점이 특징이다.

리처드는 “1년 전만 해도 AI 도구는 다소 투박하다고 생각했는데, 이렇게 빠르게 실용 단계에 접어들 줄은 몰랐다. 대규모 언어 모델(LLM)과 에이전틱 AI, 그리고 기업이 보유한 방대한 데이터 세트가 결합되면서 앞으로 많은 가능성이 열릴 것”이라고 평가했다.

2. “속도감과 실험 정신을 유지하는 것이 중요”

질로 그룹(Zillow Group)의 CTO이자 IT 총괄인 데이비드 베이틀도 비슷한 의견을 공유했다.

베이틀은 “AI 모델과 도구, 특히 LLM 기반 모델은 지난 12~24개월 사이 눈에 띄게 발전했으며 지금도 계속 진화하고 있다. 이로 인해 올해 초만 해도 상상하지 못한 방식으로 혁신적인 고객 접점 제품과 내부 도구, 자동화를 구현할 수 있게 됐다”라고 설명했다.

질로에서는 베이틀과 그의 팀이 AI를 활용해 고객과 직원 경험을 보다 개인화하고, 효율적이면서도 만족도를 높일 수 있는 방안을 다각도로 모색하고 있다.

그는 “AI로 인해 내부 생산성이 향상한 덕분에 직원들은 업무와 인사이트의 수준을 한 단계 끌어올리고, 전략 수립과 실행에 더 많은 시간을 투입할 수 있게 됐다”라며, “AI 모델과 기술, 도구가 역량 있는 전문가와 운영 인력, 직원과 결합될 때 강력한 시너지가 나온다”라고 말했다. 다만 그는 “최고의 제품을 제공하고 적절한 가이드라인과 관리 체계를 마련하기 위해서는 사람이 개입하는 구조가 중요하다”라고 조언했다.

베이틀은 또한 “변화의 속도가 매우 빠른 만큼, 속도감 있게 움직이며 실험하는 사고방식을 유지하고, 새로운 기술로 무엇이 가능한지를 계속 상상하는 태도가 필요하다”라고 강조했다.

3. “조직도가 아니라 업무 흐름을 기준으로 사고해야 한다”

편의점 체인 케이시스(Casey’s)의 수석부사장 겸 CIO 산지브 사투루는 지난 1년간 ‘조직도가 아닌 업무 흐름을 기준으로 사고하는 방식’의 중요성을 절감했다고 말했다.

사투루는 “AI 시대에 접어들면서 업무의 본질 자체가 바뀌고 있다. 프로젝트와 업무 흐름은 기존의 조직 경계를 넘나드는 경우가 많아졌고, 이에 따라 팀을 빠르게 재구성할 수 있는 역량이 요구되고 있다”라고 설명했다. 이어 “역할이 아니라 업무를 기준으로 운영해야 하며, 직무가 아닌 과제와 성과에 최적화해야 한다. 미래의 업무는 직위가 아니라 역량 중심으로 전개될 것”이라면서, “업무 흐름이 중심이 되면 보다 민첩한 네트워크가 형성돼 빠른 출시와 부서 간 협업, 시장 변화에 대한 실시간 대응이 가능해진다”라고 말했다.

사투루는 “업무 흐름을 담은 차트를 마련하면 실제로 일이 어떻게 이뤄지는지를 알 수 있으며, 과제와 역량, 협업을 유기적으로 연결할 수 있다. 업무 흐름을 가시화함으로써 모호함을 줄이고 구성원의 몰입도를 높이는 효과가 있다”라고 설명했다.

그는 또 “오늘날의 일은 더 이상 고정돼 있지 않고 유연하며, 부서 간 협업과 프로젝트 중심으로 움직인다. 이 과정에서 직위보다 역량이 훨씬 더 중요해지고 있다”라고 강조했다.

사투루는 “AI는 직함이나 위계가 아니라 과제와 성과를 최적화하는 기술”이라며 “가치가 생성되고 전달되는 과정을 보여주는 업무 흐름 차트를 통해, 위계가 아닌 일 자체를 중심에 두고 조직을 설계하는 것이 필수적이라는 점을 깨닫게 됐다”라고 말했다.

4. “문제 있는 데이터가 낡은 시스템만큼 큰 장애 요인이 됐다”

기술 자문 및 매니지드 서비스 업체 엔소노(Ensono)의 CIO 사비오 로보는 많은 IT 리더와 마찬가지로 데이터 문제에 직면해 왔다. 그는 같은 유형의 데이터가 부서마다 서로 다르게 다뤄지는 문제는 물론, 조직 전반에 걸친 각종 불일치와 공백을 경험했다고 설명했다.

로보는 문제 있는 데이터가 낡은 시스템만큼 큰 장애 요인이 됐다고 진단하면서, 이를 오래된 IT 시스템과 마찬가지로 조직의 발목을 잡는 ‘걸림돌’에 비유했다.

로보는 “이 점이 지난 한 해 동안 얻은 중요한 교훈”이라며, “데이터 거버넌스와 데이터 관리 체계를 우선순위 상단에 올리고, 데이터를 조직의 핵심 자산으로 바라보기 시작해야 한다는 사실을 분명히 깨달았다”라고 말했다.

또한 그는 “데이터의 소유는 각 사업 부문에 있을 수 있지만, 데이터 자체는 조직 전반을 가로질러 흐른다. 데이터 정의와 데이터 품질, 메타데이터 등에 대해 조직 전체가 공감대를 형성하는 것이 무엇보다 중요하다”라고 설명했다.

이를 위해 로보는 중앙집중형 데이터 카탈로그를 구축하고, 데이터 품질 기준을 우선적으로 정하고 이를 준수하도록 관리하는 부서 간(cross-functional) 데이터 팀을 구성했다.

로보는 기업 데이터를 최적의 상태로 정비하는 데 막대한 노력이 필요하다는 점도 인정했다. 그는 이 작업이 대부분의 조직에서 낡은 IT 시스템을 현대화하는 과제만큼이나 어렵다고 평가했다.

그는 많은 CIO가 기존 기술을 현대화할 때와 마찬가지로, 데이터 현대화에도 점진적으로 접근하고 있다. 로보는 “모든 것을 한 번에 해결할 수는 없다. 가장 높은 가치를 창출하는 AI 사용례를 지원하는 데 초점을 맞춰, 범위를 좁히고 데이터 정비 작업을 단계적으로 진행하는 것이 중요하다”라고 말했다.

5. “진행 중인 프로젝트를 보기 위해 ‘선행 지표’를 활용해야 한다”

로보는 2025년을 통해 얻은 또 다른 핵심 교훈으로, 프로젝트 성과를 측정할 때 후행 지표가 아니라 선행 지표를 식별하고 추적해야 한다는 점을 꼽았다. 이는 특히 대규모 트랜스포메이션 프로젝트에서 더욱 중요하다.

로보는 선행 지표를 활용하면 이니셔티브가 기대한 성과를 위해 제대로 나아가고 있는지를 이해관계자들이 보다 명확하게 파악할 수 있다고 말했다. 또한 그는 선행 지표가 후행 지표보다 훨씬 이른 시점에 상황을 보여주기 때문에, 문제를 조기에 인식하는 데 도움이 된다고 전했다.

그는 “우리는 진행 중인 프로젝트를 살펴볼 수 있도록 지표 대시보드를 운영하고 있으며, 적절한 도구를 활용해 올바른 방식으로 보고가 이뤄지도록 하고 있다. 이를 통해 사후 대응이 아니라, 진행 과정 중간에 개입할 수 있다”라며, 문제가 발생한 프로젝트도 방향을 조정해 보다 빠르게 성과를 낼 수 있다고 설명했다.

이 같은 접근은 최근 기업이 예산을 더욱 엄격하게 관리하고, AI를 포함한 모든 프로젝트에 대해 명확한 가치 창출을 요구하는 상황에서 특히 중요해지고 있다.

로보는 “AI와 기타 트랜스포메이션을 추진하려면 예산이 필요하다. 이를 위한 지원을 확보하려면, 배정받은 자금을 실제로 원하는 성과로 연결시키고 있다는 점을 분명히 보여줘야 한다”라고 강조했다.

6. “완벽한 시점을 기다릴 수 없다”

VLS 환경 솔루션(VLS Environmental Solutions)의 CIO 라울 페냐는 한때 AI를 도입할 준비가 돼 있지 않다고 느꼈던 시기가 있었다고 말했다.

페냐는 “몇 년 전 회사에 합류했을 당시 상사가 AI에 대해 물었지만 반대 의견을 냈다. 기술 성숙도 측면에서 10점 만점에 도달해야 한다고 생각했는데, 당시 우리는 상당히 낮은 수준에 머물러 있었다. 시스템이 제각각이었고 데이터 측면에서도 여러 과제가 있었다”라고 말했다.

회사가 여전히 10점 수준에는 이르지 못했지만, 페냐는 현재 상태를 7~8점 정도로 평가하면서 “‘이제 준비가 됐다’고 할 만한 완벽한 순간을 기다릴 수는 없다는 것을 깨달았다. 그 순간을 기다리다 보면 결국 뒤처지게 된다”라고 설명했다.

이 같은 인식 전환 이후, VLS 환경 솔루션은 본격적인 AI 여정에 들어섰으며 현재는 시스템과 프로세스 전반에 AI를 녹여내고 있다.

페냐는 “이제 거의 모든 일에 AI 요소가 포함돼 있다. 우리는 혁신을 장려하고 구성원의 역량을 강화하는, 미래 대응형 기술 중심 기업으로 자리매김하고자 한다. 사람들은 기술을 적극적으로 활용하고, 혁신을 위해 투자할 의지가 있는 기업에서 일하기를 원한다”라고 말했다.

7. “AI는 기술인 동시에 사회·문화적 현상”

페냐는 AI를 도입하는 CIO로서, 기술 구현뿐 아니라 그에 따른 사회적 이슈와 파급 효과도 함께 마주해야 한다는 점을 깨달았다고 말했다. 그는 “AI는 단순한 기술 문제가 아니라, 사회적·문화적 현상이기도 하다는 사실을 인식하게 됐다”라고 설명했다.

그는 먼저 모든 사람이 AI를 긍정적으로 받아들이는 것은 아니라고 짚었다. 페냐는 “사회에는 AI를 이해하지 못하거나, 사용하지 않거나, 아예 좋아하지 않는 사람들이 상당수 존재한다”라고 전했다.

또 많은 사람이 AI가 자신의 일자리와 생계에 미칠 영향을 두려워하고 있다. 페냐는 “AI가 일자리를 빼앗을 것이라는 우려가 있다. 실제로 일부 일자리는 사라질 수 있다”라고 진단했다. 다만 “과거의 다른 기술 혁신과 마찬가지로, 일부 직무는 사라지겠지만 동시에 새로운 일자리도 생겨날 것”이라고 덧붙였다.

페냐는 “우리는 이런 현실을 인식하고 있다는 점과, AI를 활용해 업무를 수행할 수 있도록 돕기 위한 투자를 실제로 진행하고 있다는 것을 직원들에게 분명히 알리려고 한다. 직원들이 AI 활용법을 익히면 개인은 물론 회사에도 가치를 창출할 수 있다는 메시지를 전달하는 것이 목표”라고 말했다.

8. “AI 프로젝트를 정식 프로그램처럼 다뤄야 한다”

여러 연구에서 지적되듯, AI를 통해 실제 가치를 창출하는 일은 대부분의 조직에 쉽지 않은 과제다. 월터스클루어(Wolters Kluwer)의 수석부사장 겸 CIO 마크 셔우드는 이런 과제를 극복하려면 AI 이니셔티브 역시 다른 프로젝트와 동일한 수준의 비즈니스·재무 관리 원칙을 적용해야 한다고 지적했다.

셔우드는 “AI 프로젝트를 정식 프로그램처럼 다뤄야 한다. 빠른 AI 도입에 대한 압박 때문에 많은 조직이 이런 원칙에서 어느 정도 벗어나 있는 것이 현실”이라고 언급했다.

그는 “회사 내부에는 AI를 활용한 혁신이 매우 활발하게 이뤄지고 있고, 이는 분명 고무적인 일이다. 하지만 동시에 우리가 하고 있는 일이 어떤 비즈니스 가치를 창출하는지 명확히 이해할 필요가 있다. 기술적으로 가능하냐의 문제가 아니라, 실제로 비즈니스 관점에서 추진할 가치가 있느냐를 따져야 한다”라고 강조했다.

이를 위해 셔우드는 월터스클루어에서 AI 혁신을 추진하는 팀에게 프로젝트의 ‘정성적 가치’와 ‘정량적 가치’를 명확히 설명하도록 요구하고 있다.

그는 “프로젝트 관리의 기본에 해당하는 이야기”라며 “IT 분야에서 오랫동안 해오던 것처럼, 본격적으로 뛰어들기 전에 기본이 갖춰졌는지를 확인하는 과정”이라고 설명했다. 이어 “다소 지루하게 들릴 수 있지만, AI 혁신에서도 해결하려는 비즈니스 문제가 무엇인지에 집중하는 것이 핵심”이라고 말했다.

그는 AI 이니셔티브에 프로젝트 관리 원칙을 적용해, 비즈니스가 실제로 무엇을 필요로 하는지 이해하고, 목표와 일정에 대한 명확한 합의를 거친 뒤, 성과를 판단할 수 있는 분명한 지표를 설정하는 데 초점을 맞추고 있다고 설명했다.

또한 셔우드는 AI 관련 제안을 검토하고 비즈니스 가치를 기준으로 우선순위를 정하는 심사 절차를 운영하고 있다. 아울러 AI 실험에 나서는 사업 부서가 가치 창출에 집중할 수 있도록 가이드라인도 마련했다. 이와 함께 해커톤과 혁신 포럼을 통해 AI를 포함해 다양한 기술 기반의 유망한 아이디어를 발굴하고 있으며, 이를 통해 관리 기준이 가능성 있는 기회까지 차단하지 않도록 균형을 맞추고 있다.

셔우드는 “AI는 종종 해결해야 할 문제가 아닌 해답부터 제시하는 기술이 되기 쉽다. 해법을 먼저 들이밀기보다, 어떤 문제가 있는지부터 파악하는 방식을 선호한다. 또한 AI는 만능 해결책이 아니며, 무언가를 넣으면 마법 같은 결과가 나오는 기술도 아니다. 결국 AI 역시 다른 도구와 다르지 않다”라고 조언했다.

9. “변화의 성패는 기술보다 사람에 달려있다”

하버드비즈니스스쿨(Harvard Business School)의 CIO 베스 클라크는 2025년을 통해 CIO의 역할이 기술을 이끄는 것보다 사람을 돕는 데 더 가깝다는 점을 깨닫게 됐다고 말했다.

클라크는 “변화의 성패는 기술보다 사람에 훨씬 더 크게 좌우되며, 변화는 사람들에게 쉽지 않은 과정”이라고 설명했다.

그는 구성원의 변화를 돕기 위해, 조직이 무엇을 이루고자 하는지와 AI를 비롯한 기술이 그 목표에 어떻게 기여하는지를 명확히 전달하는 것이 중요하다고 강조했다.

클라크는 “이는 구성원들이 미래에 대한 비전을 함께 구상하도록 돕는 과정”이라며 “현재의 업무 방식이 어떤 모습인지 묻고, 앞으로는 어떻게 달라질 수 있는지를 함께 상상하며 그 비전을 공동으로 만들어가야 한다”라고 설명했다. 이어 “‘만약에?’ 그리고 ‘만약 이런 것들을 할 수 있다면 어떨까?’라는 질문을 던져야 하며, 이를 위해서는 비전을 제시하는 리더십 역량과 함께, 일상적인 비즈니스 운영 방식과 기술의 가능성을 모두 이해할 수 있는 전문성이 필요하다”라고 말했다.

이 단계에서 클라크는 변화 자체에 대한 기대감을 만들어내는 일 역시 중요하다고 조언했다. 그는 “구성원이 가능한 미래의 모습을 직접 볼 수 있도록 돕고, 단순히 참여하는 수준을 넘어 진정으로 변화가 이뤄질 때 2년, 3년, 5년, 10년 뒤의 삶이 어떻게 달라질 수 있는지를 이야기로 풀어내야 한다”라고 설명했다.

클라크는 이런 과정에 공감과 이해가 필수적이라고 덧붙였다. 그는 사람들이 오랫동안 익숙하게 여기던 ‘검증된 방식’을 내려놓을 것을 요구받고 있다는 점을 이해하고, 대부분의 사람에게 변화가 결코 쉬운 일이 아니라는 점을 인식해야 한다고 말했다.

그는 “매우 빠르게 변화하는 세상에 사람들이 적응할 수 있도록 돕는 것이 중요하다. 비전을 명확하게 유지하고, 그 목표에 도달하기 위해 필요한 모든 과정을 함께 수행해 나가는 지속적인 협력 관계라는 점을 구성원들이 느끼도록 해야 한다”라고 전했다.

클라크는 변화의 여정이 길 수밖에 없으며, 일부 구성원이 이 과정에 끝까지 함께할 가치가 있는지 고민하는 것도 충분히 이해할 만하다고 인정했다.

그는 “사람들의 손을 잡아주면서 동시에 등을 떠밀어야 할 때도 있다. 막혀 있을 때는 어려운 대화를 이끌어야 하고, 또 다른 순간에는 기댈 수 있는 존재가 돼야 하는 등 상황에 맞게 사람들에게 영향을 줄 수 있는 충분한 도구가 필요하다”라고 조언했다.

10. “오늘날의 환경이 요구하는 민첩성과 회복탄력성은 멀티 에이전트 아키텍처로만 구현할 수 있다”

코그니전트(Cognizant)의 글로벌 CIO 닐 라마사미는 에이전틱 AI를 광범위하게 지원할 수 있는 아키텍처를 구축할 시점에 이르렀다는 것을 깨달았다고 말했다.

라마사미는 “단일 AI 솔루션의 시대는 저물고, 여러 에이전트가 유기적으로 협력하는 생태계로 빠르게 이동하고 있다. 비즈니스 프로세스가 점점 더 긴밀하게 연결되고 역동적으로 변화하는 환경에서는, 멀티 에이전트 아키텍처만이 오늘날 기업에 필요한 민첩성과 회복탄력성을 제공할 수 있다”라고 진단했다. 그는 “이런 시스템은 각 분야에 특화된 AI 에이전트가 자연스럽게 협업하도록 하며, 재무, 인사, 공급망, 고객 서비스 등 다양한 기능 전반에서 사일로를 허물고 엔드투엔드 자동화를 가능하게 한다”라고 말했다.

라마사미는 지금 바로 행동에 나서야 한다는 점도 강조했다.

그는 “멀티 에이전트 전략이 없는 기업은 향후 24개월 안에 상당한 생산성 격차에 직면하게 될 것”이라며 “반면 지금부터 다양한 에이전트를 체계적으로 조율하고, 강력한 거버넌스와 상호운용성을 함께 구축하는 조직은 기업 성과와 혁신의 새로운 기준을 세우게 될 것”이라고 내다봤다.
dl-ciokorea@foundryco.com