“지금도 좋고 나중에도 좋다” 장단기 모두 통하는 AI 전략의 4가지 요소

애널리스트들은 기대치, 특히 생성형 AI에 대한 기대치를 관리하라고 IT 책임자에게 조언한다. 생성형 AI는 단기간에 약속한 만큼 성과를 내지 못하는 경우가 많기 때문이다. 가트너는 CIO가 CFO에게 AI를 장기적 전략 관점에서 바라보도록 설득해야 한다고 제언했으며, 포레스터는 AI 투자에 대한 기대가 즉각 충족되지 않으면 많은 기업이 예상보다 빨리 관련 투자를 줄일 것이라고 경고했다.

그러나 모든 기업이 똑 같은 어려움을 겪는 것은 아니다. 다수의 숙련된 IT 책임자와 이야기해 보면, 이와는 다른 균형 잡힌 시각을 확인할 수 있다. 글로벌 대기업부터 혁신적인 중소기업까지 많은 기업이 이미 AI로 측정 가능한 가치를 창출하고 있으며, 이들 기업의 IT 책임자는 자사의 경험을 바탕으로 AI 프로젝트를 추진하는 기업 CIO에게 실용적인 프레임워크를 공유했다. 핵심은 올바른 사용례에 집중하고 기업 문화의 준비 상태를 강화하며, 창의적으로 성과를 측정하고 진화 가능성을 고려한 설계를 수행하는 것이다.

실질적인 효과가 있는 사용례에 우선순위를 둔다

글로벌 반도체 업체인 AMD는 AI를 다른 전략적 IT 투자와 마찬가지로 바라본다. 일정 기간 내에 비즈니스 가치를 제공하지 못하면 의미가 없다는 것이다. AMD의 비즈니스 애플리케이션 부문 부사장 크리스 와이어는 AI의 성공이 기존 기술 프로젝트와 크게 다르지 않다라며, “비용, 이익, 적합성을 평가한다. 그리고 비즈니스 목표에 부합하면 추진한다”라고 밝혔다.

이런 철학은 빠르게 투자 대비 효과를 거두는 프로젝트로 이어졌다. AMD는 생성형 AI를 활용해 R&D 세금 문서 준비처럼 복잡한 작업을 간소화했으며, 몇 주 걸리던 업무를 몇 시간 만에 끝낼 수 있었다. 방대한 자료를 요약하고 구조화하는 AI 도구 덕분이다. 특히 재무처럼 규제 준수가 중요한 부서에서 이런 효율성은 큰 가치를 발휘한다.

레노버의 글로벌 CIO 아서 후도 자사 생성형 도구인 스튜디오 AI를 예로 들었다. 스튜디오 AI는 마케팅 콘텐츠 제작 시간을 80% 단축하고, 대행사 비용을 70%까지 절감했다. 재무적 이익뿐 아니라, 영업·마케팅 부서의 민첩성이 크게 향상돼 거의 실시간으로 개인화된 자료를 제작할 수 있게 됐다. 레노버는 스튜디오 AI 외에도 고객지원 시스템에 내장된 에이전트를 활용해 문제를 조기에 감지하고 고객센터의 효율성을 높였다. 이런 디지털 어시스턴트는 상담사 성과를 높이고 실시간 제안과 자동화된 해결을 통해 고객 만족도를 개선하고 있다.

데이터 기반 광고 분석 기업 업웨이브(Upwave)도 고객 대상 도구에 생성형 AI를 적용해 캠페인 성과 보고서를 자동으로 생성해 ROI를 확인했다. 이 도구는 다양한 채널의 광고 데이터를 분석해 경영진이 바로 활용할 수 있는 인사이트로 요약한다. 업웨이브의 CTO 조지 런던은 이런 보고서가 더 쉽게 이해되고, 사내외로 더 폭넓게 공유돼 고객 만족도와 내부 효율성을 높였다고 설명했다. 또 복잡한 대시보드 해석을 자연어로 설명해주는 대화형 인터페이스를 결합해 캠페인 기획을 단순화하고 있다.

이들 사례의 공통점은 실용적인 구현에 있었다. 대부분의 AI 성과는 마이크로소프트 코파일럿, 깃허브 코파일럿, 오픈AI API 같은 검증된 툴을 기존 워크플로우와 통합한 데서 나왔다. IT 업체 트림블(Trimble_의 기술 혁신 부문 부사장 아비아드 알마고르는 트림블 엔지니어의 90% 이상이 깃허브 코파일럿을 사용한다고 밝혔다. 알마고르는 “개발 주기가 단축되고, HR과 고객 서비스에서 마찰이 줄었다”라고 ROI를 강조했다. 또한 트림블은 운송 관리 시스템에도 AI를 적용해 AI 에이전트가 화주와 운송업체를 동적으로 매칭해 운송 계약을 최적화하고 있다.

이러한 사례는 맞춤형 플랫폼에 막대한 투자를 하지 않고도 AI로 가치를 창출할 수 있음을 보여준다. 검증되고 확장 가능한 기술을 기반으로, 기존 시스템에 신중하게 통합하는 방식에서 최선의 결과가 나왔다.

AI 활용 역량을 높이는 기업 문화를 만든다

기술이 핵심 요소라면, 문화는 촉매제다. 성공적인 AI 프로그램은 실험, 내부 가시성, 그리고 부서 간 협업을 장려하는 조직 습관이 뒷받침될 때 가능하다. 호기심과 반복 학습의 문화를 만드는 것은 견고한 기술 스택만큼이나 중요하다.

AMD는 비즈니스 부서와 IT 부서가 실제 사용례를 중심으로 협업하는 사내 해커톤과 프롬프트톤(Prompthaton)을 개최한다. 이런 프로그램의 성과는 매우 컸다. 하루 만에 100개의 AI 아이디어를 발굴해 그중 일부를 실제 서비스에 적용했다. 이런 열린 창의성은 비즈니스 리더가 단순한 자동화를 넘어 새로운 업무 방식을 상상하도록 이끈다.

레노버는 단계별 접근법을 적용하고 있다. 아서 후는 “어떤 팀은 기초 교육이 필요하고, 어떤 팀은 애자일 스프린트를 준비한다”라며, “모든 성숙도 수준에 맞춘 진입로를 제공한다”고 말했다. 레노버는 각 부서가 AI 혁신을 자랑할 수 있도록 우호적인 경쟁을 유도해 사업 전반에 주인의식과 추진력을 불어넣었다.

트림블은 리더십의 지원과 체계적인 온보딩을 강조한다. 아비아드 알마고르는 문화적 투자가 기술적 지원만큼 중요하다라며, “단순히 도구만의 문제가 아니라, 사람들이 가능성을 상상할 수 있도록 돕는 것이 중요하다”라고 강조했다. 트림블의 프레임워크에는 전담 교육 프로그램, 사내 챔피언, 반복 실험을 지원하는 구조가 포함된다.

중소기업인 업웨이브는 문화적 명확성을 디자인의 원칙으로 삼는다. 조지 런던은 피상적인 AI 도입을 경계하며, “AI라는 마법 가루를 뿌린다고 해서 가치가 생기지 않는다”고 지적했다. 대신 사용자의 필요에서 출발해 거꾸로 설계하는 의도적인 접근을 강조했다. 업웨이브는 제품팀과 데이터팀 간의 긴밀한 협업을 통해 고객의 내부 보고서 형식에 맞춘 AI 요약 기능 등 보다 실용적인 애플리케이션을 개발해왔다.

ROI를 창의적이고 맥락에 맞게 측정한다

애널리스트들은 AI 프로젝트에서 단기적인 ROI를 증명하기 어렵다고 어려무을 토로하지만, AMD와 레노버, 업웨이브, 트림블은 다소 다른 시각을 가지고 있다. 그 비결은 유연한 사고방식과 다양한 지표다. ROI를 단순히 비용 절감이나 수익 창출로만 보지 않고, 시간 절약, 만족도 향상, 전략적 유연성 확보 등으로 확장해 평가하고 있다.

조지 런던은 업웨이브가 고객의 긍정적 피드백, 계약 갱신, AI 기반 콘텐츠에 대한 참여 증가 등을 ROI 신호로 삼는다고 설명했다. 이미 구축된 AI 모델의 구현 비용이 낮기 때문에, 작은 성과라도 수익률이 크게 나온다. 예를 들어 고객이 AI 기능 덕분에 계약을 갱신하거나 확대했다고 언급하면, 이를 강력한 ROI 지표로 간주한다.

트림블은 엔지니어링과 운영 분야에서 수명주기 기반의 지표를 사용한다. 한 고객은 트림블 AI 도구를 활용해 터널 안전 분석 시간을 30분에서 3분으로 줄였다. 알마고르는 이런 개선 효과가 매우 큰 의미를 가진다고 강조했다. 또한 소프트웨어 개발에서도 성능을 벤치마크하며, AI 도구로 15~20%의 개선 효과를 확인하고 있다.

AMD는 회의 요약, 챗봇 기반 HR 업무 등 여러 프로세스에서 시간을 절약하고 있다. 재무 부문에서는 AI 기반 자동화로 생산성이 15% 향상됐다. 특히 머신러닝으로 반도체 제조에서 수율을 소폭 개선한 결과 수백만 달러 이상의 가치를 창출했다. AMD는 100건 이상의 AI 사용례를 문서화한 내부 자료 카탈로그를 운영해, 성과 측정과 AI 확산을 표준화하고 있다.

레노버는 정량적 지표와 정성적 지표를 함께 사용한다. 아서 후는 도구, 컴플라이언스 프레임워크, 온보딩 프로세스를 표준화함으로써 실험의 진입장벽을 낮추고, 과도한 투자 없이 AI 도입을 확장할 수 있었다고 설명했다. 이를 통해 팀이 더 자신 있게 프로젝트를 시작하고, 낮은 오버헤드로 반복 가능한 가치 창출 모델을 만들 수 있었다.

장기적 관점을 갖되, 오늘 가능한 것부터 시작한다

이들 기업이 AI의 한계를 모르는 것이 아니다. 다만 현재의 AI 도입 물결을 더 큰 변화를 위한 필수 토대라고 보고 있다. 단기적인 성과는 단순히 가치를 증명하는 데 그치지 않고, 기업이 다른 방식으로 사고하고 행동할 수 있도록 준비하는 역할을 한다.

트림블은 지능형 에이전트와 다중 에이전트 생태계에 투자하고 있다. 조달, 모델링, 물류, 컴플라이언스 등 다양한 비즈니스 영역을 대표하는 소프트웨어 에이전트가 협업해 결과를 최적화하는 미래를 구상 중이다. 아비아드 알마고르는 애플리케이션 중심 IT에서 에이전트 기반 상호작용으로의 전환을 전망하고 있다.

레노버도 유사한 흐름을 주목하고 있다. 이미 각 부서에서 의사결정 지원용 코파일럿을 요청하고 있으며, 아서 후는 자동화만이 아니라 ‘증강(Augmentation)’이 표준이 되는 미래를 보고 있다. 장기적으로는 비즈니스 전반에 지능을 내재화해, 의사결정이 실시간 데이터 기반 인사이트로 뒷받침되도록 만드는 것이 목표다.

업웨이브는 대화형 AI와 시각적 인사이트 해석 실험을 통해 데이터와 실행 간의 더 직관적인 인터페이스를 지향한다. 조지 런던은 인사이트를 다음 단계 실행 권고로 연결하는 코파일럿이 차세대 도약의 핵심이 될 것으로 보고 있다. 데이터를 캠페인 목표에 직접 연결된 제안으로 번역해, 사용자의 인지적 과부하를 줄이는 것을 목표로 삼았다.

AMD는 사내 AI 커뮤니티 확대에도 투자하고 있다. 각 팀이 AI 역량을 일관되게 채택할 수 있도록 플레이북과 교육 자료를 제공하며, 데이터 개인정보 보호, 윤리적 고려, 운영 회복탄력성 등 거버넌스를 AI 배포에 포함하는 데 집중하고 있다.

이들 기업이 CIO에게 전하는 조언은 다음과 같이 정리할 수 있다.

• 자신감을 가지고 시작하라. 확실히 성공할 수 있는 활용 사례부터 공략하라. – 아비아드 알마고르
• 비즈니스 부서와 함께 솔루션을 공동 개발하라. 그래야 도입이 빨라진다. – 크리스 와이어
• 비용 구조를 이해하라. 기존 플랫폼을 활용하면 과도한 지출 없이 확장할 수 있다. – 조지 런던
• 진입장벽을 낮춰라. AI를 쉽게 시도할수록 조직이 더 빨리 배운다. – 아서 후

AI는 거창한 문샷 프로젝트일 필요가 없다. 잘 설계하면 지금 가치를 창출하고, 시간이 지나면서 그 가치를 누적해 나갈 수 있다. 이들 IT 리더가 보여주듯, 최고의 AI 전략은 상상력과 체계를 결합해 단기적 성과를 내면서 장기적 혁신의 기반을 다진다. 그리고 조직이 성숙해질수록, AI의 전략적 역할은 단순한 개선을 넘어 완전히 새로운 방식으로 일할 수 있는 전환점이 될 것으로 보인다.
dl-ciokorea@foundryco.com