CIO가 반드시 점검해야 할 AI 전략의 기준 6가지

AI 프로젝트는 대부분 목표 달성에 실패한 것으로 나타났다. 여러 보고서가 AI 프로젝트가 확장되지 못하거나 문제 해결에 실패하거나 고객 요구를 충족하지 못하거나 가치 창출에 실패했다고 지적했다. MIT가 발표한 ‘2025 비즈니스 AI 현황’ 보고서는 특히 생성형 AI에 3~4억 달러 규모를 투자한 기업 대부분이 투자 수익을 전혀 얻지 못했다고 결론지었다.

하지만 성과를 거둔 사례도 있다. 일부 기업은 인공지능을 도입해 효율성, 생산성, 시장 차별화 등에서 분명한 정량적 효과를 확인했다고 평가했다. 가트너는 2025년 조사에서 “AI 활용 성숙도가 높은 조직의 리더 45%가 AI 프로젝트를 최소 3년 이상 운영해 지속적인 효과와 가치를 창출하고 있다”라고 밝혔다.

AI 전략 성공 사례를 연구한 전문가와 실제 성공을 만들고 있는 CIO들은 공통적으로 여러 요소가 전략적 성공을 좌우한다고 설명했다. 가트너는 ‘2025 성공적인 인공지능 전략의 4대 축’ 보고서에서 “AI의 막대한 비즈니스 가치는 저절로 나타나지 않는다. CIO는 AI가 가시적 가치 창출을 넘어 경쟁력을 좌우하고 산업을 재편하는 핵심 동력으로 자리 잡도록 이끌어야 한다”라고 강조했다.

연구자부터 자문가, 선도적인 CIO 모두 AI 전략에 정해진 공식 같은 것은 없다고 말한다. 각 조직이 스스로의 방향을 찾아야 한다는 의미다. 특히 전문가들은 CIO가 자신의 조직이 올바른 AI 전략 방향을 잡고 있는지 확인하기 위해 다음 핵심 질문을 해야 한다고 조언했다.

1. AI가 만들어야 하는 성과에 집중하고 있는가?

AI는 업무 방식과 고객 접점을 재편할 다양한 기회를 제공한다. 프린서플 파이낸셜 그룹의 부사장 겸 CIO 캐시 케이가 말했듯이, CIO는 자신과 동료에게 현재 추진 중인 AI 프로젝트가 기업이 달성하려는 구체적 성과와 일치하는지 점검해야 한다. 케이는 “성과와 연결되지 않은 프로젝트는 AI를 마구 늘려 기술 부채만 키우는 결과를 만든다”라고 지적했다.

경영진은 효율성 향상, 고객 경험 개선, 더 빠른 비즈니스 성장 등 달성하고자 하는 성과를 분명히 정의하고 이를 비즈니스 목표와 정확히 연결해야 한다. 케이는 흔히 AI로 업무 프로세스나 특정 작업을 재설계하는 데 초점을 맞추는 경향이 있지만, 이런 접근은 실제 성과를 만들어내지 못할 가능성이 높다고 경고했다.

대표적인 사례가 이메일 작성 지원을 위한 생성형 AI 도입이다. 많은 조직에서 ‘쉽게 도입할 수 있고 직원 시간을 절약해 ROI가 나올 것’이라는 이유로 시도하는 활용 방식이다. 하지만 이메일 작성이 실제로 조직 내에서 많은 시간을 차지하지 않거나 비즈니스 가치와 무관하다면, 이 업무에 AI를 적용해도 실질적 성과는 얻을 수 없다.

케이는 업무 재설계가 아니라 원하는 성과 자체에 초점을 맞추는 것이 미묘하지만 매우 중요한 차이라고 강조했다. 이 접근이야말로 기업이 AI로 실제 비즈니스 가치를 창출할 수 있을지를 판단할 수 있기 때문이다. 케이는 이 문제를 드러내는 또 다른 질문은 “AI 전략이 해결해야 할 문제가 무엇인지 명확히 알고 있는가, 아니면 솔루션에 매료되어 정작 문제를 잊고 있는가?”라고 덧붙였다.

많은 전문가가 CIO가 “AI 전략이 해결해야 하는 고객의 요구는 무엇인가?”, “AI 전략이 만드는 가치는 무엇인가?”, “AI 전략이 현재 비즈니스 우선순위와 어떻게 연결되는가?”라는 질문을 덧붙여야 한다고 조언했다. 프로티비티(Protiviti)의 기술 컨설팅 프랙티스 총괄 책임자인 피터 모트럼은 “CIO는 높은 가치가 있는 사용례만 걸러내고, 그 결과를 KPI와 지표로 측정할 수 있는 체계를 갖춰야 한다”라고 말했다.

2. AI에 대한 조직의 위험 감수 성향은 무엇이며, 그 수준에 맞게 전략을 조율하고 있는가?

CIO와 경영진은 AI가 위험을 동반한다는 사실을 알고 있다. 하지만 TD 뱅크의 부사장 겸 애널리틱스·인텔리전스·AI 총괄 테드 패리스는 위험을 나열하는 것만으로는 부족하다고 말한다. 패리스는 “해당 AI 프로젝트가 조직의 위험 감수 성향 안에서 어느 위치에 있는가? 이 솔루션을 실제 사용례에 적용할 수 있다고 판단하는 근거는 무엇인가? 실제로 적용하기 위해 반드시 충족돼야 할 조건은 무엇인가?”와 같은 질문을 C레벨이 스스로에게 던져야 한다고 설명했다.

여러 연구는 많은 경영진이 이런 질문에 제대로 답하지 못하고 있음을 보여줬다. EY가 2025년 10월 발표한 ‘책임 있는 AI 펄스 서베이’에서는 응답 기업의 99%가 AI 관련 위험으로 인해 금전적 손실을 경험했다고 밝혔으며, 64%는 100만 달러 이상 손실을 본 것으로 나타났다. 또 경영진 중 적절한 통제 방안을 파악한 비율은 12%에 불과했고, 직원의 39%는 자신이 AI를 책임감 있게 사용하고 있다는 확신을 갖지 못하는 것으로 조사됐다. EY는 보고서에서 “사람 중심 감독과 안전한 프롬프트에 대한 투자가 핵심이다”라고 지적했다.

케이는 위험 평가와 대응 프로세스를 갖춰야 한다고 조언했다. 패리스는 CIO가 리스크, 법무, 프라이버시, 보안 담당자와 협력해 위험을 식별하고 통제 수준을 설정할 수 있는 프레임워크를 마련해야 한다고 강조했다.

딜로이트의 미국 AI 및 엔지니어링 전략 서비스 책임자인 파루크 무라토비치는 “조직 전체가 준수해야 할 중앙 가드레일을 마련해야 한다. 특히 자율 실행이나 에이전트 같은 기능을 특정 프로세스에 도입하기 위한 필수 조건을 원칙으로 정하고, 이 원칙이 전사에 스며들어야 책임 있는 AI 활용이 가능하다”라고 설명했다.

3. 혁신과 신뢰 사이에서 올바른 균형을 잡고 있는가?

금융회사 뱅가드의 자산 관리 기술 책임자 찰스 톰슨은 AI 혁신을 논의할 때 신뢰도 핵심 고려 요소라며, “신뢰 없는 AI 혁신은 지속될 수 없다”라고 강조했다. 톰슨은 “기업이 제품, 서비스, 운영에 AI를 내재화할수록 내부와 외부 모두에서 신뢰를 강화해야 한다”라며, “외부 고객은 투명성, 보안, 공정성을 요구한다. 내부 직원은 설명 가능성, 신뢰성, 그리고 인간 판단을 대체하는 것이 아니라 지원하는 설계를 요구한다”라고 설명했다.

톰슨은 CIO가 “데이터 무결성과 고객 프라이버시, 브랜드 평판을 보호하면서 속도와 책임감을 균형 있게 유지해야 한다. 이 균형은 어렵지만 반드시 지켜야 한다”라며, “혁신이 위험 회피 때문에 억제되고 있다면 명확한 거버넌스를 갖춘 통제된 실험 환경을 다시 설계해야 한다. 반대로 실험 속도가 통제를 앞서기 시작한다면 책임성과 투명성 체계를 강화하기 위해 잠시 멈출 필요가 있다”라고 조언했다.

또한 톰슨은 CIO가 고객과 직원에게 AI가 어디에서 어떻게 활용되고 있으며, 어떤 이점을 제공하는지 명확히 설명해 신뢰를 형성해야 한다고 강조했다.

4. 데이터 전략이 정말로 AI를 위한 준비가 되어 있는가?

SS&C 테크놀로지스의 CIO 겸 CTO 앤서니 카이아파는 기업이 AI 전략을 수립하고 구체적 AI 활용을 추진하는 과정에서 반드시 데이터 흐름을 파악하고 이를 적절히 관리하고 있는지 먼저 점검해야 한다고 지적했다. 카이아파는 “필요한 데이터셋이 무엇인지 알고 있는가? 어떤 데이터셋과 상호작용해야 하는지 파악했는가? 데이터 지역성 문제를 걱정해야 하는가?”라고 질문했다.

이런 질문은 시작일 뿐이다. CIO가 AI 프로젝트를 추진하는 과정에서 답해야 할 데이터 관련 질문은 수십 개에 이른다. 예를 들어, 특정 AI 프로젝트에 필요한 데이터를 조직이 활용할 권한이 있는지조차 확인해야 한다. 카이아파는 조직이 특정 사용례에 필요한 고객 데이터를 보유하고 있어도 이를 사용하는 순간 규제나 계약 조건을 위반할 위험이 있다.

데이터 준비가 AI 성공의 핵심 요소라는 점에도 불구하고, 많은 기업 리더가 AI 여정을 시작하기 전에 갖춰야 할 답을 갖고 있지 못한 것으로 나타났다. 데이터 보안 솔루션 업체 이뮤타(Immuta)의 ‘2025 데이터 보안 현황 보고서’에 따르면, 데이터 리더의 55%가 “현재 데이터 보안 전략이 AI 발전 속도를 따라가지 못한다”라고 답했다. 또한 64%는 “승인된 사용자에게 적시에 안전하게 데이터를 제공하는 데 심각한 어려움을 겪고 있다”라고 밝혔다.

CIO는 이런 문제를 해결하기 위해 조직 내 데이터 책임자와 협력해야 한다. 그러나 카이아파는 사업 부서 리더도 데이터 준비도를 판단하고 답을 내릴 수 있어야 한다고 강조했다. AI 사용례는 각 부서가 소유하고 추진해야 하며, 필요한 데이터 역시 부서가 직접 이해하고 책임져야 성공적인 결과를 낼 수 있다는 것이다.

무라토비치는 데이터 준비도가 대부분 기업에 가장 큰 고민거리라고 지적했다. 무라토비치는 “AI 도입을 가로막는 큰 장애물 중 하나는 데이터가 준비되지 않았거나 정제 및 통합되지 않아 AI 도구가 활용할 수 없는 상태라는 점이다”라고 말했다.

이어 “그래서 CIO는 ‘AI 전략과 데이터 요구 사항·데이터 접근성을 어떻게 정렬시킬 것인가?’라는 질문을 던져야 한다”라고 강조했다. 또한 단순히 데이터만이 아니라 데이터 인프라 역시 고려해야 한다. 무라토비치는 “데이터가 온프레미스에 있는지, 클라우드로 이전해야 하는지, 혹은 특정 AI 사용례에서는 지연 시간이나 비용 문제 때문에 다시 온프레미스로 가져와야 하는지까지 생각해야 한다”라고 덧붙였다.

5. 기업 내 AI 활용을 어떻게 보호하고 있는가?

기업의 AI 활용이 확대되면서 보호해야 할 공격 표면도 함께 넓어지고 있다. 부즈 알렌 해밀턴의 커머셜 AI 솔루션 부문 부사장 매트 코스텔로는 CIO가 반드시 방어 전략을 직접 질문하고 검토해야 한다고 강조했다. 단순히 CISO에게 사후 보안 조치를 맡기는 방식으로는 충분하지 않다는 의미다. 코스텔로는 “이런 도구는 보안 측면에서 매우 큰 도전과제를 안고 있다”라고 지적했다.

이 문제는 선택이 아니라 필수이기도 하다. 최근 기업이 사용하는 AI 도구가 실제 공격을 받고 있기 때문이다. 가트너가 2025년 봄 발표한 조사에서 사이버보안 책임자 29%는 지난 1년 동안 기업 내 생성형 AI 애플리케이션 인프라가 공격을 받았다고 답했다. 또 32%는 같은 기간 프롬프트 기반 취약점을 노린 AI 애플리케이션 공격을 경험했다고 밝혔다.

가트너는 조사 결과를 발표하며 “챗봇 어시스턴트는 편향되거나 악의적인 출력을 유도하는 프롬프트 조작 등 다양한 적대적 기법에 취약하다. 공격자는 이런 프롬프트를 이용해 LLM이나 멀티모달 모델을 왜곡할 수 있다”라고 설명했다.

금융 산업처럼 규제가 강한 산업에서는 비교적 성숙한 AI 보안 전략이 마련돼 있지만, 코스텔로는 대부분 산업은 여전히 어떤 위협이 존재하고 이에 대응하기 위한 보안 조치가 무엇인지 이해하는 단계에 있다고 말했다.

CIO는 AI 도구의 공급망, 특히 SaaS 제품 내부에 내장된 AI 기능이 가져오는 보안 위험도 확인해야 한다. 코스텔로는 “CIO는 AI 도구를 개발할 때 보안 파이프라인이 제대로 구축돼 있는지도 물어야 한다”라고 지적했다. AI 플랫폼 역시 다른 소프트웨어와 마찬가지로 아파치 Log4j 취약점과 유사한 문제에 똑같이 노출될 수 있다는 것이다.

코스텔로는 “조직 외부에서 옆문처럼 들어오는 AI가 있는지도 살펴봐야 한다. 이런 요소는 잠재적 보안 위험이 될 수 있다”라며, AI 보안 요구사항을 묻고 답하는 과정에는 보안, 법무, 리스크 조직이 모두 참여해야 한다고 강조했다.

6. AI에게 얼마나 많은 업무와 의사결정을 맡길 것인가?

AI가 발전하고 기업의 활용 수준이 높아지면서, 프로티비티의 피터 모트럼은 CIO가 동료와 함께 인간이 수행하던 업무와 의사결정을 얼마나 AI에 이양할 것인가를 고민해야 한다고 말했다.

모트럼은 “어디에 어떤 통제를 둘 것인가, 기계에 어느 정도 권한을 넘길 것인가, 견제와 균형을 얼마나 둘 것인가를 반드시 생각해야 한다”라고 지적했다. 특히 스스로 판단하고 실행하는 에이전틱 AI 시스템에 대한 투자가 본격화될수록, 이런 질문이 더욱 중요해질 것이라고 강조했다.
dl-ciokorea@foundryco.com