건강한 의심이 필요하다··· CIO가 답해야 할 AI 전략 질문 10가지

전 세계가 AI 혁명에 뛰어들었다. 하지만 준비 태세에 자신감을 갖지 못한 기업이 대다수다. 가트너의 2024 이사회 설문조사에 따르면 사외이사의 80%가 현재의 이사회 관행과 구조가 AI를 효과적으로 감독하기에 부적절하다고 생각하고 있었다.
.
디지털 서비스 및 컨설팅 회사인 인포시스의 2024 엔터프라이즈 AI 준비도 레이더 보고서의 결론도 비슷하다. AI를 대규모로 구현할 준비가 완료된 기업은 2%에 불과했으며, 응답 기업 다수는 AI가 현실화되려면 3~5년은 더 남았다고 보고 있었다. 또 커니의 글로벌 AI 평가(AIA) 2024 보고서에 따르면 설문조사에 참여한 1,000명 이상의 임원 중 4%만이 AI 및 분석 분야의 리더로서의 자격을 갖춘 것으로 평가됐다.

다음은 CIO, 연구원, 자문가들이 조직의 AI 전략에 대해 묻고 답할 가치가 있다고 말하는 10가지 질문 목록이다.

목표는 무엇이며, 이 목표를 달성하는 데 AI가 적합한가?

챗GPT는 2022년 가을에 등장 이후 폭발적인 관심을 불러일으켰으며, 이러한 관심은 생성형 AI와 각종 인텔리전스의 구현 움직임으로 이어졌다.

세이브더칠드런의 론 게리어 CTO는 이 과정에서 포모(FOMO)가 자리를 잡았다고 지적했다. 비즈니스 및 IT 리더들은 빠르게 AI를 도입하지 않으면 뒤처질 것이라고 생각했다. 하지만 CIO는 먼저 모든 사람이 진정으로 달성하고자 하는 목표를 명확히 한 다음, 그 목표를 달성하는 데 AI(또는 다른 기술)가 도움이 될지 논의해야 한다고 그는 강조했다.

게리어는 “그저 AI 자체를 원하는 것인지, 아니면 자동화나 다른 도구가 대신 필요한 것인지 묻지 않는다. 너무 빨리 솔루션으로 달려들고 있다”라고 말했다.

AI 전략이 비즈니스 목표를 어떻게 지원하고 그 가치를 어떻게 측정할 수 있는가?

글로벌 기술 컨설팅 업체인 쏘트웍스의 최고 AI 책임자 마이크 메이슨은 이 질문에 답할 수 있어야 회사가 지향하는 성과를 이끌어낼 수 있다고 강조했다. 그렇지 않으면 조직은 기술적으로는 효과가 있을지 모르지만 기업에 가치를 창출하지 못하는 AI 이니셔티브를 쫓을 수 있다. “지난 1년 반 동안 그런 일이 많이 있었다”라고 메이슨은 말했다.

조직이 AI 전략의 가치를 측정하는 방법을 만들기 위해서는 먼저 팀이 원하는 결과와 얻고자 하는 가치를 구체화해야 한다. 메이슨은 “조직 전체가 ROI를 측정할 수 있는 명확한 방법을 가지고 있어야 한다. KPI와 OKR을 만들거나 다른 어떤 프레임워크를 사용하든 상관없다. 기술 부서의 역할이 중요하다”라고 말했다.

많은 CIO가 여기서 해야 할 일이 있다: 2024년 9월 IDC의 설문조사에 따르면, CIO의 30%는 AI 개념 증명 중 목표 KPI 지표를 충족하거나 성공적인 것으로 간주되는 비율이 몇 퍼센트인지 모른다고 인정했다. AI 프로젝트가 ‘그저 보여주기 위한’ 것일 가능성이 높은 셈이다.

어떤 ROI를 산출할까?

조직이 AI, 특히 생성형 AI의 잠재력에 주목하는 가운데, 뱅가드의 기업 시스템 및 기술 책임자인 제니퍼 맨리는 예상되는 ROI를 계산하는 것이 중요하다고 강조했다. 그녀는 “대규모 투자, 특히 인프라와 인재에 대한 상당한 투자가 필요할 수 있다. 비즈니스의 핵심 전략적 파트너로서 CIO는 투자가 비즈니스 가치 측면에서 창출할 수 있는 수익을 고려해야 한다”라고 말했다.

맨리가 이와 관련해 염두에 두는 것 중 하나는 여러 AI 프로젝트에 대한 종합적 시각이다. “CIO는 조직 전체에 걸쳐 전략적 투자를 활성화하고 생성형 AI를 민주화하는데 중점을 두어야 한다. 직원들은 점진적인 가치 창출, 효율성, 자동화를 촉진할 방법을 찾게 될 것이다. 소규모 그룹이 모든 개별 팀/부서의 일상 업무를 생성형 AI로 혁신할 수 있는 방법을 모두 구상할 수는 없다. 그렇기 때문에 모든 사람의 집단적인 힘이 필요하다”라고 그녀는 덧붙였다.

AI 전략이 전사적으로 적용되는가?

인포시스의 부사장 겸 미주 제공 책임자인 아난트 아디아도 비슷한 의견을 제시했다. “AI 전략은 한두 개의 워크스트림이 아니라 조직 전체에 걸쳐 구현되는 것이 중요하다. 조직이 단편적인 방식으로 AI 전략을 도입하려고 하면 일부 워크스트림이 뒤처질 수 있으며, 이로 인해 조직 내 AI 발전과 이해의 불균형이 초래될 수 있다”라고 말했다.

아디아는 이어 조직의 AI 전략이 균등하게 구현되지 않는다면 “AI 출시 계획을 다시 생각해보라”라고 조언했다.

그는 이어 “회사 내 한 분야의 리더들과만 AI 구현에 대해 회의를 해왔다면 이제 전사적인 AI 프로그램에 대한 계획을 세워야 할 때다. 회사의 한 영역에서 AI 구현을 통해 단기적인 성공을 거둘 수는 있지만, AI 경쟁에서 뒤처지지 않으려면 포괄적인 구현 계획을 수립하고 이를 실행에 옮겨야 한다”라고 말했다.

그러기 위해서는 현재 AI 전략을 평가하고 조직의 업무에 AI가 통합되지 않은 부분을 파악해야 한다. 이후 더딘 워크플로우의 속도를 높이기 위한 계획을 수립한다. 그리고 AI 전략 실행을 돕기 위해 지정된 각 부문의 리더들과 정기적으로 회의를 진행하라는 설명이다.

아디야는 “각 워크스트림의 성공을 위해서는 조직 전체에서 진행되는 AI 구현에 대한 완전한 가시성을 확보하는 것이 중요하다”라며, “IT 리더는 모든 직원이 AI와 그 역량을 충분히 이해하고 있는 것은 아니라는 사실을 고려하고 있는지 자문해봐야 한다”라고 덧붙였다.

그는 “CIO와 다른 리더는 AI 사용 방법과 그에 따른 언어를 잘 이해하고 있을 수 있지만, 모든 직급의 직원이 AI를 똑같이 이해하고 있다고 가정하는 것은 조직의 성공에 해가 될 수 있다. AI 전략과 실행 계획이 모든 직원이 AI와 그 역량을 충분히 이해하고 있지 않다는 사실을 고려하지 않는다면 AI 교육 프로그램을 재고해야 한다”라고 말했다.

샌드박스를 넘어설 수 있는 데이터, 인재, 거버넌스를 갖추고 있는가?

조직은 일반적으로 AI 사용 사례를 테스트하고 개념 증명 및 파일럿을 시작하여 투자 확대를 결정한다. 그리고 이러한 테스트는 선별된 데이터와 뛰어난 팀이 있는 샌드박스 환경에서 이루어지는 경향이 있다. 하지만 CIO는 AI 전략을 수립할 때 성공적인 AI 테스트를 프로덕션으로 전환할 준비가 되어 있는지 자문해야 한다고 메이슨은 강조했다.

그는 “조직 전체에 AI를 확장하기 위해서는 데이터, 인재, 거버넌스를 갖추고 있어야 한다. 이 세 가지 요소는 조직이 제대로 갖추어야 할 기본적인 요소다”라고 말했다.

한 연구에 따르면 AI PoC 중 일부만 실무 현장으로 전환되고, 전환된 것 중 또 일부만 성공적인 결과를 만들어낸다. CIO와 경영진은 전환 이후의 성공에 대해 더 고민을 해야 할 필요가 있다.

데이터에 대해 얼마나 확신하고 있는가?

조직의 AI 활용을 고도화하면서 게리어는 자신이 ‘데이터에 대해 얼마나 확신할 수 있는가?’라는 질문을 제기한다고 전했다. 그는 “우리가 소유하고 있는 데이터와 수집하는 데이터를 알고 있는가? 데이터 생태계를 제대로 이해하고 있는가? 그 이해도를 0점부터 10점까지 평가한다면 어디에 해당할까? 나는 모든 AI에 대해 항상 이런 질문을 던진다”라고 말했다.

물론 모든 사용 사례에서 데이터가 완벽할 필요는 없다. 하지만 조직은 데이터 환경을 평가하여 추진 중인 특정 AI 프로젝트에 적합한지 파악할 필요가 있다. 그는 “AI를 사용하여 보조금 요청서의 한 문단을 수정하는 작업은 민감하지 않다. 하지만 허리케인 지역에서 인도주의적 위기에 대응하는 방법을 결정하는 데 AI를 사용한다면, 사람들의 생명과 생계가 걸린 문제라면 이야기가 달라진다”라고 설명했다.

조직이 감사를 받을 때 AI 사용을 자신 있게 방어할 수 있을까?

이 질문은 사람들이 AI 계획을 진행할 때 고려해야 할 또 다른 질문이다. 게리어는 이 질문이 추진하고자 하는 AI 프로젝트에 대해 얼마나 확신을 가지고 있는지를 진지하게 고민하게 만든다고 말했다. “적어도 나는 모든 구성 요소를 방어할 수 있어야 한다고 본다”라고 그는 덧붙였다.

AI 시스템을 구동하는 데이터의 품질과 양에 대해 100% 확신할 수는 없더라도 그 품질과 양이 사용 사례에 충분히 높고, 데이터가 적절히 보호되며, 개인정보 보호와 같은 규제 요건과 모범 사례를 준수한다는 확신이 필요하다는 설명이다.

또 기업 리더는 알고리즘이 의도하지 않은 편견에 대한 안전장치가 있고, 결과가 검증되고 설명 가능하며, 윤리적으로 사용된다는 점, 즉 감사나 증언에서 방어할 수 있을 만큼 알고리즘에 대한 확신을 가져야 한다고 그는 말했다.

AI 배포에 따른 윤리적, 법적, 규정 준수 문제를 처리할 준비가 되어 있는가?

기업에 AI 및 디지털 혁신 솔루션을 제공하는 포럼3의 공동 설립자이자 공동 CEO인 앤디 색은 비슷한 맥락에서 CIO가 자신과 다른 최고 경영진에게 이 질문을 던져야 한다고 말했다. 정부가 더 많은 AI 규제를 고려하고 법원이 AI 관련 사건을 다루며 사회가 기술의 현실적인 비극적 결과와 씨름하고 있는 오늘날 더욱 중요해지고 있는 질문이라는 진단이다.

색은 기업이 AI 전략과 사용 사례에서 발생할 수 있는 윤리적, 법적, 규정 준수에 대한 영향을 고려하고 조기에 문제를 해결해야 한다고 강조했다. 그는 “윤리적, 법적, 규정 준수에 대한 대비는 기업이 잠재적인 법적 문제와 윤리적 딜레마를 예측하여 회사를 보호하는 데 도움이 된다. 윤리, 법률 및 규정 준수 문제가 해결되지 않은 경우 CIO는 포괄적인 정책과 지침을 개발해야 한다. 또한 법률 전문가와 상의하여 규정을 탐색하고 감독 위원회를 구성해야 한다”라고 말했다.

위험 허용 범위는 어느 정도이며, 어떤 안전장치가 필요할까?

맨리는 이 질문을 감안해 AI 활용 범위를 결정하라고 설명했다. “뱅가드에서는 실험, 교육, 아이디어를 통해 윤리적이고 책임감 있는 AI 도입에 집중하고 있다. 초기의 생성형 AI 실험이 코드 작성, 콘텐츠 제작, 정보 검색 및 요약에 중점을 뒀던 이유다”라고 말했다.

즉 조직의 위험 허용 범위와 데이터 민감도를 기반으로 허용 가능한 사용 패턴을 정의하는 AI 거버넌스 프레임워크를 구축하여 위험이 낮은 AI 사용 사례를 신속하게 처리하는 동시에 고위험 애플리케이션에 대해서는 보다 엄격한 평가를 적용해야 한다.

그녀는 “이 접근 방식을 통해 팀은 안전하고 효율적으로 혁신하는 동시에 민감한 데이터가 포함된 사용 사례에 대해 더욱 엄격한 보호 조치를 취할 수 있다. 강력한 보안 조치, 편향성 완화 기술, 윤리적 검토 프로세스를 구현함으로써 CIO는 위험을 최소화하고 책임감 있는 AI 사용을 보장할 수 있다”라고 말했다.

하지만 아직 모든 조직이 이 단계에 도달한 것은 아니다. 맞춤형 디지털 솔루션을 제공하는 루멘널타의 데이터 거버넌스 연구에 따르면 조직의 33%만이 AI 거버넌스를 위한 사전 예방적 위험 관리 전략을 구현한 것으로 나타났다.

협업하고 소통하고 있는가?

보스턴 컨설팅 그룹의 기술 구축 및 설계 부서인 BCG X의 전무 이사 겸 수석 파트너이자 북미 공동 의장인 세시 아이어는 CIO가 홀로 일을 진행해서는 안 된다고 강조했다.

“스스로에게 물어야 한다. 현업과 교류하면서 가치를 전달하고 있는지, 12개월 이내에 의미 있는 투자 수익을 달성하기 위한 명확한 경로를 가지고 있는지, 디지털 에코시스템의 힘을 활용하여 생서형 AI 의제를 지원하고 있는지, 이러한 목표를 달성하기 위해 대규모로 데이터를 추출하고 사용할 명확한 계획이 있는지에 대해서다”라고 아이어는 말했다.

이러한 질문은 CIO가 가치를 제공하고, 효과적으로 지출 계획을 수립하고, 광범위한 에코시스템의 지적 재산과 제품을 활용해 가치를 실현하는데 데 매우 중요한 역할을 한다. “또한 이러한 AI 기반 성과를 달성하는 데 필요한 ‘디지털 연료'(즉, 데이터와 인프라)를 보유하고 있는지 판단해야 한다”라고 그는 말했다.
[email protected]