“이래야 월드 클래스 IT” 생성형 AI가 바꾸는 CIO의 미션과 전략

한 기업 임원이 필자에게 조직의 수준을 높이기 위해 지금 이 시대의 ‘월드 클래스 IT’가 어떤 모습인지 정의해달라고 요청했다. AI가 IT 부서에 대한 기업의 기대 수준을 크게 바꿔 놓은 지금, 이 질문에 답하기 위해 많은 고민이 필요하다.

디지털 트랜스포메이션 시대에는 IT가 단순한 운영 책임을 넘어 디지털 제품 출시, 고객 경험 개선, 데이터 기반 조직 구축 등 비즈니스 성장을 견인하는 영역까지 역할을 확장해야 했다. 팬데믹과 그 이후의 재정적 불확실성 시기에는 많은 IT 부서가 자동화, 핀옵스(FinOps), 직원 경험 개선 등 비용 절감 목표를 중심으로 운영됐다. 하지만 생성형 AI 시대가 본격적으로 도래하면서 이사회와 경영진은 ‘세계적 수준의 IT’에 대한 관점을 바꾸고 있고, CIO 역시 미션과 목표를 재정립해야 하는 상황이다.

일부 CIO는 IT의 정체성을 재정의하며, 생성형 AI가 지금까지 알고 있던 IT의 종말을 의미하는 것은 아닌지 자문하고 있다. 실제로 AI는 현재 IT의 사명 자체를 극적으로 바꾸고 있다. CIO는 새로운 비즈니스 목표를 달성하고 IT 효율을 가속하며, 파괴적 위험에 대응하기 위해 IT 조직 모델을 재설계하고 있다.

AI로 인해 더 높아진 기업의 기대치

기업 경영진은 CIO와 IT 조직이 직원의 AI 활용을 적극적으로 확대하는 동시에 통제되지 않는 AI 에이전트의 위험은 피하도록 지원하기를 원한다. 이런 역할은 혁신 주도, 효율성 개선을 위한 자동화, 보안 강화라는 기존 IT의 책무에 더해지는 새로운 책임이다.

생성형 AI 시대의 세계적 수준의 IT가 어떤 모습인지는 조직의 목표에 따라 달라지지만, 몇 가지 핵심 영역이 존재한다. 필자는 세계적 수준의 IT에 대한 관점을 두 가지 핵심 요소로 정리했다.

• 이해관계자와 협력하는 방식을 재정의해 조직 문화를 발전시키고 AI 도입을 가속화한다.
• 실험을 수용하고 AI 도입을 통해 비즈니스 가치를 창출하며 확장 가능한 플랫폼을 표준화하는 방식으로 IT 운영 모델을 확장한다.

생성형 AI 시대에 세계적 수준의 IT 부서가 조직을 이끄는 사례를 알아보자.

비즈니스와의 의미 있는 관계 구축

가트너에 따르면, 생성형 AI는 현재 환멸의 골짜기에 진입하고 있으며, 이는 지난 2년간의 AI에 대한 과도한 기대와 열기가 이제 실용주의로 전환되고 있다는 신호다. IT 부서는 이제 비즈니스 감각이 뛰어난 아키텍트, 엔지니어, 제품 관리자를 필요로 하며, 이들이 비전 선언문을 수립하고 AI를 비롯한 투자에 대한 비즈니스 타당성을 제시해야 한다. 일부 CIO는 우선순위를 명확히 정하고 사용자 경험을 강화하며 성과를 창출하기 위해 제품 중심 IT 모델을 채택하고 있다.

워크데이의 CIO 라니 존슨은 “우리 팀은 시장 동향을 상시로 모니터링하고 신기술의 가치를 입증하면서 주요 투자와 파트너십을 이끌어낼 수 있도록 지원하고 있다”라고 밝혔다. 존슨은 “이런 전략적 기능은 IT팀이 독자적으로 고위험 결정을 내릴 수 있는 권한이나 AI에 대한 관할권이 부족한 경우가 많기 때문에, 경영진의 후원을 확보하는 데 핵심적인 역할을 한다”라고 강조했다.

최고의 CIO는 관계 구축을 핵심적인 변화 역량으로 인식하며, IT 리더를 육성하기 위한 실천 방안으로 다음과 같은 조치를 취하고 있다.

• IT 리더와 핵심 인재에게 비즈니스 리더와의 파트너십 구축을 성과 목표로 부여한다.
• 적극적인 경청, 커뮤니케이션, 리더십 협업 역량을 공식화한다.
• 명확한 비즈니스 목표를 도출하는 대화 기법을 멘토링한다.
• 비즈니스 리더가 목표를 재조정하거나 방향을 전환하려는 신호를 포착하는 능력을 강화한다.

AI로부터 가치를 이끌어내기 위한 조직 문화의 신속한 진화

디지털 혁신을 주도해온 조직은 언제나 변화 관리 과제를 안고 있는데, 여기에는 전략적 목표에 집중하는 초기 수용 직원을 관리하고 회의적인 반응을 보이는 이들을 설득하는 일이 포함돼 있다. 특히 생성형 AI 시대에는 AI를 통해 생산성을 빠르게 높이고자 하는 부서 책임자의 기대와 AI가 자신의 일자리를 대체할지도 모른다는 직원들의 불안 사이에서 구성원의 동의를 얻는 일이 어느 때보다 중요하다.

최근 발표된 연구는 IT 부서가 AI 프로젝트에서 ROI를 확보하고, 동시에 직원들이 변화에 적응하도록 돕는 데 직면한 과제를 보여준다.

• MIT NANDA 보고서에 따르면, 맞춤형 AI 도구 중 실제 운영 환경에 배포된 비율은 5%에 불과하다.
• 워크데이 조사에 응한 이들 가운데 75%는 AI 에이전트와 함께 일하는 데 거부감이 없다고 답했지만, 50% 미만만이 AI가 자신에게 업무를 할당하거나 사용자 모르게 백그라운드에서 자율적으로 작동하는 것에 대해 편안하다고 느낀다고 답했다.
• AWS는 전체 조직의 60%가 최고 AI 책임자를 임명했지만, 변화 관리 프로그램을 운영 중인 곳은 14%에 그친다고 밝혔다.

CIO는 AI 프로젝트의 운영 배포율을 높이는 것을 목표로 삼아야 하며, 이를 통해 이사회와 경영진의 지속적인 투자를 이끌어내야 한다. 이 격차를 해소하기 위해서는 보다 적극적인 변화 관리 전략과 조직 문화 전환이 요구된다.

뉴타닉스 CIO 라미 마지드는 “CIO의 역할은 이제 단순한 운영 책임자에서 비전을 제시하는 전략가로 바뀌고 있다”라며, “비즈니스 부서가 안전하게 혁신을 추진할 수 있도록 지원하고 AI를 포함한 최신 기술을 구체적인 성과로 연결하며, 조직의 끊임없는 변화 과정을 이끌어야 한다”라고 설명했다. 특히, “이런 근본적인 전환은 단지 도구나 플랫폼의 문제가 아니라, CIO가 사고하고, 이끌고, 조직 문화를 형성하는 방식의 변화다. 앞으로는 AI 기반 신규 사용례의 수를 측정하는 등의 ‘혁신 속도’ 같은 지표가 점점 더 중요해질 것”이라고 강조했다.

CIO가 집중해야 할 3가지 분야는 다음과 같다.

• 애자일 개발 내에서 변화 관리의 중요성을 강화
• HR과 협력해 AI 도입을 장려하는 인센티브 및 성과 계획 수립
• 어떤 AI 실험을 우선순위로 둘 것인지 판단할 기준 정의

모든 직원이 AI를 안전하게 실험할 수 있도록 지원

로우코드와 시민 데이터 과학 플랫폼은 이미 20년 전부터 등장했다. 일부 IT 부서는 이를 수용해 비IT 부서 직원이 애플리케이션, 데이터 파이프라인, 대시보드를 직접 개발할 수 있도록 베스트 프랙티스를 제시했다. 반면, 일부 조직은 섀도우 IT, 기술 부채, 보안 문제 등을 우려해 비즈니스 부서에 개발 도구와 기회를 제공하는 데 소극적이었다.

시민 개발 전략은 비즈니스 부서가 기술을 실험하고 구축하며 운영할 수 있도록 지원하면서 IT의 민주화를 돕는다. 생성형 AI는 이 전략의 범위와 규모를 한층 넓히고 있으며, 특히 직무별 AI 에이전트나 AI 기반 워크플로 자동화를 실험하는 조직이 늘어나면서 더욱 중요해지고 있다.

앱다이렉트 CTO 앤디 센은 “생성형 AI 시대는 IT의 인간화를 이끌 것이며, 직원이 AI를 통해 더 효율적으로 일하고 더 많은 데이터를 의사결정에 활용하며, 자신만의 도구를 개발할 수 있도록 할 것”이라고 말했다. 센은 “세계적 수준의 IT 조직은 촉진자 역할을 하며, 직원이 혁신적인 솔루션을 개발할 수 있는 실험 공간을 제공하는 동시에 지식 재산권과 보안 리스크는 최소화할 수 있어야 한다”라고 조언했다.

‘가드레일’은 거버넌스와 기술 전략을 정의하는 최신 용어다. 세계적 수준의 IT 조직은 AI 거버넌스를 단순한 정책과 위험 방지책으로 한정하지 않고, AI 실험의 우선순위 결정 절차, 투자 기준, 플랫폼 선정, 개발 프로세스, 품질 보증 요건, 도메인 특화 언어 모델 및 AI 에이전트 개발을 위한 전체 수명주기 고려사항까지 폭넓게 정의한다.

앱파이어 CTO 에드 프레더리치는 “생성형 AI 시대에 세계적 수준의 IT는 사람들이 최고의 성과를 낼 수 있도록 돕는 효과성으로 평가될 것”이라며, “기술 리더는 사람과 기술이 협업하는 방식을 형성하고 있으며, 구성원이 거버넌스와 보안을 확보한 상태에서 AI를 신뢰하고 수용할 수 있는 조직 문화를 만들어가고 있다”라고 전했다.

이 분야에서 효과적인 IT 부서의 3가지 특징은 다음과 같다.

• 직원이 AI를 현명하고 준법적으로 활용할 수 있도록 정기적인 교육 프로그램을 운영한다.
• 애자일 팀 내에서 AI 역량을 공동 개발하는데, 이 팀에는 업무에 영향을 받는 부서의 현업 전문가와 최종 사용자, 기술 전문가, 외부 전문가 등이 함께 참여한다.
• 일방적인 명령 대신 자율적인 표준 정립을 유도하며, CoE가 베스트 프랙티스를 검토하고 도입을 안내한다.

독자적인 데이터를 활용해 비즈니스 가치를 확장하기

IT 부서는 기업 데이터, 특히 지식 재산에 대한 관리 책임과 복잡성, 기회가 갈수록 커지고 있다. 일부 IT 부서는 데이터의 속도와 규모에 압도되어 인프라와 데이터 관리 체계를 항상 뒤쫓는 상황에 놓여 있다.

데이터펠라고(DataPelago) CEO 라잔 고얄은 “생성형 AI 시대의 IT는 AI에 필요한 방대한 양의 복잡한 데이터를 얼마나 효과적으로 관리하느냐에 따라 수준이 결정된다”라며, “현재의 인프라는 이런 요구를 감당할 수 있도록 설계돼 있지 않다. AI로 인해 데이터 관리의 중요성이 부각되면서 유능한 CIO는 기술 리더이자 데이터 리더로서 AI 수요 증가에 맞춰 확장 가능한 시스템을 설계해야 할 책임을 맡게 될 것”이라고 강조했다.

생성형 AI 시대에 IT 부서의 주요 과제는 기업의 핵심 데이터 자산을 경쟁력 있는 가치로 전환하는 것이다. 데이터를 가치 있는 정보로 전환하려면 데이터 과학자, 데이터 거버넌스 전문가, 데이터 보안 전문가, 기타 데이터옵스(DataOps) 엔지니어 간의 협력이 필요하다.

컨센트릭스의 소프트웨어 아키텍처 담당 총괄 책임자 수만 파파나보이나는 “CIO는 사람과 코파일럿, 에이전트가 함께 공존하며 성과를 낼 수 있도록 플랫폼, 데이터, 가드레일을 설계하는 조율자 역할을 맡고 있다”라며, “새로운 시대의 세계적 수준 IT는 신뢰, 복원력, 비즈니스 성과를 어떻게 이끌어내고, 지능을 기업의 핵심 역량으로 만들 수 있느냐에 따라 평가될 것”이라고 분석했다.

세계적 수준의 IT 조직이 차별화되는 활동은 다음과 같다.

• 기능 중심이 아닌, 데이터 제품 제공과 AI 에이전트 개발 중심으로 팀을 구성한다.
• 전통적인 운영 지표보다 성장, 신뢰, 속도 같은 디지털 전환 KPI에 집중한다.
• 데이터 이해력 향상, 데이터 카탈로그 이니셔티브, 분석 도구 활용 모범 사례 전파 등 교육 목표를 성과 지표에 포함한다.

평생 학습 문화 수용

전문가들은 생성형 AI 기술이 빠르게 진화하는 만큼, CIO가 IT 조직 내부에 학습 문화를 구축하는 것이 무엇보다 중요하다고 강조했다.

인포시스의 데이터·분석·AI 글로벌 총괄 수석 부사장 수닐 세난은 “세계적 수준의 IT를 보유한 조직은 사람과 기계가 함께 안전하고 책임감 있게 학습하는 문화를 새롭게 정의하게 될 것”이라며, “리더는 회복 탄력성과 지속적인 학습, 그리고 AI가 인간의 창의력을 대체하는 것이 아니라 증폭시키는 환경을 조성해야 한다”라고 설명했다.

평생 학습에 대한 약속은 단순한 교육, 자격증 취득, 실험 기회 제공을 넘어선다. 세계적 수준의 조직은 핵심 인재가 안주하지 않고 새로운 도전을 할 수 있도록 고객 방문, 산업별 이벤트 참여, 특정 부서의 업무를 체험하는 기회 등을 제공한다.

CIO는 현재의 연간 계획 및 예산 수립 기간에 ‘세계적 수준의 IT란 무엇인가’를 명확히 정의하는 데 집중해야 한다. 생성형 AI 이전의 미션과 목표에 집착한다면, 비즈니스는 경쟁에 뒤처지고 이해관계자는 기술 리더십에 대한 불만을 제기할지도 모른다.
dl-ciokorea@foundryco.com