IT의 기본 전제가 바뀐다···CIO가 ‘최고 자율성 책임자’가 되는 이유

지난 분기 이사회 검토 회의에서 한 이사는 즉시 답하기 어려운 질문을 던졌다. 그는 “AI 기반 시스템이 컴플라이언스나 매출에 영향을 미치는 조치를 취했을 때, 그 책임은 엔지니어에게 있는가, 벤더에게 있는가, 아니면 당신에게 있는가?”라고 물었다.

회의실은 잠시 정적에 휩싸였고, 이내 모든 시선이 필자를 향했다.

수년간 예산과 장애 대응, 전사적 트랜스포메이션을 관리해 왔지만, 이 질문은 이전과는 달랐다. 가동 시간이나 비용에 관한 문제가 아니라 권한에 대한 질문이었다. 오늘날 기업에 도입되는 시스템은 문제를 식별하고, 해결책을 제안하며, 때로는 자동으로 실행한다. 이사회가 실제로 묻고 싶은 핵심은 단순했다. 소프트웨어가 스스로 행동할 때, 그 결정은 누구의 판단인가였다.

이 순간이 계속 마음에 남았던 이유는 많은 기술 리더가 공통적으로 느끼는 변화를 드러냈기 때문이다. 실제로 자동화는 효율성 추구 단계를 넘어서고 있다. 이제 거버넌스와 신뢰, 윤리의 영역까지 영향을 미친다. 자동화 도구는 회의를 열기 전에 사고를 해결할 수 있지만, 책임을 정의하는 모델은 그 속도를 따라가지 못하고 있다.

필자는 이것이 CIO의 역할을 재정의하고 있다고 본다. 실제 직책은 아닐지라도, 실제로 CIO의 역할은 기업 내부에서 사람의 판단과 기계의 판단이 어떻게 함께 작동하는지를 책임지는 ‘최고 자율성 책임자(chief autonomy officer)’로 변화하고 있다.

보스턴컨설팅그룹의 최근 연구 역시 CIO가 더 이상 가동 시간이나 비용 절감 같은 기준만으로 평가되지 않는다고 분석했다. 대신 AI 가치 창출을 전사 차원에서 얼마나 효과적으로 조율하는지가 핵심 지표로 떠오르고 있다. 이런 변화는 혁신 속도와 거버넌스, 신뢰 사이의 균형을 동시에 고려하는 더 깊은 구조적 사고를 요구한다.

기업에 조용히 스며드는 자율성

자율성은 전략으로 출발하는 경우가 드물다. 대부분 최적화라는 이름으로 조용히 기업에 들어온다.

스크립트 하나가 반복적인 티켓을 자동으로 종료하고, 워크플로우 하나가 3차례 점검 실패 이후 서비스를 재시작한다. 모니터링 규칙은 별도의 요청 없이 트래픽을 재분산한다. 이런 각각의 개선은 개별적으로 보면 큰 영향을 미치지 않을 것처럼 보이지만, 이들이 결합되면 독립적으로 행동하는 시스템이 된다.

자동화 제안을 검토하다 보면 ‘자율성’이라는 단어를 사용하는 경우는 거의 없다. 엔지니어는 이를 ‘안정성’이나 ‘효율성 개선’으로 설명한다. 목표는 수작업을 줄이는 데 있다. 여기엔 필요하다면 나중에 통제를 추가할 수 있다는 전제가 깔려있다. 하지만 실제로 그렇게 되는 경우는 드물다. 프로세스가 원활하게 작동하기 시작하면, 사람의 검토는 자연스럽게 줄어들기 때문이다.

많은 조직이 이런 최적화가 얼마나 빠르게 독립적인 시스템으로 진화하는지 과소평가한다. 맥킨지는 최근 CIO가 실험과 확장 사이에서 자주 난처한 상황에 놓인다고 분석했다. 초기 자동화 파일럿이 명확한 거버넌스 없이 조용히 자율 운영 프로세스로 정착해 간다는 것이다.

이 패턴은 산업 전반에서 공통적으로 나타난다. 금융, 헬스케어, 제조 분야의 IT 리더 역시 작은 성과가 점차 독립적인 행동으로 변해가는 흐름을 언급하고 있다. 한 CIO는 분류 봇이 수천 개의 접근 제어를 사전 검토 없이 수정한 사실을 컴플라이언스팀이 발견했다고 전했다. 해당 봇은 설계된 대로 작동했지만, 이를 둘러싼 정책 문구는 한 번도 업데이트되지 않은 상태였다.

문제는 기술 역량이 아니라 거버넌스다. 전통적인 IT 모델은 요청하는 주체, 승인하는 주체, 실행하는 주체, 감사하는 주체를 분리해 왔지만, 자율성은 이 단계를 압축한다. 로직을 작성한 엔지니어는 사실상 정책을 코드 안에 내장하게 되며, 시스템이 학습하기 시작하면 행동은 사람이 인지하는 범위를 벗어나 서서히 변화할 수 있다.

통제 가시성을 유지하기 위해 필자의 팀은 모든 자동화 워크플로우를 직원처럼 문서화하기 시작했다. 해당 워크플로우가 무엇을 할 수 있는지, 어떤 조건에서 작동하는지, 결과에 대한 책임자는 누구인지 기록하고 있다. 단순해 보이지만 명확성을 강제하는 방식이다. 엔지니어가 워크플로우의 관리자로 명시된다는 사실을 알게 되면, 경계 설정에 훨씬 신중해진다.

자율성은 기업 내부에서 조용히 성장한다. 그러나 일단 자리를 잡으면 리더는 이를 공식화할지, 아니면 예기치 않은 결과를 마주할지를 결정해야 한다.

책임 공백이 드러나는 지점

책임 주체가 사라질 때

자율성이 취약해지고 있다는 초기 신호는 미묘하다. 시스템이 티켓을 종료했지만 누가 이를 승인했는지 아무도 모른다. 변경 사항은 문제없이 적용됐지만, 그 규칙을 누가 작성했는지는 기억나지 않는다. 모든 것은 정상적으로 작동하지만, 설명은 사라진다.

로그가 기억을 대체할 때

내부 검토 과정에서 이를 직접 목격했다. 하나의 설정 조정이 환경 전반의 성능을 개선했지만, 로그에는 ‘시스템에 의해 실행됨’이라는 문구만 남아있었다. 작성자도, 맥락도, 의도도 없었다. 기술적으로는 정확했지만, 운영 관점에서는 공허한 기록이었다.

이런 순간을 겪으면서 책임이 단순히 오류를 막는 문제가 아니라 의미를 보존하는 일이라는 것을 깨닫게 됐다. 자동화는 설계와 실행 사이의 간극을 크게 줄이며, 워크플로우를 만든 사람은 수년간 지속되는 행동을 정의하게 된다. 일단 배포되면, 그 로직은 살아있는 정책처럼 작동한다.

정책이 현실과 맞지 않을 때

대부분의 IT 정책은 여전히 사람의 점검 단계, 즉 요청, 승인, 인수인계를 전제로 한다. 그러나 자율성은 이러한 단계를 제거한다. 따라서 기존 절차에 정의된 업무 방식은 실제로 일이 처리되는 흐름과 괴리가 생길 수 있다. 팀은 이에 맞춰 비공식적으로 적응하며 사람과 AI의 협업을 만들어 가지만, 이를 명확히 규정하지 않은 채 책임은 점점 흐려진다.

여기에는 인적 비용도 따른다. 시스템이 자율적으로 행동하기 시작하면, 팀원은 자신들이 대체되는 것인지, 아니면 직접 손대지 않은 결과에 대해서도 여전히 책임을 져야 하는지 알고 싶어 한다. 이 질문에 대한 답을 미리 명확히 하지 않으면 조용한 저항이 생기게 된다. 권한은 공유된 상태로 유지하며, 시스템이 사람의 판단을 대체하는 것이 아니라 확장하는 것이라는 점을 분명히 하면 도입은 정체되지 않고 개선된다.

협업을 명확히 하기

가시성을 회복하기 위해 필자의 팀은 모든 핵심 워크플로우를 운영 방식에 따라 3가지로 구분하기 시작했다.

• 사람 주도형: 사람이 결정하고 AI가 보조한다.
• AI 주도형: AI가 실행하고 사람은 이를 감사한다.
• 공동 관리형: 인간과 AI가 함께 학습하고 조정한다.

이 간단한 분류 체계가 책임에 대한 인식을 바꿨다. 논의의 초점은 ‘누가 버튼을 눌렀는가’에서 ‘어떻게 함께 결정했는가’로 이동했다. 자율성은 나중이 아니라 설계 단계에서부터 사람의 참여 방식이 정의될 때 더 안전해진다.

확장 이전에 가드레일을 구축하는 방법

인간과 AI가 공동으로 통제에 관여하는 시스템을 설계하려면 신중함만으로는 부족하다. 이를 뒷받침할 구조가 필요하다. 목표는 자동화를 늦추는 것이 아니라, 자율성이 조직 안에서 지속적으로 작동할 수 있는 기반을 마련하는 데 있다.

상호작용 수준 정의

모든 자율 워크플로우를 사람의 참여 수준에 따라 구분한다.

• 1단계 – 관찰: AI가 인사이트를 제공하고, 실행은 사람이 맡는다.
• 2단계 – 협업: AI가 행동을 제안하고, 사람은 이를 확인한다.
• 3단계 – 위임: AI가 정의된 범위 내에서 실행하고, 사람은 결과를 검토한다.

이 단계는 신뢰의 축적 과정을 보여주는 기준이 된다. 시스템이 일관성과 안정성을 입증할수록 더 높은 수준으로 이동할 수 있다. 이 프레임워크는 직관에 의존하던 판단을 측정 가능한 결과로 바꾸고, 이후 법적 검토나 감사 과정에서 도입이 중단되는 상황을 예방하는 역할을 한다.

책임을 위한 검토 위원회 구성

필자는 엔지니어링, 리스크, 컴플라이언스 인력으로 구성된 소규모 위원회를 마련했다. 이 조직의 역할은 기술 자체를 승인하는 것이 아니라, 배포 이전에 책임 구조를 승인하는 것이었다. 위원회는 2단계 또는 3단계 워크플로우에서 3가지를 확인한다. 결과의 책임 주체는 누구인지, 문제가 발생했을 때 되돌릴 수 있는 장치는 무엇인지, 그리고 설명 가능성은 어떻게 확보되는지다. 이 과정은 출시 이후 과도한 감독으로 인해 속도가 멈추는 상황을 막아주며, 빠른 실행을 가능하게 한다.

설명 가능한 시스템 구축

각 자율 워크플로우는 어떤 계기로 동작했는지, 어떤 규칙을 따랐는지, 어떤 임계값을 넘었는지를 기록해야 한다. 이는 단순한 엔지니어링 관행 차원이 아니다. 규제가 적용되는 환경에서는 특정 시점에 왜 시스템이 행동했는지를 묻는 질문이 언젠가 나온다. 이를 평이한 언어로 설명할 수 없다면 자율성은 중단된다. 추적 가능성은 자율성이 허용되기 위한 전제 조건이다.

실제로 이러한 실천이 누적되면서 팀의 사고방식도 달라졌다. 이제 자율성을 대체 수단이 아니라 파트너십으로 다룬다. 사람은 맥락과 윤리를 제공하고, AI는 속도와 정밀함을 제공한다. 양쪽은 서로에게 책임을 진다.

필자는 이를 ‘휴먼 플러스 AI’ 모델이라고 부른다. 모든 워크플로우는 사람 주도형인지, AI 주도형인지, 공동 관리형인지를 명확히 선언한다. 한 줄의 소유권 정의만으로도 망설임과 혼란이 크게 줄어든다.

자율성은 더 이상 기술적 이정표가 아니다. 조직의 성숙도를 가늠하는 시험대다. 즉, 기업이 신뢰를 얼마나 명확하게 정의할 수 있는지를 보여주는 기준이 된다.

CIO의 새로운 책무

이것이 CIO 역할이 향하고 있는 방향이라고 본다. CIO는 더 이상 인프라를 지키는 관리자에 머물지 않는다. 사람과 AI의 사고가 책임감 있게 공존하도록 설계하는 공유 지능의 설계자로 변화하고 있다.

자율성은 사람을 의사결정 과정에서 배제한다는 의미가 아니다. 사람과 AI 시스템이 어떻게 서로를 신뢰하고, 검증하며, 학습하는지를 설계하는 문제다. 그 설계 책임은 이제 분명히 CIO에게 있다. 즉, ‘최고 자율성 책임자’로서 CIO의 역할이다.
dl-ciokorea@foundryco.com