칼럼 | AI는 더 이상 소프트웨어가 아니다. 기업 인프라다.

수십 년 동안 기업 기술은 비교적 익숙한 발전 경로를 따라왔다. 새로운 기술은 처음에는 일부 고급 사용자만 활용하는 전문 도구로 등장했고, 전담 팀이 관리하며 특정 부서 예산으로 운영됐다. 이후 기술이 가치를 입증하면 점진적으로 위상이 높아졌다. 먼저 공용 서비스로 확장되고, 이후 핵심 기술 스택에 편입되며, 최종적으로는 조직 운영 전반에 스며드는 구조로 자리 잡았다. 데이터베이스, 네트워크, 클라우드 컴퓨팅이 모두 이러한 흐름을 거쳤다.

인공지능은 이러한 여정을 기존 기술 대비 약 4분의 1 수준의 시간 만에 완료했다.

이제 근거는 더 이상 이론에 머물지 않는다. 다양한 산업에서 AI는 파일럿 프로젝트 단계를 넘어 실제 운영 의존 단계로 이동했다. 금융 서비스 기업은 불과 3년 전까지만 해도 연구 수준으로 여겨졌던 모델을 활용해 신용 평가와 사기 탐지를 수행하고 있다. 제조업은 AI를 활용해 생산 일정을 실시간으로 최적화하고 있으며, 의료 시스템은 임상 워크플로우에서 AI 기반 진단 지원에 의존하고 있다. 유통 기업 역시 수요 예측, 가격 책정, 고객 경험 전반에 AI를 동시에 적용하고 있다.

이러한 변화는 CIO와 기술 리더에게 분명하면서도 동시에 무거운 과제를 던진다. AI는 더 이상 CRM이나 ERP와 같은 소프트웨어로 분류해 평가하고 관리할 대상이 아니다. AI는 인프라다. 이를 여전히 기존 소프트웨어처럼 취급하는 조직은 범주 자체를 잘못 설정하는 오류를 범하고 있으며, 그 영향은 시간이 지날수록 누적된다.

인프라의 기준점

인프라와 소프트웨어를 구분하는 기준은 무엇인가. 이는 단순한 용어상의 차이가 아니다. 인프라는 조직 운영을 지탱하는 핵심 기반이다. 다른 모든 기능이 그 위에 구축되는 토대이기도 하다. 인프라는 단순히 투자 대비 수익(ROI)으로 평가하지 않는다. 안정성, 복원력, 그리고 전략적 선택 가능성을 기준으로 판단한다. 예를 들어 네트워크가 중단되면 투자 가치 여부를 따지는 것이 아니라 즉시 서비스를 복구한다. 모든 시스템이 그 위에 의존하기 때문이다.

AI는 점점 더 많은 기업에서 이미 이러한 인프라 기준을 넘어섰다. AI는 이제 고객 접점 프로세스, 내부 운영, 컴플라이언스 워크플로우, 경쟁 전략에 동시에 내재화돼 있다. 따라서 AI 시스템이 성능 저하를 일으키거나 장애가 발생하면 특정 팀의 불편에 그치지 않는다. 이는 곧 조직 전체의 운영 이슈로 이어진다.

이 변화는 기술 리더의 의사결정 방식에도 실질적인 영향을 미친다. 인프라 관련 결정은 연간 예산 사이클에서 단기적으로 내려지는 것이 아니라, 장기적인 관점에서 전략적으로 이루어진다. 이 과정에서는 이중화와 리스크 관리가 핵심 요소로 고려된다. 또한 인프라는 단순한 사용 정책이 아니라 체계적인 거버넌스를 필요로 한다. 기능 확장뿐 아니라 복원력 확보를 위한 투자도 요구된다. 더 나아가 IT 부서가 아닌 이사회 차원의 책임 체계까지 필요하다.

그러나 많은 조직은 아직 이러한 수준에 도달하지 못했다. 최근 기업 기술 리더를 대상으로 한 조사에 따르면, 상당수 조직이 여전히 AI 비용을 소프트웨어나 연구개발(R&D) 예산으로 분류하고 있다. 또한 전담 거버넌스 조직 대신 임시 협의체 형태로 AI를 관리하고 있으며, 모델 드리프트, 벤더 종속성, 데이터 출처 등 AI 리스크에 대한 명확한 관리 체계도 부족한 상황이다. 이는 핵심 시스템을 이미 클라우드에서 운영하면서도 이를 부서 단위 실험으로 취급하는 것과 다르지 않다.

거버넌스 격차가 진짜 위험

AI 거버넌스의 성숙도 격차는 기술 자체의 문제가 아니다. 모델도 존재하고, 플랫폼도 갖춰져 있으며, 활용 사례 역시 충분히 축적돼 있다. 문제는 조직에 있다. 기술 발전 속도에 맞춰 거버넌스와 운영 모델을 업데이트하지 못한 것이 핵심이다.

효과적인 AI 거버넌스를 위해 필요한 요소를 보면 그 이유가 분명해진다. 가장 먼저 필요한 것은 가시성이다. 어떤 AI 시스템이 실제 운영되고 있는지, 누가 이를 책임지고 있는지, 어떤 데이터를 활용하는지, 그리고 어떤 의사결정에 영향을 미치는지를 파악해야 한다. 그러나 이를 제대로 관리하는 기업은 많지 않다. 특히 공식 IT 통제 밖에서 운영되는 ‘섀도우 AI’가 빠르게 확산되고 있다. 직원들이 소비자용 AI 도구를 활용해 민감 데이터를 처리하고, 고객 커뮤니케이션을 생성하며, 비즈니스 의사결정에 활용하는 사례가 늘고 있지만, 조직 차원에서는 이를 인지하지 못하는 경우가 많다.

가시성을 넘어, 거버넌스에는 명확한 책임 구조가 필요하다. AI 시스템이 차별적인 결과를 생성했을 때 누가 책임지는지, 어떤 기준으로 모델을 운영 환경에 배포하는지, 성능 변화는 누가 모니터링하는지에 대한 명확한 답이 있어야 한다. 이러한 문제는 단순한 벤더 계약이나 사용 정책으로 해결되지 않는다. 역할 정의, 보고 체계, 감사 기능을 포함한 체계적인 관리 구조가 필요하며, 이는 재무 통제나 데이터 보안과 동일한 수준의 엄격함을 요구한다.

규제 산업에서는 이러한 요구가 이미 구체화되고 있다. 유럽연합의 AI 법안(EU AI Act), 미국 증권거래위원회(SEC)의 알고리즘 의사결정 관련 지침, 그리고 금융 및 의료 규제 기관의 산업별 프레임워크는 모두 같은 방향으로 나아가고 있다. 즉, 중요한 의사결정에 영향을 미치는 AI 시스템에 대해 문서화, 위험 분류, 책임 구조를 의무화하는 것이다. 이러한 규제 대응을 위해서는 프로젝트 단위가 아닌 인프라 수준의 거버넌스가 필요하다.

구축 vs 구매, 전략이 바뀌었다

기술 리더가 직면한 전략적 질문도 달라지고 있다. 지난 10여 년 동안 기업의 주요 AI 전략은 기존 소프트웨어 플랫폼에 포함된 기능을 구매하는 방식이 중심이었다. 예를 들어 예측 모듈이나 추천 엔진을 도입하고, 일부 차별화된 영역에서만 맞춤형 솔루션을 구축하는 형태였다. 그러나 파운데이션 모델 시대가 도래하면서 이러한 접근 방식은 근본적으로 재편됐다.

대형 언어 모델과 멀티모달 파운데이션 모델은 AI 네이티브 역량을 구축하는 비용을 크게 낮췄다. 이제 핵심 질문은 AI를 사용할 것인가가 아니라, 조직 전략에 부합하면서도 지속 가능하고 경쟁력을 갖춘 AI 아키텍처를 어떻게 설계할 것인가로 바뀌었다. 이는 어떤 파운데이션 모델을 선택할지, 파인튜닝과 맞춤화를 어떻게 운영할지, 독점 데이터로 어떻게 장기적인 경쟁 우위를 확보할지, 그리고 여전히 재편 중인 시장에서 벤더 종속을 어떻게 피할지에 대한 의사결정을 포함한다.

이러한 결정은 단순한 도입이 아니라 인프라 아키텍처에 해당한다. 클라우드 아키텍처, 데이터 플랫폼 설계, 네트워크 구조를 결정할 때와 동일한 수준의 엄격함이 요구된다. 이들 결정은 수년에 걸친 영향을 미치고, 전환 비용이 크며, 다른 시스템과 깊이 연결돼 있다. 기능이나 사용자당 가격에 초점을 맞춘 구매 관점으로 접근하는 CIO는 충분한 전략적 고려 없이 내려진 결정으로 인해 향후 제약에 직면할 가능성이 크다.

전환은 어떻게 이뤄지고 있나

AI를 인프라로 다루는 것은 단일 프로젝트가 아니다. 이는 예산, 거버넌스, 인재, 벤더 전략 전반을 동시에 변화시키는 운영 모델의 전환이다. 이러한 변화를 성공적으로 수행한 조직은 몇 가지 공통된 특징을 보인다.

첫째, AI 투자를 프로젝트 예산에서 분리해 자본 및 운영 인프라 예산으로 전환했다. 이는 단순한 회계상의 변화가 아니라 장기적이고 지속적인 투자 의지를 조직 내에 명확히 반영하는 신호다.

둘째, 명확한 책임 구조를 갖춘 전담 AI 거버넌스 조직을 구축했다. 이 조직은 기술, 법무, 리스크, 사업 부문이 교차하는 위치에 자리하며, 분기별 회의에 그치는 위원회가 아니라 모델 관리, 운영 모니터링, 기준 준수를 실시간으로 수행하는 실행 조직이다.

셋째, AI 시스템의 안정성과 최신성을 유지하기 위한 데이터 인프라와 MLOps에 대한 투자를 강화했다. 모델 성능은 시간이 지나면서 저하되고, 데이터 분포는 변화하며, 규제 요구도 계속 추가된다. 따라서 데이터 파이프라인, 모니터링 시스템, 재학습 프로세스에 대한 지속적인 투자가 필요하다. 이는 다른 기업 인프라와 마찬가지로 패치, 업데이트, 용량 관리가 지속적으로 이뤄져야 하는 것과 같은 맥락이다.

넷째, 장기적으로 올바른 AI 아키텍처 결정을 내리기 위한 조직 내 지식을 축적하기 시작했다. 이는 데이터 과학자와 머신러닝 엔지니어 채용에 그치지 않고, 기술 리더십과 사업 부서, 이사회 전반에 걸쳐 AI 이해도를 높이는 것을 의미한다. 충분한 도메인 지식 없이 내려진 인프라 결정은 기술 부채로 이어지며, AI 역시 동일한 결과를 초래할 수 있다.

지금이 결정적 시점

과거 클라우드 전환 초기, 경쟁사보다 먼저 견고한 인프라를 구축하고 클라우드 네이티브 역량을 확보한 기업은 수년간 지속되는 경쟁 우위를 확보했다. 클라우드 리더와 후발주자 간 격차는 한 번 벌어지면 쉽게 좁혀지지 않았다. 인프라는 누적 효과를 갖기 때문이다. 더 나은 인프라는 더 뛰어난 역량을 만들고, 이는 더 우수한 인재를 끌어들이며, 다시 더 나은 인프라로 이어진다.

AI 역시 동일한 흐름을 따르고 있으며, 전략적으로 대응할 수 있는 시간은 점점 줄어들고 있다. 현재 AI를 인프라로 인식하고 거버넌스, 아키텍처, 인재, 운영 체계에 투자하는 조직은 향후 모방하기 어려운 경쟁력을 구축하고 있다. 반면 AI를 여전히 프로젝트 단위로 평가하는 소프트웨어 도구 집합으로 보는 조직은 단순히 뒤처지는 것이 아니라, 점점 회복이 어려운 격차에 놓이게 된다.

CIO에게 주어진 과제는 명확하다. AI가 인프라 수준의 투자와 거버넌스를 필요로 하는지 여부는 더 이상 논쟁의 대상이 아니다. 이미 많은 조직에서 그렇다. 중요한 것은 조직의 운영 모델, 거버넌스 구조, 전략 수립 방식이 이러한 현실을 얼마나 빠르게 반영하고 있는가다.

만약 이를 반영하지 못하고 있다면, 그것이 현재 조직이 직면한 가장 중요한 기술 과제다. 이는 개별 AI 프로젝트보다 더 중요하며, 여전히 AI를 소프트웨어 항목으로 분류하는 예산 체계 내부에서는 체감되지 않을 수 있지만 훨씬 더 시급한 문제다.
dl-ciokorea@foundryco.com