“구축도 구매도 아니다” AI 전략의 다음 단계는 오케스트레이션

1년 전만 해도 에이전틱 AI는 대부분 파일럿 프로그램 수준에 머물렀다. 하지만 현재 CIO는 에이전틱 AI를 고객 대면 워크플로우 내부에 구현하고 있다. 정확성, 지연 시간, 설명 가능성 등이 비용만큼이나 중요한 영역이다.

이처럼 에이전틱 AI 기술이 실험 단계를 넘어 성숙하면서 ‘구축할 것인가, 구매할 것인가’라는 질문이 다시 시급한 과제로 떠올랐지만, 의사결정은 어느 때보다 어려워졌다. 전통적인 소프트웨어와 달리 에이전틱 AI는 단일 제품이 아니다. 에이전틱 AI는 기반 모델, 오케스트레이션 계층, 도메인 특화 에이전트, 데이터 패브릭, 거버넌스 레일 등으로 구성된 스택이다. 각 계층은 서로 다른 위험과 이점을 안고 있다.

CIO는 더 이상 “직접 구축할 것인가, 사서 쓸 것인가?”라는 단순한 질문만 던질 수 없다. 이제 여러 구성 요소 전반에 걸친 연속선 위에서 어떤 부분은 조달하고 어떤 부분은 내부에서 구축할지, 그리고 매달 바뀌는 환경에서 아키텍처의 유연성을 어떻게 유지할지 판단해야 한다.

구축할 것과 구매할 것 파악하기

IBM 기술 트랜스포메이션 담당 CIO 매트 라이트슨은 모든 ‘구축 vs. 구매’ 의사결정을 “해당 고객의 인터랙션이 기업의 핵심 차별화 요소에 닿아 있는가?”라는 전략적 필터에서 시작한다. 답이 ‘그렇다’이면 단순 구매만으로는 거의 충분하지 않다. 라이트슨은 “항상 고객 지원이 비즈니스에 전략적인 기능인지부터 다시 점검한다”라며, “매우 특화된 방식으로 수행하는 일, 매출과 직결되거나 고객 서비스를 구성하는 핵심 영역과 맞닿은 일이라면 대개 직접 구축해야 한다는 신호로 본다”라고 설명했다.

IBM은 내부적으로도 같은 원칙을 적용한다. IBM은 직원 지원에 에이전틱 AI를 활용하지만, 이런 인터랙션은 직원의 역할, 사용하는 기기, 애플리케이션, 과거 이슈에 대한 깊은 이해를 전제로 한다. 솔루션 업체의 도구는 일반적인 IT 문의에는 대응할 수 있지만 IBM 고유의 환경에서 발생하는 미묘한 차이까지는 다루기 어렵다.

다만 라이트슨은 전략적 중요성이 유일한 기준은 아니라고 경고했다. 속도도 중요하다. 라이트슨은 “무언가를 신속히 프로덕션 환경에 올려야 할 때는 직접 구축하고 싶다는 욕구보다 속도가 우선일 수 있다”라고 말했다. 또 “가치를 빠르게 얻을 수 있다면 다소 일반적인 솔루션도 수용할 수 있다”라고 덧붙였다. 실무에서는 CIO가 먼저 솔루션을 구매한 뒤 주변 기능을 직접 개발하거나, 사용례가 성숙 단계에 이르면 결국 자체 시스템을 구축하는 식으로 움직인다는 의미다.

월터스 클루어(Wolters Kluwer) 헬스 부문 CTO 알렉스 타이럴은 의사결정 초기 단계에서 실험을 진행해 구현 가능성을 검증한다. 타이럴의 팀은 ‘구축 또는 구매’ 방향을 서둘러 정하기보다 각 사용례를 빠르게 탐색해 근본적인 문제가 범용 영역인지, 차별화를 좌우하는 영역인지부터 파악한다.

타이럴은 “문제가 실제로 얼마나 복잡한지 파악하려면 빠르게 실험해 보는 것이 중요하다”라며, “어떤 경우에는 직접 구축하기보다 사서 도입하고 시장에 빨리 내놓는 편이 현실적이라는 점을 발견한다”라고 말했다. 또, “반대로 초기 단계에서 한계를 만나는 경우도 있는데, 이런 경험이 어디를 직접 만들어야 하는지 알려준다”라고 덧붙였다.

OCR, 요약, 추출처럼 한때 특수 기술이었던 작업 상당수가 생성형 AI 발전 덕분에 이미 범용화됐다. 이런 기능은 직접 개발하기보다 사서 쓰는 편이 낫다. 하지만 헬스케어, 규제 준수, 금융 워크플로우를 지배하는 상위 수준의 논리는 상황이 다르다. 이런 계층에서 AI 응답이 단순히 유용한 수준에 머무를지, 진정으로 신뢰받는 결과가 될지 결정된다.

타이럴은 “바로 이런 영역에서 내부 개발이 시작된다”라고 강조했다. 또 “빠른 실험을 통해 상용 에이전트가 의미 있는 가치를 줄 수 있는지, 아니면 도메인 추론 능력을 별도로 설계해야 하는지를 초기에 드러낼 수 있기 때문에 이런 단계에서의 실험이 투자 대비 효과를 낸다”라고 설명했다.

구매에서 조심해야 할 점

CIO는 대체로 솔루션을 사서 쓰면 복잡성이 줄어든다고 가정한다. 하지만 솔루션 업체의 도구도 나름의 어려움을 안고 있다. 타이럴은 첫 번째 문제로 지연 시간을 꼽았다. 챗봇 데모는 거의 실시간처럼 느껴지지만, 실제 고객 대면 워크플로우에서는 훨씬 더 즉각적인 응답이 요구된다. 타이럴은 “트랜잭션 워크플로우에 에이전트를 심어 두면 고객은 거의 즉시 결과가 나올 것으로 기대한다”라며, “작은 지연도 쉽게 나쁜 경험으로 이어지며, 업체의 솔루션 어디에서 지연이 발생하는지 파악하는 일은 생각보다 어렵다”라고 지적했다.

비용도 곧 두 번째 충격으로 돌아온다. 고객 문의 한 건에만도 정보 정합을 위한 그라운딩, 검색, 분류, 문맥 예시, 복수의 모델 호출 같은 단계가 포함될 수 있다. 이 각 단계는 토큰을 소모하고, 솔루션 업체는 마케팅 자료에서 이런 비용 구조를 대개 단순화해 제시한다. 하지만 실제 비용은 시스템이 대규모로 가동된 뒤에야 모습을 드러난다.

통합 문제도 뒤따른다. 많은 솔루션이 CRM이나 티켓팅 시스템과의 ‘완전한 통합’을 약속하지만, 실제 엔터프라이즈 환경은 데모 화면과 거의 맞지 않는다. 라이트슨은 이런 상황을 여러 차례 경험했는데, “겉으로 보기에는 그냥 꽂아서 쓰면 되는 플러그 앤 플레이처럼 보인다. 하지만 CRM과 쉽게 연동하지 못하거나 필요한 엔터프라이즈 데이터를 제대로 끌어오지 못하면 추가 엔지니어링이 필요해지고, 그때부터는 구매가 더 빠른 선택이라는 인식이 깨진다”라고 지적했다.

이런 예상치 못한 변수 때문에 CIO의 AI 구매 방식도 바뀌고 있다. 정적인 애플리케이션을 구매하는 대신 에이전트를 오케스트레이션하고 거버넌스를 적용하며 교체할 수 있는 확장형 환경인 플랫폼을 점점 더 선호하고 있다.

데이터 아키텍처와 거버넌스의 핵심 역할

IT 리더는 AI를 제대로 작동시키는 데 데이터가 얼마나 중요한지 잘 알고 있다. 소프트웨어 업체 플랜뷰(Planview)의 CEO 라잡트 가우라브는 기업 데이터를 “풍부하지만 정제하지 않으면 마실 수 없는 미시간호의 물”에 비유한다. 가우라브는 “데이터를 실제로 쓸 수 있으려면 큐레이션, 시맨틱, 온톨로지 계층 같은 필터링 작업이 필요하다”라고 설명했다. 이런 작업이 없으면 환각 현상이 나타날 가능성이 매우 높다.

대다수 기업은 수십, 많게는 수백 개에 이르는 시스템을 동시에 운영한다. 각 시스템의 분류 체계는 제각각이고 필드는 시간이 흐르면서 변형되며, 데이터 간 관계는 명시적으로 드러나지 않는 경우가 많다. 에이전틱 추론은 이런 일관성없는 정보나 사일로화된 데이터에 적용될 경우 쉽게 실패한다. 이 때문에 플랜뷰와 월터스 클루워 같은 업체는 플랫폼에 시맨틱 계층과 그래프 구조, 데이터 거버넌스를 함께 심고 있다. 이렇게 큐레이션된 데이터 패브릭 덕분에 에이전트는 정합성과 맥락, 접근 제어가 확보된 데이터를 이용해 추론을 진행할 수 있다.

CIO 관점에서 보면 ‘구축 vs 구매’ 결정은 조직의 데이터 아키텍처 성숙도와 긴밀하게 연결돼 있다는 의미다. 기업 데이터가 파편화돼 있고 예측하기 어렵거나 거버넌스가 허술하다면 내부에서 개발한 에이전트는 제 성능을 내기 힘들다. 시맨틱 백본을 제공하는 플랫폼을 도입하는 것이 사실상 유일한 선택지가 될 수도 있다.

라이트슨, 타이럴, 가우라브는 모두 윤리, 권한, 검토 프로세스, 드리프트 모니터링, 데이터 처리 규칙 등으로 구성된 AI 거버넌스는 반드시 CIO 통제 아래에 있어야 한다고 강조했다. 거버넌스는 더 이상 겉에 덧붙이는 장식이 아니라 에이전트 설계와 배포에 필수적으로 내재된 요소가 됐다. 또 거버넌스는 CIO가 외부에 위탁할 수 없는 계층이기도 하다.

데이터가 무엇을 할 수 있는지를 결정한다면 거버넌스는 얼마나 안전하게 할 수 있는지를 결정한다. 라이트슨은 겉보기에는 문제없어 보이는 UI 요소도 충분히 위험 요인이 될 수 있다고 설명했다. 예를 들어, 단순한 엄지손가락 위·아래 피드백 버튼이 민감한 정보를 포함한 전체 프롬프트를 솔루션 업체의 지원팀에 그대로 전송할 수 있다. 라이트슨은 “데이터를 학습하지 않는 모델이라고 판단해 승인을 내렸더라도 직원이 피드백 버튼을 누르는 순간 상황이 달라질 수 있다”라며, “피드백 창에 프롬프트의 민감한 세부 내용이 함께 담길 수 있기 때문에 UI 계층에서도 거버넌스를 설계해야 한다”라고 설명했다.

역할 기반 접근 제어는 또 다른 과제를 던진다. AI 에이전트는 호출하는 모델의 권한을 그대로 물려받을 수 없다. 시맨틱 계층과 에이전트 계층 전반에 거버넌스를 일관되게 적용하지 않으면 자연어 상호작용 과정에서 원래 권한이 없는 데이터가 노출될 수 있다. 가우라브는 초기 도입 사례에서 이런 문제가 실제로 벌어졌다고 지적하며, 한 예로 주니어 직원의 질의에 임원급 사용자의 데이터가 그대로 노출된 사례를 들었다.

새로운 아키텍처의 중심축은 오케스트레이션 계층

이들 3명의 IT 리더가 입을 모아 강조한 것은 엔터프라이즈 전반을 아우르는 AI 기판의 중요성이 커졌다는 것이다. 이 계층은 에이전트를 오케스트레이션하고 권한을 관리하며 질의를 라우팅하고 기반 모델을 추상화하는 역할을 맡는다.

라이트슨은 이런 구성을 “의견을 가진 엔터프라이즈 AI 플랫폼”이라고 부르며, 비즈니스 전반에서 AI를 구축하고 통합하는 토대라고 설명했다. 타이럴은 결정론적 멀티 에이전트 인터랙션을 구현하기 위해 MCP 같은 신규 표준을 도입하고 있다. 가우라브가 설계한 플랜뷰의 ‘커넥티드 워크 그래프’도 비슷한 역할을 수행하면서 데이터, 온톨로지, 도메인 특화 로직을 서로 연결한다.

이 오케스트레이션 계층은 솔루션 업체나 기업 내부 IT팀 어느 쪽도 단독으로 구현하기 어려운 역할을 수행한다. 서로 다른 소스에서 온 에이전트가 협업하도록 보장하고, 거버넌스를 일관되게 집행할 단일 지점을 제공한다. 또 CIO가 업무 흐름을 깨뜨리지 않고도 모델이나 에이전트를 교체할 수 있게 해준다. 마지막으로 이 계층은 도메인 에이전트, 솔루션 업체 컴포넌트, 내부 로직이 하나의 일관된 생태계를 이루는 실행 환경이 된다.

이렇게 오케스트레이션 계층을 갖추면 ‘구축 vs 구매’ 논의는 여러 조각으로 나뉘고, CIO는 솔루션 업체가 제공하는 페르소나 에이전트를 도입하면서도 특화된 리스크 관리 에이전트를 직접 구축하고, 기반 모델은 구매하되 모든 요소를 자체 통제하는 플랫폼에서 오케스트레이션하는 식으로 조합할 수 있다.

한 번의 선택이 아닌 지속적인 프로세스

가우라브는 엔터프라이즈가 예상보다 빠른 속도로 파일럿 단계에서 실제 프로덕션 단계로 넘어가고 있다고 진단했다. 불과 6개월 전만 해도 많은 기업이 실험 단계에 머물렀지만 지금은 확장 국면에 접어들었다. 타이럴은 공통 프로토콜과 에이전트 간 통신을 기반으로 한 다중 파트너 생태계가 머지않아 새로운 표준이 될 것으로 내다봤다. 라이트슨은 CIO가 앞으로 AI를 포트폴리오처럼 관리하면서 어떤 모델과 에이전트, 오케스트레이션 패턴이 최소 비용으로 최고의 결과를 내는지 지속적으로 평가하게 될 것이라고 전망했다.

이 같은 관점을 종합하면 ‘구축 vs 구매’ 논쟁이 사라지지는 않겠지만, 한 번의 선택이 아니라 끊임없이 이어지는 프로세스로 자리 잡을 것임은 분명하다.

결국 CIO는 에이전틱 AI를 엄격한 프레임워크에 기반해 접근해야 한다. 어떤 사용례가 왜 중요한지부터 명확히 정의하고, 확신을 가진 소규모 파일럿으로 시작해 결과가 일관되게 검증될 때에만 규모를 키워야 한다. 또 차별화를 만드는 영역의 로직은 직접 개발하고 이미 범용화된 영역은 구매하는 한편, 데이터 큐레이션을 1급 엔지니어링 과제로 다뤄야 한다. 에이전트를 조율하고 거버넌스를 집행하며 업체 종속에서 기업을 지켜주는 오케스트레이션 계층에 일찌감치 투자하는 것 역시 중요하다.

에이전틱 AI는 엔터프라이즈 아키텍처를 다시 그리고 있으며, 현재 성공 사례로 떠오르는 도입 사례는 순수하게 자체 구축이거나 순수하게 구매한 사례가 아니라 여러 요소를 조립한 결과물이다. 기업은 기반 모델을 구매하고 솔루션 업체가 제공하는 도메인 에이전트를 도입하며 자체 워크플로를 설계한 뒤, 이 모든 요소를 공통 거버넌스와 오케스트레이션 레일 아래에서 연결하고 있다.

이 새로운 시대에 성공하는 CIO는 ‘구축 또는 구매’ 가운데 어느 한쪽을 가장 과감하게 택한 사람이 아니다. 가장 유연한 아키텍처와 가장 강력한 거버넌스, 그리고 AI 스택 각 계층의 역할을 가장 깊이 이해한 CIO가 승자가 될 것이다.
dl-ciokorea@foundryco.com