AI와 기존 코드 사이, IT 리더를 위한 4가지 전략

많은 이가 올해 역시 에이전틱 AI의 해가 될 것으로 예상했지만, 실제 흐름은 보다 현실적인 방향으로 이동하고 있다. AI 및 머신러닝 기반의 확률적 코드와 전통적인 규칙 기반 결정론적 코드를 동시에 다루는 데 초점이 맞춰지고 있다. 두 기술을 단순히 포트폴리오 차원에서 병행하는 것이 아니라, ‘추론’과 ‘확정’의 강점을 정교하게 결합해야 하는 하이브리드 애플리케이션이 빠르게 늘어나고 있다.

이제 많은 CIO는 특정 상용 AI 애플리케이션을 시험하는 단계에 머물러 있지 않다. 에이전트 빌더 플랫폼 안에서 구축한 맞춤형 에이전틱 앱을 검증하는 파일럿이나 프로토타입 중심의 접근에서도 벗어나, AI와 기존 코드를 동시에 결합해야 하는 새로운 애플리케이션 개발 요구에 대응하고 있다.

이들 애플리케이션은 기존 시스템에 AI 기능을 덧붙인 형태가 아니다. 처음부터 AI와 기존 코드를 함께 설계에 반영한 새로운 구조다. 이 과정에서 CIO는 경계가 모호한 ‘중간 지대’를 마주하게 되며, 어디에 선을 긋고 팀을 어떻게 구성할지 결정해야 하는 상황에 놓여있다.

에이전틱 기반 확률적 코드와 기존의 결정론적 코드를 효과적으로 통합하기 위해 CIO가 고려해야 할 4가지 전략을 소개한다. 특히 두 접근 방식을 정교하게 결합해야 하는 소프트웨어 개발 프로젝트에서 유용한 가이드가 될 수 있다.

경계와 가드레일을 설정

첫 단계는 각 기술이 효과를 발휘하는 지점을 명확히 이해하는 것이다. 이를 바탕으로 개발 및 통합 팀을 위한 아키텍처 가이드라인과 모범 사례를 수립해야 한다.

AI 및 데이터 기업 EDB의 CTO 쿠에이스 타라키는 공식적이고 권위 있는 비즈니스 규칙에 결정론적 코드를 적용하고, 사람의 의도처럼 복잡하고 모호한 영역에 확률적 에이전트를 활용할 것을 권했다. 타라키는 “핵심은 이중 표현 아키텍처다. 에이전트는 제안을 하고, 전통적인 로직은 기록 시스템을 보호하는 구조”라며 “이를 단일 플랫폼에 함께 배치하면 기존 시스템에 AI를 덧붙일 때 발생하는 통합 비용을 줄이면서도 데이터와 로직에 대한 완전한 통제권을 유지할 수 있다”라고 설명했다.

아리온 리서치 LLC의 수석 애널리스트 마이클 포셋은 CIO를 위한 핵심 의사결정 기준으로, 결과가 예측 및 감사 가능하며 반복이 필요한 영역에 결정론적 코드를 사용해야 한다고 제시했다. 반면 추론과 판단이 필요하거나, 모호한 부분을 대규모로 처리해야 하는 작업에는 에이전틱, 확률적 접근을 적용하는 것이 적절하다고 분석했다. 포셋은 “실무적으로 보면 해석, 요약, 의사결정 지원과 같은 워크플로우의 복잡한 중간 단계는 에이전트가 맡도록 해야 한다. 데이터 검증과 트랜잭션 처리, 규제 준수 로직, 구조화된 출력 생성은 기존 코드가 담당하는 구조가 바람직하다”라고 설명했다.

AI 전략 자문가이자 저자인 산지트 폴 초더리는 실패 허용 범위와 혁신이 가져올 잠재적 이익을 비교해 결정해야 한다고 봤다. 초더리는 “에이전트는 개발자가 미처 고려하지 못한 새로운 해결책을 제시할 수 있다. 그 가치가 크다면 에이전트를 중심에 두고, 코드를 견제와 균형 장치로 설계하는 것이 적절하다. 반대로 실패 허용 범위가 낮은 환경이라면 그 구조를 뒤집는 것이 합리적이다”라고 진단했다.

새로운 소프트웨어 개발 프로젝트의 일환으로 에이전트를 먼저 구축하고 있다면, 에이전틱 코드와 그 출력 결과를 우선적으로 최적화하는 작업이 중요하다. 기존 코드의 가드레일을 언제, 어디에 적용할지 판단하기에 앞서, 에이전트의 정확성과 재현성을 최대한 끌어올려야 한다. 예를 들어 프롬프트 설계가 미흡하거나 특정 사용례에 적합하지 않은 대규모 언어 모델(LLM)을 사용할 경우, 기술 간 경계 설정이 왜곡될 수 있다. 기존 코드의 안정성을 지나치게 의식한 나머지, 에이전트가 지닌 잠재력을 충분히 활용하지 못하는 상황이 발생할 수 있다.

하이브리드 팀 체계로 재편

하이브리드 애플리케이션에는 서로 다른 역량을 갖춘 인력으로 구성된 팀이 필요하다. 타라키는 CIO가 에이전트를 조직 내부의 역량 높은 직원으로 인식해야 한다고 조언했다. 그는 “높은 접근 권한과 자율성을 가진 직원이 그렇듯, 에이전트 역시 광범위한 영향력을 지닌다. 이는 긍정적일 수도, 부정적일 수도 있다. 성공을 위해서는 AI 팀과 전통 개발 팀 간의 사일로를 해소하고, 오케스트레이션과 가시성을 핵심 인프라로 다뤄야 한다”라고 설명했다.

포셋은 CIO가 팀 구성을 재검토해 기존 소프트웨어 아키텍처와 에이전틱 설계 패턴을 모두 이해하는 ‘브리지 역할’의 엔지니어를 포함해야 한다고 제안했다. AI 팀과 엔지니어링 팀이 분리된 채 운영될 경우 통합 부채가 빠르게 누적되고, 시간이 지날수록 복잡성이 기하급수적으로 커질 수 있다는 지적이다.

초더리는 사후 대응 중심의 품질보증(QA)보다는, 개발 및 도구 환경에서 에이전트가 개발자와 함께 작동하며 사전에 점검하는 체계를 강화해야 한다고 언급했다. 에이전트를 단순한 테스트 대상이 아니라 개발 과정에 참여하는 협력자로 바라봐야 한다는 의미다.

전반적으로 에이전틱 코드와 기존 코드 사이에서 인수인계가 이뤄지는 지점은 단순한 API 호출이나 구조화된 출력만으로 해결되지 않는다. 사람과 AI 사이의 거시적 워크플로우뿐 아니라, 확률적 코드와 결정론적 코드 사이에 존재하는 수많은 인터페이스까지 함께 고려해야 한다. 사람과 기계 간 인수인계 지점을 정교하게 설계하듯, AI와 전통 코드 사이에도 적절히 배치된 연결 구조가 필요하다. 동시에 각 접근 방식의 장단점을 이해하는 엔지니어의 역할도 더욱 중요해지고 있다.

거버넌스와 비용 모델링에 충분한 시간 배정

하이브리드 애플리케이션은 소프트웨어 개발 속도를 높일 수 있다. 그러나 절감된 시간과 비용은 상위 단계의 소프트웨어 설계와 아키텍처 수립, 그리고 하위 단계의 테스트, 모니터링, 비용 모델링에 다시 투입될 가능성이 크다.

포셋은 거버넌스와 총소유비용(TCO) 측면에서 하이브리드 시스템이 새로운 복잡성을 초래한다고 분석했다. 확률적 구성 요소는 실행 경로가 가변적이며, 토큰 기반 비용 구조를 갖는 경우가 많다. 이로 인해 기존의 용량 계획이나 QA 프레임워크에 완벽히 부합하지 않는 문제가 발생할 수 있다는 것이다.

비용 모델링 관점에서도 과제가 적지 않다. 추론 비용은 최종 사용자 사용 한도를 설정하기 위한 새로운 비즈니스 규칙을 요구할 수 있다. 다만 타라키는 에이전틱 시대의 TCO를 단순히 추론 비용의 문제로만 봐서는 안 된다고 짚었다. 그는 궁극적으로 비결정론적 시스템을 대규모로 관리하는 데 필요한 운영상의 엄격함이 중요하다고 진단했다.

멀티 에이전트 워크플로우가 경계를 더욱 흐릴 것을 인식

에이전틱 코드와 기존 코드를 결합한 하이브리드 시스템은 설계와 조직 측면에서 이미 상당한 복잡성을 안고 있다. 여기에 더해 에이전트 자체가 빠르게 진화하고 있다는 점도 고려해야 한다. 고정된 환경이 아니라 끊임없이 변화하는 목표를 상대로 전략을 수립해야 하는 상황이다.

초더리는 하이브리드 시스템의 무게 중심이 에이전트 쪽으로 이동하고 있다고 분석했다. 초더리는 “초기에는 기존 코드 위에서 에이전트가 작동하는 형태였다면, 이제는 혁신을 요구하는 시스템이 에이전틱 역량을 중심에 두고 설계되고, 코드는 성능 최적화와 리스크 관리를 위한 수단으로 활용되는 흐름이 강화되고 있다”라고 설명했다.

포셋은 연구, 분석, 기획처럼 종단 간 인지 작업이 필요한 경우에 멀티 에이전트 워크플로우를 선택하는 것이 적절하다고 봤다. 반면 출력에 대한 정밀한 통제가 필요하거나 규제 준수, 기존 기록 시스템과의 통합이 중요한 상황에서는 AI와 기존 코드를 결합한 하이브리드 접근이 더 적합하다고 분석했다. 그는 “향후 에이전틱 프레임워크가 성숙하면서 결정론적 체크포인트와 구조화된 출력, 사람이 통제에 개입하는 방식을 기본적으로 지원하게 될 것”이라며 “그 결과 두 패턴 간 경계는 점차 흐려지고, 앞으로 1년에서 18개월 내 하이브리드가 기본 아키텍처 표준으로 자리 잡을 가능성이 크다”라고 전망했다.

타라키는 모든 에이전트 단계에 결정론적인 대체 경로를 두는 구조를 설계할 필요가 있다고 조언했다. 모델이 실패하더라도 플랫폼이 복원력과 가용성을 유지할 수 있도록 대비해야 한다는 것이다. 그는 “에이전트의 미래는 단순히 기존 시스템을 연결하는 접착제에 머무르지 않을 것”이라며 “서비스 수준 계약(SLA)과 감사 가능성, 검색과 도구 활용, 안전성에 대한 표준화된 패턴을 갖춘 주권적이고 거버넌스가 확립된 플랫폼의 모습에 가까워질 것”이라고 설명했다. 이어 “자체 연구에 따르면 데이터와 AI에 대한 주권을 우선시하는 전 세계 기업 13%는 이미 동종 기업 대비 5배 높은 투자수익률을 기록하고 있으며, 주류 프로덕션 환경에서 2배 많은 사용례를 운영하고 있다”라고 전했다.
dl-ciokorea@foundryco.com