AI 벤더, 비효율적 코드가 초래하는 숨은 비용 줄이기에 나서다

엔터프라이즈는 공개적으로 인정하지 않지만, 상당수 클라우드 비용은 겉보기에는 평범해 보이는 한 가지 문제에서 비롯된다. 바로 비효율적인 코드다.

소프트웨어 딜리버리 플랫폼 기업 하네스(Harness)가 아마존웹서비스(AWS)와 공동으로 작성한 연구 보고서에 따르면, 미국과 영국의 엔지니어링 리더와 개발자 700명을 대상으로 한 설문에서 52%가 핀옵스(FinOps)와 개발자 간의 단절이 클라우드 인프라 비용 낭비로 이어지고 있다고 답했다.

보고서는 “현재 현실은 개발자가 비용 최적화를 다른 부서의 문제로 인식하는 경우가 많다는 점”이라며 “이 같은 단절로 인해 과도하게 할당된 리소스, 유휴 인스턴스, 비효율적인 아키텍처가 발생하고 이는 예산을 잠식한다”고 설명했다.

이 같은 단절의 핵심에 비효율적인 코드가 자리 잡고 있는 만큼, 이제는 CFO 차원의 문제로 다뤄야 한다는 분석도 나온다. HFS 리서치의 CEO 필 페르슈트(Phil Fersht)는 AI 워크로드 확산으로 전력 소비와 탄소 비용, 인프라 지출이 동시에 증가하고 있다고 지적했다.

페르슈트는 “컴퓨팅 자원 낭비는 막대하다”며 “대형 클라우드 제공업체의 연구에 따르면 전체 클라우드 컴퓨팅 자원의 20~40%가 제대로 활용되지 않거나 비효율적인 코드에 의해 소비되고 있다. 기업은 그 낭비에 대해 비용을 지불하고 있다”고 말했다.

이처럼 눈에 잘 드러나지 않는 컴퓨팅 자원 비용 문제가 AI 코딩 어시스턴트 벤더들의 관심을 끌고 있다.

단순 생성에서 ‘코드 진화’로

구글은 최근 코드 생성이 아닌 코드 진화에 초점을 맞춘 새로운 코딩 에이전트 알파이볼브(AlphaEvolve)를 공개하며 이 문제에 대응하고 있다.

제미나이(Gemini) 기반의 이 코딩 에이전트는 현재 비공개 프리뷰 형태로 제공되고 있다고 구글은 수요일 자사 블로그를 통해 밝혔다. 사용자는 먼저 해결하려는 문제 정의와 제안된 해법을 평가할 테스트, 그리고 초기 코드 초안을 작성해야 한다. 이후 알파이볼브는 제미나이 LLM을 반복적으로 적용해 코드의 ‘변이’를 생성하고, 기존 해법보다 나은지 테스트를 거쳐 기준을 충족할 때까지 과정을 반복한다.

분석가들은 알고리즘 자체를 변경하며 코드를 진화시키는 이러한 접근이 엔터프라이즈에 게임 체인저가 될 수 있다고 평가한다.

페르슈트는 “코드 진화는 라우팅, 스케줄링, 예측, 최적화와 같은 영역에서 성능을 개선하려는 기업에 특히 강력하다”며 “이 분야에서는 알고리즘 개선이 곧바로 상업적 경쟁력, 컴퓨트 비용 절감, 출시 속도 개선으로 이어진다”고 설명했다.

더 퓨처럼 그룹(The Futurum Group)에서 데이터·AI·인프라 부문을 이끄는 브래들리 시민(Bradley Shimmin)은 구글이 단순한 구문 완성이나 코드 생성, 문서화 지원을 넘어, 전체 코드베이스의 진화를 돕는 것을 목표로 하고 있을 가능성이 크다고 분석했다.

오랜 개발 관행의 변화

페르슈트는 알파이볼브가 개발자 사이에 오래도록 유지돼 온 관행, 즉 ‘먼저 코드를 작성하고 나중에 최적화하는 방식’을 바꾸는 데 기여할 것으로 내다봤다.

그는 “지난 10년간 개발 문화는 최적화보다 속도와 프레임워크를 우선시해 왔다”며 “컴퓨트 비용이 저렴하던 시절에는 통했지만, AI가 판을 바꿨다. 모델은 막대한 컴퓨트를 요구한다”고 말했다.

이어 “기업은 이제 비효율적인 코드가 모델 속도를 늦추고 비용을 높이며, 실제 성능에도 영향을 미친다는 점을 인식하고 있다”며 개발 수명 주기 초반부터 최적화를 요구받고 있다고 설명했다.

이러한 압박은 LLM의 높은 처리 요구 때문만은 아니다. 페르슈트는 AI 추론(inference) 부하가 인프라 확장 속도보다 빠르게 증가하면서 데이터센터 용량 자체가 전략적 제약 요인이 되고 있다고 진단했다. 그는 “코드 효율성을 높이는 도구는 필요한 GPU 수와 전력 소비를 동시에 줄여준다”며 “그래서 알고리즘 발견이 중요한 이유는 무차별적인 컴퓨트 사용을 줄일 수 있기 때문”이라고 말했다.

컴퓨트 최적화를 위한 또 다른 접근

코드 진화를 위한 알고리즘 발견만이 유일한 해법은 아니다. 벤더들은 코딩과 관련된 컴퓨트 리소스 지출을 줄이기 위한 다양한 방안을 모색하고 있다.

프랑스의 LLM 벤더 미스트랄(Mistral)은 최근 코딩에 특화된 소형 오픈 LLM 데브스트랄 2(Devstral 2)를 공개했다. 회사 측은 이 모델이 더 큰 모델과 유사한 효과를 낸다고 주장한다. 일반적으로 소형 모델은 더 적은 연산과 낮은 하드웨어 성능으로 구동할 수 있어 운영 비용이 낮다.

앤트로픽(Anthropic) 역시 개발자 지원을 강화하고 있다. 회사는 클로드 코드(Claude Code)를 슬랙(Slack)에 통합해 개발자가 더 나은 코드를 작성하고 협업에 소요되는 시간을 줄일 수 있도록 했다. 슬랙은 보통 개발팀이 아키텍처 논의를 진행하는 공간인 만큼, 이 통합을 통해 클로드 코드는 더 풍부한 맥락을 확보해 팀에 보다 적합한 코드를 생성할 수 있게 된다.