토큰 비용이 연봉 넘는 시대 온다?···AI 에이전트 과금 폭증에 IT 업계 경고

적절한 통제가 이뤄지지 않을 경우 AI 에이전트 비용이 산출물의 가치보다 더 커질 수 있다고 팟캐스트 ‘올인(All In)’ 공동 진행자 제이슨 칼라카니스와 차마스 팔리하피티야는 지적했다. 올인은 미국의 비즈니스·기술 분야를 다루는 팟캐스트로, 벤처 투자자 출신 IT 전문가들이 참여해 운영하는 프로그램이다.

최근 한 에피소드에서 오랜 기술 투자자인 칼라카니스는 자신이 속한 조직에서 클로드 API를 사용하는 과정에서 에이전트 비용이 하루 300달러까지 빠르게 상승했다고 전했다. 기계적으로 365일로 계산한다면 연간 10만9,500달러, 한화로 약 1억6,700만 원 수준이다. 그러나 이처럼 연간 10만 달러 이상이 드는 에이전트가 실제로 대체한 업무는 직원 업무의 일부에 불과했다고 설명했다.

칼라카니스는 “토큰 비용이 언제 직원 연봉을 넘어서는가”라며 “이미 그 지점에 거의 도달했고, 곧 넘길 상황”이라고 말했다.

벤처캐피털 소셜캐피털(Social Capital)의 CEO인 팔리하피티야는 자사에서는 우수 개발자를 대상으로 토큰 예산을 설정해 관리하고 있다고 밝혔다. 다만 에이전트 사용을 제한하지 않으면 비용이 빠르게 불어날 수 있다고 언급했다.

팔리하피티야는 “이를 전 직원 기준으로 합산해 보면 ‘이제는 최소한 다른 직원보다 두 배 이상 생산성을 내야 한다’는 흐름이 보인다”라고 설명했다. 이어 한도를 두지 않으면 자금이 빠르게 소진될 수 있다고 밝혔다.

해당 방송 내용은 엑스(X)와 링크드인에서 적지 않은 반응을 불러왔다. 일부 이용자는 AI 기업의 수익이 지나치게 높다고 지적했고, 다른 이용자는 두 진행자의 경험이 에이전트 지출에 대한 엄격한 통제가 필요한 이유를 보여준다고 평가했다.

AI 솔루션 기업 애도 AI(Addo AI)의 CEO 아이샤 칸나는 링크드인에 “이 논의는 AI 에이전트에 반대하는 주장이 아니다”라며 “핵심은 경제적으로 타당한 방식으로 운영하고 있는지 여부이며, 아직 대부분의 팀은 그렇지 못하다”라고 적었다.

여러 AI 전문가는 IT 리더가 지출 한도를 설정하지 않을 경우 하루 300달러 수준의 비용이 충분히 현실화될 수 있다고 분석했다. 다만 적절한 통제 장치를 마련하면 에이전트 비용을 그보다 훨씬 낮게 유지할 수 있다고 덧붙였다.

맞춤형 에이전트의 비용 구조

분할 CTO 서비스 기업 솔리드매틱스(Solidmatics)의 CEO 비간다스 플리아사스는 적절한 통제가 없을 경우 코딩용 고가 맞춤형 에이전트 시스템을 API 방식으로 운영하면서 비용이 급격히 치솟을 수 있다고 설명했다. 코딩 도구를 직접 사용하는 대신 API를 통해 실행하면 비용이 빠르게 누적될 수 있다는 지적이다.

플리아사스는 “의도적으로 사람이 주도해 사용하는 방식에서도 일주일에 500달러까지 비용이 발생한 적이 있다”라며 “에이전트가 코드를 무작정 지우고 다시 작성하도록 방치하면 더 이상 직접 작업하는 것이 아니며, 결과물의 품질에 대해 심각한 의문이 생길 수 있다”라고 말했다.

또한 코딩과 기타 업무를 에이전트가 전적으로 수행하도록 허용할 경우 보안 문제를 비롯한 다양한 위험이 발생할 수 있다고 밝혔다.

플리아사스는 “AI는 도구일 뿐, 두뇌를 대체하는 존재가 아니다”라며 “사람이 중심이 돼 판단하고 AI를 활용해 더 빠르게 답을 얻어야 한다. 이를 맹목적으로 신뢰하고 그대로 맡기면 비용이 급증할 수 있고, 결과물 역시 그만한 가치가 없을 수 있다”라고 설명했다.

AI 기반 사이트 신뢰성 엔지니어링 기업 클레릭(Cleric)의 CEO이자 데이터 과학자인 샤람 안베르는 하루 300달러라는 수치가 맥락 없이 제시될 경우 오해를 불러일으킬 수 있다고 지적했다.

안베르는 “범용 모델에 광범위한 업무를 맡기고 그대로 실행하도록 두면 그런 비용이 발생한다”라며 “업무 범위를 명확히 정하지 않은 채 계약자를 고용해 놓고 청구서를 보고 놀라는 상황과 비슷하다”라고 비유했다.

클레릭은 하루 300달러보다 훨씬 낮은 비용으로 사이트 신뢰성 엔지니어링(SRE) 전용 에이전트를 구축했다고 밝혔다. 해당 에이전트는 특정 목적에 맞춰 설계됐으며, 어떤 질문을 해야 하는지와 언제 작업을 멈춰야 하는지를 인지하도록 구성됐다.

안베르는 비용 초과 가능성에도 불구하고, 많은 경우 에이전트가 추가 IT 인력을 채용하는 것보다 더 비용 효율적일 수 있다고 분석했다.

안베르는 “경험 많은 SRE 한 명의 총고용비용은 연간 20만 달러 이상이며, 한화로 약 2억7,000만 원 수준”이라며 “에이전트가 사고 조사 업무의 80%를 그보다 훨씬 낮은 비용으로 수행할 수 있다면, 중요한 것은 절대 비용이 아니라 결과물이 신뢰할 만한 수준인지 여부”라고 말했다.

다만 IT 리더가 명확한 한도를 설정하지 않으면 조직이 과도하게 에이전트에 의존하게 될 수 있다고 경고했다.

안베르는 “대부분 기업은 이를 시행착오를 통해 배우고 있다”라며 “팀 내 누군가 특정 업무를 위해 에이전트를 도입해 효과를 보면 이를 공유하고, 결국 무엇을 하는지 가시성도 확보하지 못한 채 15개의 에이전트가 동시에 운영되는 상황이 벌어진다”라고 설명했다.

더 저렴한 대안

AI 기반 챗봇 및 지원 데스크 최적화 기업 카티코(Katico)의 CX·CS 소프트웨어 애널리스트 카테리나 바벤코는 에이전트를 배포하는 방식에는 비용이 크게 드는 방법과 상대적으로 저렴한 방법이 모두 존재한다고 설명했다.

바벤코는 “최첨단 모델 API에 지속형 에이전트를 연결하고, 높은 토큰 사용량과 긴 컨텍스트 윈도, 다단계 추론, 대규모 출력까지 더해지면 경제성이 빠르게 악화된다”라며 “경우에 따라서는 업무당 비용이 사람에게 맡기는 것보다 더 높아질 수 있다”라고 말했다.

반면, 명확하게 범위를 설정한 에이전트에 소형 파인튜닝 모델을 결합해 로컬 환경이나 통제된 추론 계층에서 실행하면 비용을 크게 낮출 수 있다고 밝혔다.

바벤코는 에이전트 스펙트럼의 양 극단은 전혀 다른 운영 모델이지만, 많은 기업이 이를 구분하지 못한다고 지적했다. 바벤코는 “‘에이전트’라는 단어를 들으면 하나의 지출 범주로 인식하지만 실제로는 그렇지 않다”라며 “에이전트는 매우 넓은 스펙트럼을 갖고 있으며, 현명한 배포와 부실한 배포 사이에는 운영 비용이 최대 10배까지 차이 날 수 있다”라고 설명했다.

이에 따라 IT 리더는 업무당 토큰 사용량을 사전에 모델링하고, 사용 중인 모델 등급의 추론 비용을 벤치마킹한 뒤, 대체하거나 보완하려는 워크플로의 인건비와 비교해야 한다고 조언했다.

바벤코는 “비용을 정당화할 수 있는 에이전트는 사람이 수작업으로 처리하기 꺼리는 업무에 적용되고, 작업 범위가 명확하며, 결과물을 검증할 수 있고, 오류가 확산되기 전에 사람이 개입할 수 있는 경우”라고 말했다.

또한 IT 리더는 기술적 영향뿐 아니라 경제성도 함께 고려해야 한다고 강조했다. 바벤코는 “에이전트를 성공적으로 운영하는 조직은 이를 다른 변동비 운영 자원과 마찬가지로 취급하며, 도입 초기부터 예산과 통제 체계, 책임 구조를 내재화해 관리하는 곳”이라고 설명했다.

IT 리더는 에이전트의 기술적 영향뿐 아니라 경제성까지 함께 고려해야 한다. 바벤코는 “에이전트를 효과적으로 운영하는 조직은 이를 다른 변동비 기반 운영 자원과 동일하게 취급한다”라며 “도입 첫날부터 예산과 통제 체계, 소유권, 책임 구조를 내재화해 관리하는 곳이 결국 성과를 낼 것”이라고 말했다.

에이전트 사용 한도 설정

솔리드매틱스의 비간다스 플리아사스는 에이전트 사용에 예산 상한을 설정할 것을 제안했다. 주요 AI 제공업체는 API 키 또는 조직 단위로 강제 지출 한도를 설정할 수 있도록 지원한다고 설명했다. IT 리더는 팀이나 엔지니어별로 별도의 API 키를 발급하고, 월간 달러 한도를 설정해 관리할 수 있다.

또한 커서(Cursor), 깃허브 코파일럿, 클로드 구독형 요금제와 같은 관리형 도구의 경우 조직 IT 팀이 라이선스를 중앙에서 통제한다. 이용 권한 부여, 요금제 등급, 기본 모델 또는 프리미엄 모델 접근 권한 여부 역시 IT 조직이 결정한다.

다만 플리아사스는 예산 상한을 경직되게 운영해서는 안 된다고 조언했다.

플리아사스는 “결국 중요한 것은 창출되는 가치”라며 “어떤 엔지니어가 높은 품질과 높은 영향력을 지닌 기능을 출시해 연간 10인 팀이 만들어낼 성과에 맞먹는 결과를 낸다면, 그 비용은 충분히 정당화될 수 있다. 이런 경우 단순히 개인 연봉과 직접 비교하는 것은 적절하지 않다”라고 설명했다.
dl-ciokorea@foundryco.com