“서두를 만하더라”··· 앞선 기업들이 전하는 ‘AI 조기 투자’의 가치

생성형 AI에 대해 신중하게 접근해야 할 이유는 많다. 잘못된 플랫폼에 많은 돈을 투자하면 결국 낭비로 이어지게 된다. 또 생성형 AI는 여전히 정확성과 안전성 문제가 있으며, 저작권 문제도 아직 법원에서 해결되지 않았다. 법적 책임이나 기타 문제가 발생할 수 있는 셈이다. 아울러 초기 프로젝트가 실제 비즈니스 가치를 제공하지 못하여 시간과 자원 낭비로 이어질 수 있다.

IDC 9월 설문조사에 따르면 CIO의 70%는 맞춤형 AI 앱 프로젝트의 실패율이 90%라고 답했으며, 3분의 2는 공급업체 주도의 AI 개념 증명에서 실패율이 90%라고 답했다. 그리고 랜드 코프(Rand Corp.)는 AI 실패율을 80% 이상으로 보고 있다.

그러나 매출 성장, 생산성 향상, 초기 노력이 결실을 맺었다고 보고하는 일부 얼리어답터들도 있다. 실제로 보스턴 컨설팅 그룹은 AI를 조기에 도입한 기업이 그렇지 않은 기업보다 1.5배 높은 매출 성장을 기록했다고 밝혔다. 그렇다면 AI 프로젝트의 높은 실패율과 얼리어답터들의 비즈니스 혜택을 모순 없이 해석할 방법은 무엇일까? 이 두 가지 모두 사실일 수 있다. 얼리어답터들이 다양한 접근 방식을 시도해보고 효과가 있는 접근 방식을 찾아내고, 효과가 있는 접근 방식은 확장하여 생산에 적용해 가치를 창출했다면 말이다.

구축 vs. 구매

기술 벤더들은 각각의 여러 제품과 서비스에 생성형 AI 기능을 빠르게 추가하고 있지만 기다리지 않고 직접 구축에 나서는 기업들도 있다. 예를 들어 인튜이트(Intuit)는 비즈니스 소유자가 45% 더 빠르게 대금을 받을 수 있도록 에이전트 AI 시스템을 구축했다.

인튜이트의 어쇼크 스리바스타바 최고 데이터 책임자는 “비즈니스 소유자가 청구서가 무엇인지, 언제 알림을 보내야 하는지, 어떻게 돈을 받을 수 있는지 이해하는 데 도움을 주는 시스템이다”라며, “이 시스템을 구축하기 위해 직접 생성형 AI 운영체제 ‘젠OS’(GenOS)를 구축했다. 개발자가 플랫폼에서 개발할 수 있도록 플랫폼의 복잡성을 추상화하는 운영체제다”라고 설명했다.

젠OS는 2023년 6월에 출시됐으며, 지난 9월에는 전용 개발 환경인 젠OS AI 워크벤치가 추가됐다. 인튜이트는 또한 에이전트 워크플로우를 위한 오케스트레이션 계층, 보안, 위험 및 사기 방지 가드레일 세트, 140개 이상의 구성 요소, 위젯 및 패턴이 포함된 사용자 경험 프레임워크, 주요 상용 및 오픈소스 LLM의 모델 가든, 그리고 자체 맞춤형 도메인별 모델을 구축했다.

“우리는 플랫폼 업체들보다 18개월에서 2년 정도 앞서 있다”라고 그는 덧붙였다.

그렇다면 향후 마이크로소프트나 구글, AWS가 생성형 AI를 위한 자체 운영체제를 출시하면 어떻게 될까? 스리바스타바는 “그들이 따라잡으면 우리는 그들이 제공하는 네이티브 서비스로 이동하면 된다”라고 말했다.

즉 어떤 의미에서는 이 모든 노력이 헛수고가 될 수도 있다. 언젠가는 주요 공급업체가 내놓는 제품으로 전환하는 것이다. 하지만 그때까지는 초기 투자의 이점을 누릴 수 있다.

스리바스타바는 “이것이 바로 우리가 앞서 나가는 방법이다. 기다릴 수 없다. 우리는 기술을 구축해야 하고, 그렇게 함으로써 진화한 플랫폼을 보유하고 있다. 확실히 말할 수 있는 것은 이러한 투자가 비즈니스를 발전시키기 위한 근본적인 투자라는 것이다. 예를 들어, 생성형 AI 기능 덕분에 평균 생산성이 15% 향상되고 코딩 시간이 30% 빨라졌다”라고 말했다.

자체 에이전트 AI 프레임워크를 구축한 또 다른 기업은 캡제미니다. 캡제미니 엔지니어링의 부사장 겸 최고 소프트웨어 책임자 지아니 장은 “생성형 AI는 특히 소프트웨어 엔지니어링 분야에서 엄청난 잠재력이 있다”라고 말했다.

그래서 회사는 작년 5월에 자체 에이전트 프레임워크를 구축하기 시작했다. 그녀는 “더 많은 오픈소스를 사용하여 적응력을 높이고 싶었기에 자체적으로 구축했다. 그리고 7월부터 활용하기 시작했다. 현재 완성도가 높다”라고 말했다.

이 플랫폼은 코드를 생성하는 에이전트, 요구 사항을 구축하는 에이전트, 아키텍처를 구축하는 에이전트 등 기존 코드를 마이그레이션하기 위한 여러 전문 에이전트로 구성되어 있다. 특히 자동차 소프트웨어용 코드 작업과 같은 특정 목적을 위한 전문 에이전트도 있다. 또 모든 에이전트가 서로 대화할 수 있는 오케스트레이션 계층, 코드의 다양한 반복을 추적하는 방법, 자가 진단 기능도 있다.

장은 2024년 초의 생성형 AI 활용처는 소프트웨어 라이프사이클에 따른 개별 사용 사례에 관한 것이 전부였다고 전했다. 그러나 지금은 코드를 훨씬 더 총체적으로 바라보는 수준으로 발전했다. 그녀는 “3월에 있었던 기술을 기준으로 삼아서는 안 된다. 가만히 있을 수 없다”라고 말했다.

인튜이트와 캡제미니만이 생성형 AI 배포와 혁신에 공격적인 접근 방식을 취하는 것은 아니다. 최근 구글 클라우드와 내셔널 리서치 그룹이 글로벌 기업의 고위급 리더 2,500명을 대상으로 실시한 설문조사에 따르면, 생성형 AI 리더 기업들은 평균 운영 중인 사용 사례를 4개 이상 보유하고 있으며, 전년도에 총 운영 비용의 15% 이상을 생성형 AI에 투자했다.

또한 리더 기업의 69%는 핵심 기능의 절반 이상에 생성형 AI를 사용하는데, 이는 다른 조직의 36%에 비해 훨씬 높은 수치다. 그리고 그들은 수익을 거두고 있다. 설문조사에 따르면 생성형 AI 리더 기업의 33%는 생성형 AI로 인해 매출이 10% 이상 증가했다고 답했으며, 백오피스 프로세스 개선, 개인 생산성, 엔지니어링 및 개발자 생산성, 영업 및 마케팅과 관련된 생성형 AI 프로젝트의 높은 ROI도 보고하고 있다.

상용 플랫폼을 활용하여 빠르게 움직이기

하지만 모든 AI 리더 기업이 빠르게 움직이기 위해 직접 구축에 매진하지는 않는다. 약 2만 명의 직원을 보유한 글로벌 회계 회사인 RSM이 그렇다.

RSM의 엔터프라이즈 디지털 리더인 세르지오 데 라 페는 “던앤 브래드스트리트와 같은 데이터 제공업체, 서비스나우와 같은 소프트웨어 제공업체들이 모두 제품에 AI를 내장하고 있다. 우리는 그저 그들이 무엇을 개발하고 있는지 관찰하고 있다. 파트너 기업이 개발하고 있는데, 굳이 돈을 낭비할 필요를 느끼지 못한다. 차라리 우리가 전문성을 갖춘 분야에 투자하고자 한다. 서둘러서 버릴 무언가를 만들고 싶지 않다”라고 말했다.

RSM은 2023년에 AI 운영위원회를 구성하여 채팅, 문서 작성, 문서 평가, 데이터 분석 등 비즈니스에 중요한 네 가지 주요 사용 사례 유형을 파악했다. 드 라 페는 “이 네 가지 주요 테마는 수백 가지의 사용 사례를 나타낸다. 그리고 우리는 기술이 아니라 사용 사례에서 시작했다. 기술이 사용 사례를 지원하는 것이지 그 반대가 아니라고 믿는다”라고 말했다.

이 회사는 프라이빗 애저 클라우드에서 실행되는 오픈AI를 선택했다. “기존에 마이크로소프트를 사용해왔기 때문에 어려울 것 없는 선택이었다”라고 그는 말했다.

단 RSM은 오픈AI 모델을 파인튜닝하는 작업을 진행했다. 전 세계 정부 규정을 고객 내부 통제에 매핑하고 권장 사항을 제시함으로써 자동화된 규정 준수 시스템을 확보하기 위해서였다. 현재 운영 중인 사용 사례는 수십 가지에 달하며, 개발 중인 사용 사례도 수십 가지에 달한다. “우리는 매우 빠르게 움직이고 있다. 지금까지 가장 큰 이점은 효율성이 향상되고 품질이 개선되었다는 점이다. 전문가들이 업무의 부가가치가 높은 부분에 더 많은 시간을 할애할 수 있게 된 것이다”라고 그는 말했다.

공급업체의 역량을 활용하여 생성형 AI 도입을 가속화하고 있는 또 다른 조직으로는 결제 회사인 ACI 월드와이드가 있다. 3,500명이 넘는 직원을 보유한 이 회사의 모든 직원은 이메일이나 팀즈 회의 요약 등 다양한 유형의 생성형 AI도구를 사용하고 있다. 이 회사는 내부 지식 기반에 오픈AI의 챗GPT를 파인튜닝한 버전을 사용한다.

이 회사의 CTO인 아베 쿠루빌라는 “전부 자체적으로 구축하지 않는다고 해서 우리가 느리다고 보지 않는다”라고 말했다. 그에 따르면 현재 소프트웨어 엔지니어링 직원의 50%가 깃허브 코파일럿을 사용하고 있으며, 올해에는 3분의 2가 사용하도록 한다는 목표다. 일반 직원이 사용하는 도구로는 마이크로소프트 오피스 365 코파일럿이 있다. 세일즈포스의 에이전트 기능도 배포를 검토 중이다.

쿠루빌라의 주요 전략은 내부 사용 사례에 먼저 생성형 AI를 배포하고 사람이 직접 품질과 결과를 검증하는 것이다. 그는 “중요한 것은 영향력이며 올바른 사용 사례를 식별하고 있는지 확인하는 것이다”라고 말했다.

학습이라는 가치

AI 리더 기업들이 생성형 AI 배포에서 분명한 재정적 이점을 거뒀다고 보고하고 있지만, 조기 도입의 가치는 단기적인 ROI 그 이상이다.

가트너의 아룬 찬드라세카란 애널리스트는 “실험과 반복을 통해 수많은 학습이 이뤄지기 마련이다. AI에 관해서는 성장 마인드를 가져야 한다. 적극적으로 실험해야 한다”라고 말했다.

그렇다고 해서 기업들이 무작정 AI 프로젝트를 진행해야 한다는 뜻은 아니라고 그는 덧붙였다. 조직은 명확한 목표를 염두에 두되, 첫 번째 시도에서 제대로 성공하지 못할 수도 있다는 각오를 해야 한다. 그는 “실패를 통해 배우고 반복해야 한다. 실패는 학습 과정의 일부다. 인생 전반에 걸쳐 마찬가지다. 첫 번째 시도에서 성공하면 스스로 기준을 너무 낮게 설정한 것일 뿐이다”라고 말했다.
[email protected]