칼럼 | 생성형 AI, 이제 실험실에서 현장으로 나와야 할 때

2023년은 생성형 AI에 대한 무한한 가능성과 아이디어가 넘쳐나던 시기였다. 2024년은 본격적인 실행보다는 실험이 주를 이룬 한 해였다. IDC 조사 결과, 기업들은 평균 37건의 개념 증명을 시도했으나 실제 운영 단계로 진입한 사례는 5건에 불과한 것으로 나타났다.

현재 가장 중요한 과제는 실험 단계에서 실제 도입으로 전환하는 데 필요한 요소를 파악하는 것이다. 우리가 주목하는 핵심 영역은 기업용 AI 전략, 통합 거버넌스 모델, 그리고 경영진을 설득할 수 있는 생성형 AI 관련 기술 비용 관리다.

연구 결과에 따르면, 기업 내 대부분의 비즈니스 부서에서 사용 사례를 발굴하고 실험하는 것이 시급한 과제로 부상했다. 각 부서에서 5~6개의 사용 사례를 식별할 수 있어, 조직 전체적으로는 수십 개의 개별 사용 사례가 실행될 수 있다. 조직은 비즈니스에 가장 큰 영향을 미칠 사용 사례를 선별하기 위해 기업 차원의 사용 사례 로드맵을 수립해야 한다. 우리는 리더가 투자를 통해 핵심 비즈니스 성과를 달성할 수 있는 ‘AI 슈퍼 유스케이스’를 발굴할 것을 권고한다. 조직의 회복력을 높이고 전반적인 건강, 혁신, 적응력, 지속가능성과 같은 핵심 목표를 지원할 수 있는 요소를 고려해야 한다.

이러한 접근에는 비즈니스와 IT 부서 간의 협력이 필수적이다. 우리의 데이터는 조직의 약 40%가 이 두 영역 간 긴밀한 협력 부족으로 사용 사례의 생산 단계 전환에 어려움을 겪고 있음을 보여준다. 이제는 조직을 정비하고 비즈니스 부서와 협력하여 기업용 사용 사례 로드맵을 구축해야 할 시점이다.

기업이 명확히 파악해야 할 또 다른 영역은 자체 대규모 언어 모델(LLM)의 구축, 구성 또는 구매 여부다. 가장 저항이 적은 방법은 기존 애플리케이션을 통해 생성형 AI 기능을 구매하는 것이다. 그러나 상용 앱이 모든 사용 사례를 해결할 수는 없다. 앞으로는 증가하겠지만, 현재 대부분의 조직은 일정 수준의 컴포지팅이 필요하다. 여기에는 상용 오픈소스 LLM을 자체 데이터로 기초화하는 작업이 포함된다. 조사에 따르면 자체 LLM을 구축하는 조직은 극소수에 불과하다. 1년 전에는 많은 기업이 자체 구축이 필요하다고 생각했으나, 지금은 다른 대안이 있음을 인식하고 있다.

기업이 깨달은 또 다른 점은 AI 이니셔티브, 특히 AI 서비스 구성에서 데이터의 중요성이다. 기업은 데이터가 노후화되었거나 불완전한 데이터셋을 보유하고 있음을 인식하고 있다. 이들은 데이터의 저장, 구성, 관리를 위한 데이터 영역에 상당한 투자를 하는 경향이 있다. 이제는 AI 모델의 기초를 다지고 미세 조정하기 위한 데이터 공학 투자가 필요한 시점이다.

조직의 미래가 걸려 있다. AI는 기업과 산업을 재편할 것이다. 기업 내에서 AI는 비서, 고문, 대리인 또는 이 세 가지 역할을 모두 수행하며 비즈니스 프로세스, 응용 프로그램, 일상 업무를 변화시킬 것이다. 산업은 근본적으로 새로운 방식으로 혁신하고, 고객을 참여시키며, 가치를 제공할 것이다. 그러나 사용 사례 로드맵과 강력한 비즈니스 사례를 바탕으로 한 비전과 기업 AI 전략이 없다면 이를 실현할 수 없다. 일부 조직은 2025년에 실험 단계를 벗어나 AI 중심으로 전환할 것으로 예상된다. 이를 통해 2027년부터는 통합적 AI 사용 사례의 기하급수적 이점을 실현하기 시작할 것이다. 2025년에 전환하지 못하는 조직은 경쟁사에 뒤처지며 실험 단계가 2026년까지 지연될 것이다. 이 두 경로의 차이는 생산성 향상, 혁신 속도, 고객 관계, 재무 성과에 큰 영향을 미칠 것이다. 이 여정을 지속하는 것이 매우 중요하다.

CIO에게는 특히 조직이 AI 모델 개발을 중앙 집중화하여 위험을 완화할 때 AI 분야에서 리더십을 발휘할 기회가 있다는 점이 고무적이다. 직원의 AI 채택을 촉진하고 전사적 참여를 이끌어낼 변화 관리 계획 수립에 필요한 지원도 고려해야 한다.

*필자 메러디스 왈렌은 IDC의 최고 연구 책임자이자 고위 경영진이다. 왈렌은 기술 구매자, 공급업체, 투자자를 위한 구독 제품인 IDC의 Research Global Product Line과 이를 제공하는 분석가를 총괄하고 있다. 왈렌은 IDC의 연간 사고 리더십 테마와 1,300명 이상의 분석가로 구성된 글로벌 팀의 연구 의제를 설정한다.
dl-ciokorea@foundryco.com