“자체 AI 개발 접고 상용 솔루션으로 선회 중”··· 기업들이 밝힌 ‘현실적 이유’

수많은 AI 개념 증명 프로젝트가 성과 없이 끝나면서, 많은 기업이 내부 개발 노력을 줄이고 상용 AI 도구를 도입하는 방향으로 선회하고 있다.

가트너(Gartner) 부사장 겸 분석가인 존-데이비드 러블록은 2023년 말 조사한 기업 중 약 절반이 자체 AI 도구를 개발 중이라고 밝혔으나 2024년 말에는 그 비율이 약 20%로 떨어졌다고 언급했다.

러블록은 많은 기업이 여전히 몇 가지 개념 증명(PoC) 프로젝트를 진행 중인 한편 생성형 AI에 대한 과장된 열기가 식으면서 외부 벤더로 눈을 돌리는 경우도 늘고 있다고 설명했다. 그는 기업들이 신규 대규모 언어 모델(LLM) 벤더든, 제품에 AI를 내장한 기존 소프트웨어 벤더든 상관없이 협력처를 찾고 있다고 말했다.

또한 러블록은 2024년 또는 그 이전에 시작된 많은 AI 프로젝트가 높은 PoC 실패율 때문에 내부적으로 재검토되고 있다고 말했다. IDC의 최근 연구에 따르면 PoC의 88%가 실제 대규모 도입 단계로 이어지지 못했으며, CIO들은 PoC의 성공을 정의하는 데 어려움을 겪는 것으로 나타났다.

그는 “지난해 IT 리더들이 PoC를 실시하며 서비스 업체와 내부 자원으로부터 많은 도움을 받았을 때, 이미 인공지능 분야에서 좋은 실적을 가진 기업들 사이에서도 실패율이 높았다. 특히 경험이 없는 기업은 실패율이 50% 이상 더 높았다”라고 지적했다.

불충분한 역량

클라우드 및 자동화 전문 기업인 아스페리타스 컨설팅(Asperitas Consulting)의 클라우드 실무 책임자 스콧 휠러는 자사 고객의 ‘대다수’가 이제 상용 AI 도구를 사용하고 있다고 말했다. 그에 따르면 아스페리타스의 고객은 대부분 금융 서비스 및 보험 분야에 있다. 생성형 AI의 수혜를 받고 있다고 알려진 분야다.

휠러는 자체 AI 도구를 개발하려고 시도한 많은 기업이 전문 지식과 예산 부족 문제에 부딪혔다면서, “대부분의 기업에게는 들이는 노력에 비해 얻는 결과가 크지 않았다. 제대로 하려면 뛰어난 인재가 필요한데, 이런 인재들은 시장에서 수요가 매우 높다. 또한 시간과 다른 자원도 필요하다”라고 설명했다.

러블록은 처음부터 자체 AI 모델을 구축하려는 시도부터 기존 LLM 위에 기능을 추가하는 데 중점을 둔 경우까지 다양한 유형의 PoC가 관찰됐다고 밝혔다. 이런 PoC에 대해 일부 AI 전문가들은 규모가 작을 때조차도 실패하거나 기대에 미치지 못하는 결과를 내놓는 경우가 많다고 지적했다.

관리형 서비스 제공업체인 레몬그래스(Lemongrass)의 CTO 이몬 오닐은 생성형 AI PoC 출시를 서두르려는 최고 경영진과 이사회의 강한 압박이 많은 프로젝트를 실패하게 했다고 지적했다.

오닐은 “처음에는 시도해 보려는 동기가 있었고, 그 자체는 나쁘지 않았다. 하지만 PoC를 진행한 후의 반응은 ‘실제로 그다지 유용하지 않네’였다. 품질이 꽤 낮았기 때문이다. 아무도 이를 제대로 활용하는 방법을 이해하지 못하는 것 같았다”라고 설명했다.

회계 및 비즈니스 컨설팅 기업 아르마니노(Armanino)의 AI, 분석 및 자동화 담당 파트너인 카멜 윈쿱은 초기 생성형 AI 열풍으로 많은 비즈니스 및 IT 리더가 PoC에 과장된 기대를 품었다고 언급했다.

윈쿱은 “처음에는 ‘복잡하고 까다로운, 큰 문제들을 AI로 한 번에 해결하자’라는 태도였다. 하지만 현실은 달랐다. 프로세스와 시간 면에서 점진적인 개선은 있었지만, 처음 기대했던 만큼은 이루지 못하는 경우가 많았다”라고 말했다.

그는 많은 기업이 시장 출시와 투자 대비 수익(ROI) 확보까지 오랜 시간이 소요되는 대규모 AI 프로젝트에 뛰어들었다면서, “처음부터 AI로 큰 문제를 해결하려고 하면 프로젝트는 1년 이상 걸릴 수 있다. 데이터를 정리해야 할 수도 있고, GPT 코드를 수정해야 할 수도 있다”라고 지적했다.

변화한 시장 동향

러블록은 지난 2년간의 AI PoC 열풍 이후, 2025년에 시장 동향이 변화했다고 언급했다. CIO가 나서서 AI 도구를 개발하거나 구매하는 대신, 소프트웨어 기업들이 AI 기능이 추가된 자사 제품을 적극적으로 판매하고 있다는 것이다. IT 리더 역시 생성형 AI 결과물에 대해 더 현실적인 접근법을 찾고 있다.

그는 “과거에는 IT 리더가 필요한 소프트웨어를 찾아 구매하는 입장이었지만, 올해는 오히려 AI 기반 소프트웨어가 벤더 주도로 공급되는 추세가 나타났다. 예전에는 IT 리더가 해결하려는 문제가 있었고, 방향성과 의도가 명확했다. 그들이 구매 과정을 통제했다. 하지만 이제는 주도권이 넘어가고 있다”라고 설명했다. 심지어 일부 경우에는 CIO가 추가 AI를 구매할지 여부에 대한 선택권이 없을 것이라고 그는 덧붙였다.

러블록은 “올해는 사실상 모든 소프트웨어 벤더가 제품에 생성형 AI 기능을 추가할 전망이다. 영업 담당자들이 고객에게 전화해서 ‘생성형 AI를 탑재했다’라고 말할 것이고, 어떤 경우에는 아침에 출근하면 청구 비용이 약간 더 비싸지고 새로운 버튼이 생겨 있을 수도 있다”라고 지적했다.

아르마니노의 윈쿱은 이런 시장 동향과 더불어 소프트웨어 벤더와 AI 솔루션이 필요한 기능의 대부분을 제공하면서 기업이 자체 AI 도구를 개발할 동기가 상당 부분 사라졌다고 말했다.

작은 목표부터 시작

윈쿱은 AI로 큰 문제를 해결하려고 하기보다는, 전문 지식이나 경험이 부족한 기업은 더 작은 목표부터 시작하는 것이 유리하다고 조언했다.

그는 “빠른 성과를 얻을 수 있는 작은 프로젝트부터 시작해서 탄력을 붙이고 조직 내 여러 프로세스에서 효율성을 높인다면, AI가 할 수 있는 일에 대한 신뢰를 쌓을 수 있다. 그래야 효율성이 실제로 정착될 수 있다. 그런 다음 사람들이 어떻게 행동을 바꾸고 AI와 어떻게 협력하는지 살펴볼 수 있다”라고 말했다.

아스페리타스의 휠러는 앞으로 많은 내부 개발 프로젝트가 특정 기능을 구현하기 위해 사내 데이터를 사용하고 AI 모델을 훈련시키는 데 중점을 둘 가능성이 높다고 언급했다. 그는 “AI 자체는 이제 일반화된 기술로 보일 수 있지만, 많은 기업이 맞춤형 데이터 세트를 보유하고 있으며, 이 데이터를 기반으로 AI 모델을 훈련시킬 것”이라고 내다봤다.

AI 및 데이터 컨설팅 회사인 인디시움(Indicium)의 최고 데이터 책임자인 다니엘 아반시니는 자체 데이터로 훈련된 AI 모델이 이 접근법을 채택하는 기업에 큰 가치를 창출할 잠재력이 있다고 언급했다.

아반시니는 “자체 데이터 기반 AI 모델은 매우 특화된 제품이지만, 제대로 구현할 수 있다면 회사에 엄청난 가치를 가져다줄 수 있다. 20개의 PoC 프로젝트를 진행하는 대신, 높은 ROI가 보장된 하나의 제품을 갖게 되는 것”이라고 말했다.
[email protected]