‘필요한 순간에만 활용’··· 생성형 AI에 접목되는 적시 생산(JIT) 개념, 그 효과는?

수십 년 전 일본 기업의 칸반(Kanban) 기법이 제조업을 혁신했던 것처럼, 생성형 AI 도입 과정에서 ‘적시 생산’ 사고방식을 활용하는 기업이 있다. 다시 말해 필요한 시점에 필요한 만큼만 만든다는 제조업의 ‘적시 생산’ 개념과 같이, 필요한 순간에만 AI 리소스를 활용해 불필요한 비용을 절감한다는 것이다.

금융 서비스 기업 TIAA의 CIO인 사스트리 두르바술라는 “시기의 적절성이 매우 중요하다. 실시간 맥락을 고려해야 하므로 너무 일찍 작업을 수행하는 것은 바람직하지 않다. 우리는 필요한 시점에만 AI를 활성화한다”라고 말했다.

TIAA는 자산운용 부문인 누빈(Nuveen)을 위해 ‘리서치 버디’라고 불리는 생성형 AI 시스템을 도입했다. 이 시스템은 필요에 따라 공개된 문서에서 관련 정보와 인사이트를 수집한다. 두르바술라는 “연구 분석가가 리서치를 필요로 할 때 AI가 활성화된다. AI는 분석가의 입력을 받아 질문에 답하고 보고서를 생성한다”라고 설명했다.

하지만 ‘적시 생산’ 사고방식이 중요한 이유는 시기 적절성에만 있지 않다. 생성형 AI 처리 비용도 중요한 요소다. 두르바술라는 “AI 비용은 천문학적으로 높을 수 있다. 비즈니스 가치 측면에서 항상 정당화될 수준이 아니다”라고 지적했다.

항상 필요한 것은 아니다

포레스터리서치 분석가 마이크 굴티에리는 AI 분야에서 적시 생산 사고방식의 효율성이 높더라도 모든 상황에 적합하진 않다고 지적했다.

굴티에리는 “적시 생산 개념을 AI에 접목한다는 발상이 주목받고 있다. 하지만 사람들의 생각에는 동의하기 어려운 부분이 있다”라고 지적했다. 많은 기업 리더가 이 개념에 관심을 기울이는 이유인 생성형 AI 비용이 상황에 따라 다를 수 있다는 것이다. 예를 들어 그는 “고객 응대와 같이 수익성이 낮은 업무에서는 생성형 AI 도입 비용이 부담될 수 있다. 하지만 수백만 달러 규모의 중요한 의사결정이 필요한 상황에서 비용은 오히려 미미한 수준”이라고 설명했다. 그는 “1,000만 달러를 절약할 수 있다면 100만 달러가 들더라도 주저해서는 안 된다”라고 강조했다.

굴티에리는 또한 IT 리더가 AI 워크로드에서 비용이 중요한 경우와 그렇지 않은 경우를 구분해야 한다고 말했다. 대부분의 조직이 사전 학습된 대규모 언어 모델(LLM)을 사용하기 때문에 인프라와 모델 학습에는 막대한 비용이 들지 않는다. AI 인재 채용에는 높은 비용이 들지만, 사전 학습된 모델을 잘 사용하면 고임금 데이터 과학 인재가 필요하지 않을 수 있다.

그는 “소프트웨어 개발팀이 애플리케이션에 생성형 AI 구성 요소를 통합하기만 하면 된다. 인재는 더 이상 제한 요소가 아니다”라고 언급했다.

검색 증강 생성(RAG) 서비스 활용도 생성형 AI 비용을 낮추는 방법이다. RAG는 생성형 AI 응답의 품질과 관련성을 향상시키면서 맞춤형 모델 학습의 필요성을 줄여 비용을 절감한다. 굴티에리는 “벤더 대부분이 기본 RAG 솔루션을 제공하기 때문에 기업이 직접 구축할 필요가 없다. 구글은 RAG 서비스를 출시했다. 사전 학습된 LLM을 사용하다가 필요한 정보만 적절한 순간에 실시간으로 주입하면 된다”라고 설명했다.

굴티에리는 다소 비관적인 의견을 건넸지만, 그가 언급한 ‘적절한 순간’이란 결국 생성형 AI 적시 활용 전략의 핵심 가치를 드러내는 것이기도 하다. 실제로 RAG와 같은 기술은 이를 개발하고 활용한 팀들에게 비즈니스 가치를 최대화할 뿐만 아니라, 특정 사용 사례나 워크플로우의 AI 부하를 최소화하는 모범 사례로 떠올랐다.

이런 기술을 통해 기업은 특정 데이터셋에 대한 추가 학습 없이도 기성 사전 학습 LLM을 활용할 수 있다. 특히 RAG를 통해 고임금 데이터 과학 인재 활용보다 소프트웨어 개발 작업에 중점을 둔 워크플로우를 설계할 수 있다. 이것이 바로 생성형 AI 적시 활용 전략의 핵심이다.

실시간 의사 결정을 위한 생성형 AI 도입 사례

의사 결정을 위해 생성형 AI 적시 활용 전략을 채택한 기업이 있다. 지난 5월 마이크로소프트 애저와 오픈AI 플랫폼 기반의 솔루션인 ‘텐진GPT(Tenjin GPT)’를 2만 4,000명의 직원에게 배포한 국방, 우주, 민간, 정보 시장 대상 기술 통합업체 SAIC다. SAIC는 업무 효율을 높이는 특정 영역에 초점을 맞춰 전사적 생성형 AI 플랫폼을 구축했다. 초기 사용 사례는 조직 전반의 전략적 지점에서 업무 프로세스를 개선하는 데 중점을 뒀다.

구체적으로 SAIC는 IT 서비스 관련 문제 해결을 돕는 챗봇과 고객 서비스 요청에 대한 정보를 제공하는 가상 에이전트를 구축했다. 또한 텐진은 AI 지원 소프트웨어 개발, 데이터 준비 및 시각화, 콘텐츠 생성에 활용되고 있으며, SAIC는 이를 고객에게도 제공하고 있다.

SAIC의 CIO 네이선 로저스에 따르면 텐진GPT는 장기적인 생성형 AI 전략의 첫 단계다. 로저스는 “우리는 AI를 더 광범위한 사용자 기반으로 확대하려 한다. 궁극적으로는 내부 업무와 정부 고객 모두를 위해 적시에 의사 결정이 가능하도록 전사적으로 시민 개발자(편집자 주: 정식 IT 교육을 받지 않았지만 자신의 업무 영역에서 필요한 솔루션을 직접 개발하는 비IT 직원)를 양성할 계획”이라고 말했다.

‘적시’라는 용어에 담긴 의미

일부 IT 리더는 생성형 AI의 비용이 높고 신중하게 다뤄야 한다는 점을 인정하면서도 ‘적시’라는 용어 적절성에 의문을 제기했다.

애브넷의 CIO 맥스 찬은 “’적시’라는 표현이 완전히 와닿지는 않는다. 이는 불필요한 리소스 소모를 줄이고 비용과 효율성을 관리하기 위해 적절한 장소에 적절한 기술을 사용한다는 의미다. 이는 IT 리더들이 이미 하고 있는 일이다”라고 말했다.

그는 “하지만 생성형 AI가 많은 비용과 컴퓨팅 자원을 쓴다는 점에 한해서는 이 비유가 적합하다. 생성형 AI와 LLM에는 엄청난 컴퓨팅 과정이 필요하다. 따라서 모든 문제의 해답이 될 수는 없다. 불필요한 리소스를 낭비하고 결과를 얻지 못하는 상황은 피해야 한다. AI 도입은 목표 지향적이어야 하며, AI를 위한 AI가 아니라 실질적 수익 창출에 어떤 도움이 되는지 고려해야 한다”라고 말했다.

생성형 AI의 적시 활용과 관련해 또 하나 고려할 점은 AI 응답의 편견이나 환각 현상을 방지하기 위해 사람 개입(HITL)을 프로세스에 구현할 수 있는지 여부다. 전체 업무 흐름의 구조에 따라 사람 개입 방식을 구현하기 어려울 수 있다.

TIAA의 두르바술라는 “생성형 AI 적시 활용 전략에서는 사람 개입을 구현할 여유가 없다. 하지만 이는 해결 가능한 문제다. 사전에 처리되어야 한다”라고 말했다.

이는 다시 말해 AI 에이전트를 실제 운영에 배포하기 전에 책임 있는 AI 규칙을 내장해야 한다는 의미다. TIAA의 경우 누빈 분석가들이 리서치 버디의 결과를 사용하기 전에 검토하는 과정을 거친다고 그는 설명했다.

‘사전에 대비’하는 전략

두르바술라는 누빈 직원들이 사용하는 AI 기반 리서치 버디에 ‘사전 대비(just-in-case)’ 개념도 적용했다. 이 시스템은 필요한 경우에만 작동하되 정확한 시점에 보고서를 생성하도록 설계됐다.

그는 “투자 중심 워크플로우는 사전 대비 방식이어야 한다. 투자 전문가들이 필요로 할 때 인사이트를 제공할 수 있어야 한다. 대량의 공개 데이터를 실시간으로 처리해 투자 전문가들을 지원할 때는 지연이 길어지면 안 된다. 개인화와 맞춤형 프롬프트는 실시간으로 이뤄져야 한다”라고 말했다.

생성형 AI는 혁신적인 기술이지만, 실제 도입 과정은 점진적으로 이뤄지고 있다. 기업 운영과 사용자 경험, 비즈니스 성과를 조금씩 개선해 나가고 있다. 마치 일본의 제조 혁신이 여러 공정에서 시간과 비용을 조금씩 줄여가며 큰 변화를 이끌어낸 것과 비슷하다. ‘적시’에 활용하든, ‘사전에 대비’하든, 혹은 단순히 현명한 방식으로 도입하든 간에, 비용 효율적으로 AI의 잠재력을 극대화하려면 세심한 전략과 계획이 필요하다.
dl-ciokorea@foundryco.com