칼럼 | 모델은 빌리고 그라운딩은 소유한다···AI 경쟁력의 새로운 공식

지난 2년간 기업 AI 인프라 분야에서 일하며 업계의 흐름을 지켜본 결과, 필자는 같은 질문이 반복해서 제기되는 것을 목격했다. ‘우리도 자체 LLM을 구축해야 할까?’라는 질문이다.

이런 생각이 드는 이유는 충분히 이해할 수 있다. 모델은 AI의 핵심이자 엔진이며 두뇌이고, 반드시 확보해야 할 자산처럼 보이기 때문이다.

하지만 고객 경험과 데이터 그라운딩 인프라 분야에서 AI 제품 관리자로 오랜 기간 일하며 내린 결론은 다르다. 다소 의외로 들릴 수 있지만, 모델은 AI 전략에서 가장 오래 지속되지 않는 요소다.

이 말을 하는 이유는 논쟁을 불러일으키기 위해서가 아니다. 지난 몇 년 동안 많은 기업은 가장 빠르게 범용화되고 있는 기술 계층에 가장 귀중한 자원을 집중해 왔다. 경영진의 관심, 우수한 엔지니어 인력, 투자 자본까지 모두 모델에 쏟아부었다.

반면 AI의 신뢰성과 정확성, 그리고 경쟁력을 좌우하는 데이터 그라운딩 계층은 단순한 기반 인프라 정도로 취급돼 왔다. 필자의 경험으로는 이러한 우선순위의 역전이 현재 기업들이 AI 도입 과정에서 범하는 가장 비용이 큰 실수다.

진정한 경쟁력은 그라운딩이다

그라운딩(Grounding)은 범용 AI 모델을 기업이 보유한 최신의 신뢰할 수 있는 정보와 연결하는 기술이다. 가장 대표적인 방식은 검색증강생성(Retrieval-Augmented Generation, RAG)이다. 모델이 학습 과정에서 필요한 정보를 모두 기억하고 있기를 기대하는 대신, 사용자의 질의가 들어오는 순간 기업 내부 시스템에서 관련 정보를 실시간으로 검색해 모델에 제공함으로써 정확한 답변에 필요한 맥락을 전달하는 방식이다.

AI 경쟁력을 고민하는 기업이라면 여기서 중요한 점이 있다. 경쟁사도 기업이 사용하는 것과 동일한 모델을 얼마든지 사용할 수 있다. 하지만 기업의 데이터와 축적된 업무 지식, 업무 프로세스, 그리고 이러한 정보를 적시에 정확하게 제공하는 데이터 파이프라인까지 빌릴 수는 없다.

바로 이 파이프라인이 진정한 독점 자산이다. 쉽게 모방할 수 없고 시간이 지날수록 가치가 축적된다. 이것이 경쟁 우위(Moat)의 전형적인 조건이며, 어떤 모델을 선택했는지와는 거의 관련이 없다.

업계도 이러한 변화를 인식하기 시작했다. 가트너는 2027년까지 기업들이 범용 LLM보다 특정 업무에 특화된 소형 모델을 최소 세 배 이상 많이 활용할 것으로 전망했다. 실제 업무에서는 모델 규모보다 업무 도메인에 대한 이해와 맥락이 정확도를 좌우하기 때문이다.

또한 소형 모델은 설계상 내부 파라미터에 저장하는 정보가 적다. 그만큼 최신의 신뢰할 수 있는 정보를 실시간으로 제공하는 검색 기능에 더욱 크게 의존하게 된다. 결과적으로 모델은 더 작아지고 교체하기 쉬운 요소가 되는 반면, 그라운딩은 AI 성능을 좌우하는 핵심 계층으로 자리 잡게 된다.

가트너는 같은 분석에서 기업 경쟁력을 결정하는 요소로 데이터 준비와 검증, 버전 관리, 운영 역량을 꼽았다. 다시 말해 기업을 차별화하는 요소는 모델이 아니라 데이터를 관리하는 역량이라는 의미다.

이러한 분석은 필자가 현장에서 직접 경험한 내용과도 일치한다. 뛰어난 모델을 확보하는 것이 어려웠던 적은 거의 없었고, 실제 문제가 발생한 원인도 대부분 모델 자체는 아니었다. 문제는 모델을 적절한 데이터 소스와 연결하지 못하거나 검색 체계를 제대로 설계하지 못했을 때 발생했다.

비슷한 문제가 반복됐다. 데이터가 부족하면 요약 결과가 불완전해지고, 문서가 일부만 검색되면 중요한 내용이 빠진 답변이 생성됐다. 불필요한 정보가 함께 검색되면 관련성이 떨어지거나 혼란스러운 응답이 나왔다.

그라운딩이 제대로 이뤄지지 않으면 사용자마다 서로 다른 답변이 제공된다. 검색 결과가 없으면 모델은 빈 부분을 환각(Hallucination)이나 무의미한 내용으로 채운다. 오래된 데이터는 자신 있게 틀린 정보를 제시하고, 검색 누락은 원론적인 답변으로 이어진다. 데이터 품질이 낮으면 응답 속도와 결과물의 품질 모두 떨어진다.

이 가운데 어느 것도 모델 자체의 문제가 아니다. 모두 그라운딩의 문제다. 그리고 경영진이 AI로부터 잘못된 답변을 받았을 때 이사회는 모델이 얼마나 뛰어났는지를 따지지 않는다. 중요한 것은 답변이 틀렸다는 사실이며, 해결책은 언제나 그라운딩 계층에 있다.

실제 기업 사례 하나가 특히 기억에 남는다. 한 기업에서는 그라운딩을 사용할 수 없는 환경에서 동일한 질문을 했을 때 실행 환경에 따라 서로 다른 답변이 나왔고, 일부 답변은 서로 모순되기까지 했다.

원인은 나중에 돌아보면 단순했다. 그라운딩이 없자 AI는 기업의 공통 데이터가 아닌 자체 학습 지식을 기반으로 답변을 생성했고, 환경과 설정이 달라질 때마다 응답 내용도 달라졌다.

피해는 단순한 기술적 문제가 아니었다. 같은 질문에도 항상 같은 답을 하지 못하는 AI를 사용자는 더 이상 신뢰하지 않았다.

이것이 부실한 그라운딩이 초래하는 진짜 비용이다. 실제 운영 환경에서 AI의 일관성과 신뢰성을 결정하는 것은 모델이 아니라 데이터 계층이다. 어떤 최신 모델로 교체했더라도 이 문제는 해결되지 않았을 것이다.

경영진은 어디에 투자해야 하는가

기업의 경쟁력이 그라운딩에서 나온다는 사실을 받아들인다면, 예산과 관심을 어디에 집중해야 하는지도 달라져야 한다.

첫째, 조직의 데이터 기반을 AI 프로젝트를 위한 사전 준비 작업이 아니라 핵심 투자 대상으로 바라봐야 한다. 데이터를 정제하고 구조화하며, 거버넌스를 구축하고 버전을 관리하는 일은 화려해 보이지는 않지만 AI의 품질을 결정하는 가장 중요한 작업이다. 필자라면 뛰어난 모델과 부실한 검색 파이프라인보다 평범한 모델과 우수한 검색 파이프라인을 언제나 선택할 것이다.

둘째, 처음부터 모델을 쉽게 교체할 수 있는 구조를 설계해야 한다. 지금 사용하는 모델은 1년 안에 다른 모델로 대체될 가능성이 높다고 가정하는 편이 맞다. 실제로 그렇게 될 가능성이 크기 때문이다. 만약 모델을 교체하는 작업이 어렵다면 시스템 아키텍처가 잘못된 계층에 결합돼 있다는 의미다. 그라운딩 인프라와 평가 체계, 데이터 계약(Data Contract)은 안정적으로 유지되는 핵심 요소가 돼야 하며, 모델은 최소한의 영향만으로 교체할 수 있는 구성 요소여야 한다.

셋째, 모델뿐 아니라 검색(Retrieval) 과정에 대한 관찰성(Observability)과 평가 체계에도 투자해야 한다. 이는 앞으로 더욱 중요해질 분야다. 가트너는 생성형 AI에 대한 신뢰 요구가 기술 발전 속도를 앞지르면서 LLM 관찰성에 대한 투자가 현재 15% 수준에서 2028년에는 생성형 AI 구축 사례의 50%까지 확대될 것으로 전망했다. 시스템이 특정 정보를 왜 검색했는지, 검색된 정보가 실제로 정확했는지를 확인할 수 있어야 AI의 결과를 설명하고 감사할 수 있다. 규제 준수나 기업 평판 관리가 중요한 조직이라면 이는 선택이 아니라 필수다.

물론 그렇다고 모델이 중요하지 않다는 뜻은 아니다. 여전히 성능이 뛰어난 모델은 필요하며 어떤 모델을 선택할지도 중요하다. 하지만 이제 모델 선택은 여러 우수한 대안 가운데 하나를 고르는 조달의 문제일 뿐, 지속적인 경쟁 우위를 만드는 요소는 아니다. 진정한 차별화는 모델을 둘러싼 데이터와 시스템, 운영 역량에서 나온다.

필자는 이러한 사실을 일찍 이해한 기업이 앞으로 몇 년 뒤에는 여전히 자체 모델을 학습시켜야 하는지를 고민하는 기업보다 한발 앞서 있을 것으로 본다. 더 과감한 결정을 내렸기 때문이 아니라, 더 오래 지속되는 선택을 했기 때문이다. 누구나 뛰어난 AI 모델을 사용할 수 있는 시대에는 자사 비즈니스의 현실을 가장 잘 반영하도록 AI를 그라운딩한 기업이 진정한 경쟁 우위를 확보하게 된다.

모델은 빌려 쓰는 자산이다. 그라운딩은 기업이 직접 소유하는 자산이다. AI 전략도 이 원칙을 중심으로 설계해야 한다.
dl-ciokorea@foundryco.com