크기가 해법은 아니다··· SLM이 기업 IT 아키텍처에서 효율적인 이유

기업용 AI는 대체로 대규모 언어 모델(LLM) 중심으로 구축되고 소규모 언어 모델(SLM) 은 간과되는 경우가 많다. 하지만 크다고 해서 항상 좋은 것은 아니다. 오히려 더 작고 특화된 모델이 더 빠르고 효율적으로 작업을 수행하는 사례가 적지 않다.

문제를 복잡하게 만드는 점은 단일 LLM이나 SLM만으로는 특히 복잡한 기업 환경에서 필요한 모든 요소를 충족하기 어렵다는 사실이다. 두 경우 모두 구조가 핵심이며, 여기서 지식 그래프가 중요한 역할을 할 수 있다. 지식 그래프는 맥락과 연결성을 제공해 언어 모델을 실제로 유용한 도구로 만든다.

기업용 AI에서 SLM의 가치

먼저 SLM과 LLM을 비교해 보자. 개발자들은 이미 SLM에 주목하고 있지만, 논의의 대부분은 기술적 이점이나 보안 측면에 집중돼 있다. 그러나 실제로 많은 기업 사용례에서 범용 LLM보다 작은 규모의 도메인 특화 모델이 더 빠르고 맥락에 맞는 결과를 제공하는 경우가 많다.

이는 대부분의 비즈니스 문제가 본질적으로 좁고 구체적이기 때문이다. 기업에는 작가 T.S. 엘리엇 작품을 읽었거나 휴가 계획을 세울 수 있는 모델이 아니라 리드 타임, 물류 제약, 공급망 리스크를 이해하는 모델이 필요하다. 결과를 의미 있게 만드는 것은 일반적인 지능이 아닌 기업의 맥락에 기반한 지능이다.

추론 모델은 이미 이런 방식으로 조용하면서도 효율적으로 동작한다. 최신 시스템인 딥시크(Deepseek)조차 매번 전체 신경망을 가동하는 대신, 수학 엔진과 같은 특화된 내부 컴포넌트를 불러 특정 문제를 해결하는 ‘MoE(Mixture of Experts)’ 접근 방식을 사용한다.

이런 모듈형 전략은 실제 기업 운영 방식과도 닮아있다. 하나의 거대한 모델에 의존하는 대신, 재무, 운영, 고객 서비스처럼 특정 도메인에 특화된 다수의 SLM을 배치할 수 있다. 이후 이들의 결과물을 범용 조정 모델이 종합하거나, 어떤 ‘전문가’를 호출해야 할지 아는 AI 에이전트를 통해 라우팅한다. 그 결과 현실의 조직 구조와 잘 맞아떨어지는 유연하고 효율적인 아키텍처가 만들어진다.

이는 또한 사람의 문제 해결 방식과도 같다. 예를 들어 물리학자는 세금 문제를 잘 다루지 못하더라도 대부분의 사람들은 적당히 넘어가며 모호한 수준으로 답변할 수 있다. 이 두 지식을 결합하면 정확성과 포괄성을 동시에 확보할 수 있다. AI도 마찬가지다. 전문 영역의 경계가 명확하고, 이를 적절히 위임할 수 있는 시스템이 있을 때 최고의 성능을 발휘한다.

이커머스나 IT 아키텍처에서처럼, 조직은 점점 더 최적의 도구 전략을 통해 성과를 내고 있다. 즉, 업무에 가장 적합한 도구를 선택해 활용하고, 이를 오케스트레이션된 워크플로우로 연결하는 방식이다. AI 역시 비슷한 길을 걷고 있다. 단순한 개념 증명(Proof-of-Concept) 단계를 넘어 모듈형·통합적 접근법을 받아들이며 실질적인 가치 창출로 나아가고 있다.

더욱이 SLM은 단순히 대규모 모델보다 비용이 저렴할 뿐만 아니라, 성능에서도 앞서는 경우가 있다. 대표적인 사례가 마이크로소프트(MS)의 파이2(Phi-2)다. 이 모델은 고품질의 수학 및 코드 데이터로 학습된 소규모 모델인데, 특정 전문 영역에서 훨씬 더 큰 모델을 능가하며 때로는 압도적인 성과를 보이기도 한다. 언어 모델의 강점은 크기에서 오는 것이 아니라 집중된 학습 데이터와 정밀한 훈련에서 비롯된다.

방대한 데이터 세트로 학습된 대규모 모델의 핵심 난제는 새로운 데이터를 추가할 때 발생한다. 가중치 변화로 인해 이전에 정확했던 출력이 오히려 왜곡되거나 성능이 저하될 수 있기 때문이다. 반면 SLM은 처음부터 좁고 특화된 전문성을 유지하도록 설계돼 있어 이 문제를 피할 수 있다.

여러 모델을 최적화해 함께 활용

그러나 전문성에는 또 다른 과제가 따른다. 바로 오케스트레이션이다. 여러 개의 SLM과 경우에 따라 한두 개의 LLM을 함께 운영하려면 정확한 의도 인식과 스마트 라우팅이 필수적이다. 사용자가 질문을 던졌을 때, 시스템은 이를 올바르게 해석하고 적절한 모델로 전달해 신뢰할 수 있는 답변을 제공해야 한다.

가장 발전된 LLM조차도 메타 인지 능력은 완벽하지 않다. 이 때문에 라우팅 로직은 주로 데이터 과학자가 하드코딩해야 하고, 이는 작업 위임의 완전한 자동화를 어렵게 만들며 동시에 솔루션 비용을 크게 증가시킨다. 이에 많은 기업이 하이브리드 접근법을 택하고 있다. 먼저 범용 LLM을 적용한 뒤, 부족한 부분을 파악하고 그 공백을 메우기 위해 SLM을 도입하는 방식이다.

더 큰 문제는 대부분의 논의에서 생성형 AI가 압도적인 비중을 차지하면서, 수십 년간 축적된 가치 있는 비생성형 도구들이 다소 가려지고 있다는 점이다. 그러나 조직이 실제 엔터프라이즈급 데이터 문제를 해결하는 역량을 높여감에 따라, 보다 균형 잡히고 실용적인 툴박스로 이동할 가능성이 크다. 이는 과제에 따라 통계 모델, 최적화 기법, 구조화 데이터, 그리고 특화된 LLM 또는 SLM을 조합해 활용하는 방향이다.

사실 이런 상황은 낯설지 않다. 이는 머신러닝의 ‘피처 엔지니어링(feature engineering) 시대’를 떠올리게 한다. 당시 성공은 단일한 돌파구에서 나온 것이 아니라, 워크플로우를 정교하게 설계하고, 구성 요소를 튜닝하며, 과제마다 적합한 기법을 선택하는 데서 비롯됐다. 이는 화려하지 않았지만 효과적이었다. 지금 AI도 같은 길을 걷고 있다. 즉, 과도한 포장과 유행에서 벗어나 더 성숙하고 계층화된 접근법으로 이동하고 있다. 실질적 비즈니스 문제 해결에 집중하며, 제대로 작동하는 기술을 통합적으로 결합하는 방향으로 나아가고 있다.

다른 도구의 필요성

결국 성공은 단일 모델에서 나오지 않는다. 은행을 단순히 데이터베이스 하나로 운영할 수 없듯, 기업 AI도 고립된 지능만으로 구축할 수 없다. 여기에 필요한 것은 검색, 검색어 추출, 검증, 라우팅, 추론 등을 포함하는 오케스트레이션 계층이다.

그리고 그래프 기술이야말로 어떤 형태의 AI든 실제로 작동하게 만드는 핵심일 수 있다. 현재는 구조화된 그래프 데이터를 AI 시스템과 결합하려는 트렌드가 점점 강해지고 있다. 그래프는 도메인별 ‘교과서’처럼 기능해 정확도를 높이고 환각 현상을 크게 줄여준다.

무엇보다 중요한 점은 그래프가 비전문가도 그래프 이론을 이해할 필요 없이 직관적으로 복잡한 데이터를 질의할 수 있는 구조를 제공한다는 사실이다. LLM은 긴 맥락을 다루는 데 종종 어려움을 겪으며, 단순히 더 많은 데이터를 투입하는 방식으로는 문제가 해결되지 않는다. 반면 그래프는 연관된 정보를 체계적으로 묶고, 여러 추상화 수준에서 인사이트를 도출하는 데 강점을 가진다. 이를 통해 “우리 비즈니스의 핵심 주제는 무엇인가?”, “가장 큰 운영상의 도전은 어디에 있는가?”와 같은 고도화된 비즈니스 질문에도 더 나은 답을 제시할 수 있다.

검색 증강 생성(RAG), 지능형 검색, 그래프 기반 로직과 같은 기법은 AI 출력을 실용적이고 신뢰할 수 있으며 과제에 충실한 결과로 만들 수 있다. 특히 벡터 검색, 동적 알고리즘, 그리고 그래프 기반 RAG(GraphRAG) 등 최신 기술을 접목한 지식 그래프는 그 어느 때보다 정밀하게 컨텍스트를 제공할 수 있다.

생성형 AI의 미래를 보여주는 가장 강력한 근거는 바로 지속적으로 지식 그래프에 의해 풍부해지는 집중형 SLM이다. 물론 현재 SLM은 아직 초기 단계에 있다. 관련 도구는 미성숙하고, 인프라도 이제 뒤따르고 있으며, 오픈AI API 같은 단순한 플러그 앤 플레이 방식의 편의성도 부족하다. 하지만 특히 법 집행과 같이 규제가 강한 분야에서는 이미 도메인 전문성을 갖춘 벤더들이 SLM을 활용해 의미 있는 자동화를 실현하고 있으며, 생태계가 성숙해짐에 따라 더 많은 산업이 뒤따를 것이다.

앞으로의 방향은 그래프, SLM, 그리고 기존 AI 기법이 결합된 통합 AI 스택으로 수렴하고 있다. 이는 단순히 강력할 뿐 아니라 목적에 충실한 시스템으로 발전하게 될 전망이다. 계산기에 탑재된 AI를 굳이 언급하지 않듯, 앞으로 최고의 AI는 눈에 드러나지 않지만 필수적인 요소로서 문제없이 작동하는 도구의 핵심 구성 요소가 될 가능성이 크다.
dl-ciokorea@foundryco.com