기고 | ‘비싼’ 기업용 소프트웨어의 시대는 끝났을까?

생성형 AI와 대규모 언어 모델(LLM)이 기업 소프트웨어 개발과 제공 방식을 변화시키고 있다. 챗봇과 단순한 자동화 도구로 시작한 이 기술은 이제 소프트웨어 아키텍처에 깊이 통합돼 백엔드 프로세스부터 사용자 인터페이스까지 모든 것에 영향을 미치는 강력한 AI 시스템으로 발전하고 있다.

챗봇은 단기적 유행

현재 기업은 다양한 문제 해결을 위한 챗봇과 맞춤형 GPT 개발에 집중하고 있다. 이러한 AI 기반 도구는 내부 지식 접근성 향상과 고객 서비스 자동화라는 두 영역에서 특히 유용하다. 챗봇은 직원들이 방대한 내부 지식 기반에 신속히 접근할 수 있는 응답 시스템을 구축하는 데 사용돼 정보 사일로를 허물 수 있다.

이런 도구는 유용하지만, 혁신이나 차별화 부족으로 인해 가치가 점점 감소하고 있다. 또한 챗봇은 특정 문제를 해결하는 더 나은 대안에 대한 이해 부족으로 인해 적절하지 않은 사용자 인터페이스가 되는 경우가 많다.

미래에는 최종 사용자에게 드러나지 않으면서도 소프트웨어 제품에 원활하게 통합되는 AI 기능이 등장할 가능성이 높다.

일상 기술로서의 생성형 AI

향후 몇 년간 AI는 직접적인 사용자 상호작용이 필요한 명시적이고 불투명한 도구에서 기능 세트에 완벽하게 통합된 구성 요소로 진화할 것이다. 생성형 AI는 사용자가 직접 상호작용할 필요 없이 동적 콘텐츠 생성, 지능적 의사결정, 실시간 개인화와 같은 기능을 가능하게 할 수 있다. 이는 UI 설계와 소프트웨어 사용 방식을 근본적으로 변화시킨다. 특정 매개변수를 수동으로 입력하는 대신, 사용자는 점차 자연어로 요구사항을 설명할 수 있게 된다.

이런 예는 이미 어도비 포토샵(Adobe Photoshop)과 같은 도구에서 볼 수 있다. ‘생성형 채우기’ 기능은 사용자가 여러 매개변수를 수동으로 조정할 필요가 없다. 대신 이미지의 선택된 영역을 채우고 싶은 내용을 간단히 설명하면 된다. 자연어 입력은 애플리케이션 전반에 확산돼 사용자 경험을 더 직관적으로 만들고 전통적인 UI 요소의 제약에서 벗어나게 할 수 있다.

향후 업계의 과제는 부족함이 아니라 풍요로움이다. 다시 말해 가장 유망한 기회를 찾고 우선순위를 정하는 것이 관건이다.

특수 ML 모델 대비 LLM 범용화의 효과

생성형 AI가 IT 업계에 가져온 주목할 만한 변화는 AI 기능의 민주화다. LLM과 확산 모델이 등장하기 전에는 조직이 복잡한 문제를 해결하려면 특수 ML 모델을 개발하는 데 상당한 시간과 노력, 자원을 투자해야 했다. 이를 위해서는 도메인별 데이터 수집, 특성 준비, 데이터 라벨링, 재학습, 모델 수명주기 전체를 관리하는 전문 역할과 팀이 필요했다.

LLM은 이제 알고리즘으로 해결하기 어렵거나 불가능한 문제에 대한 기업의 접근 방식을 변화시키고 있다. LLM, 즉 대규모 언어 모델에서 ‘언어’라는 용어는 오해의 소지가 있지만, 이 자동회귀 모델은 토큰으로 쉽게 분해될 수 있는 이미지, 비디오, 소리 심지어 단백질까지도 처리할 수 있다. 기업은 자체 데이터로 이런 다목적 도구를 강화하기 위해 검색 증강 생성(RAG) 아키텍처를 사용할 수 있다. 이를 통해 광범위한 기능의 활용이 가능해진다.

이제는 전문 팀, 광범위한 데이터 라벨링, 복잡한 ML 파이프라인이 불필요하다. LLM의 광범위한 사전 학습 지식을 통해 비정형 데이터도 효과적으로 처리하고 해석할 수 있다.

이런 민주화의 중요한 측면은 사용하기 쉬운 API를 통해 LLM에 접근할 수 있다는 점이다. 최근 거의 모든 개발자가 API 기반 서비스 작업 방법을 알고 있기 때문에, 이런 모델을 기존 소프트웨어 생태계에 원활하게 통합할 수 있다. 이를 통해 기업은 기본 인프라에 대해 걱정할 필요 없이 강력한 모델의 혜택을 받을 수 있다. 또한 특정 보안이나 데이터 보호 요구사항이 있는 경우 일부 모델을 온프레미스로 운영할 수도 있다. 그러나 이 방식을 택하면 최신 모델이 제공하는 일부 이점을 희생해야 한다.

예를 들어 여행 경비를 기록하고 관리하는 앱을 살펴보자. 전통적으로 이런 애플리케이션은 업로드된 영수증을 DATEV 같은 회계 카테고리로 분류하기 위해 특수 학습된 ML 모델을 사용했다. 이는 데이터 수집, 학습, 모델 업데이트를 관리하기 위한 전용 인프라와, 이상적으로는 완전한 ML옵스 파이프라인(모델 학습, 배포, 모니터링용)이 필요했다.

이제 이런 ML 모델은 문서를 분류하는 적절한 프롬프트와 함께 광범위한 지식을 활용하는 LLM으로 대체될 수 있다. LLM의 멀티모달 기능은 광학 문자 인식(OCR)의 필요성마저 없애 기술 스택을 단순화한다. 영수증 데이터에 순가격과 총액 또는 세율도 포함해야 하는가? LLM이 이 작업을 수행할 수 있다.

과거에는 불가능했던 AI 기반 기능

생성형 AI는 맞춤형 ML 솔루션이나 복잡한 알고리즘에의 대규모 투자가 필요해 조직이 쉽게 접근할 수 없었던 다양한 기능을 실현한다. 구체적인 예를 살펴보자.

키워드 검색 이상의 정서 및 맥락 기반 검색

정서 기반 검색은 전통적인 키워드 기반 검색 시스템보다 크게 발전한 방식이다.

사용자가 자연어로 의도를 표현하면, 생성형 AI는 전체 맥락과 ‘정서’를 포착할 수 있다. 예시는 다음과 같다.

기존 키워드 검색: “베를린 최고의 레스토랑”
정서 및 맥락 기반 검색: “나는 까다로운 미식가이고 음식도 제공하는 와인 바를 좋아하는데, 가급적 현지 식재료를 사용하는 곳이 좋다. 베를린 미테와 크로이츠베르크의 레스토랑을 추천해 줘. 단, 참견이 심한 내추럴 와인 바는 제외해 줘.”

정서 및 맥락 기반 검색에서 LLM은 다음을 이해하고 처리할 수 있다.

• ‘까다로운 미식가’라는 자기 묘사
• 음식도 제공하는 와인 바에 대한 선호도
• 현지 식재료에 대한 선호도
• 특정 지역 선호도(미테와 크로이츠베르크)
• 일반 와인 바와 ‘참견이 심한 내추럴 와인 바’의 구분

이런 수준의 뉘앙스와 문맥 이해를 통해 검색 기능은 단순히 키워드를 매칭하는 대신 고도로 개인화되고 관련성 높은 결과를 제공한다.

• 정서 및 맥락 기반 검색을 구현하면 여러 애플리케이션에서 사용자 경험을 크게 개선할 수 있다.
• 내부 지식 기반: 직원은 자연어 쿼리를 사용해 특정 상황이나 요구사항을 설명하는 정보를 찾을 수 있다.
• 이커머스 플랫폼: 고객은 정확한 용어를 모르더라도 제품을 설명할 수 있다.
• 고객 서비스 시스템: 사용자는 자신의 문제를 상세히 설명할 수 있다. 시스템은 더 정확한 해결책을 제시하거나 적절한 지원 담당자에게 연결한다.
• 콘텐츠 관리 시스템: 콘텐츠 편집자는 수많은 태그나 메타데이터에 의존하지 않고 설명을 통해 자산이나 콘텐츠를 검색할 수 있다.

지능형 데이터 및 콘텐츠 분석

감성 분석

직원들이 업무에 대한 짧은 상태 메시지를 게시할 수 있는 내부 시스템을 예로 들 수 있다. 관리자는 특정 주 동안 팀의 전반적인 분위기를 평가하고자 한다. 과거에는 맞춤형 ML 모델로 게시물의 감성 분석을 구현하기 어려웠다. LLM을 사용하면 그 복잡성이 간단한 API 호출로 줄어든다.

결과가 반드시 사람이 읽을 수 있는 언어로 출력될 필요도 없다. 시스템이 일치하는 아이콘이나 그래픽을 표시하기 위해 구조화된 JSON으로 제공할 수 있다. 또는 LLM이 단순히 이모지를 출력해 분위기를 나타낼 수 있다. 물론 이런 기능을 구현하는 데는 직원의 동의가 필요하다.

복잡한 데이터에서 인사이트 도출

LLM이 복잡한 데이터를 분석하는 능력을 보여주는 또 다른 예는 냉각 시스템을 위한 지능형 경보 관리다.

전통적으로 이런 시스템은 다음에 중점을 뒀다.

• 실시간 데이터와 경보가 표시되는 그래픽 경보 대시보드
• 시계열 데이터의 복잡하고 필터링 가능한 표 형식

이 기능들은 유용하지만, 의미 있는 인사이트를 얻으려면 사람의 상당한 해석이 필요하다. 여기서 LLM은 전용 ML 모델 없이도 제로샷에 기반해 원시 데이터를 즉시 실행 가능한 인사이트로 변환하고 시스템 기능을 확장할 수 있다.

• 자동 보고서 작성: LLM은 시계열 데이터를 분석해 자연어로 상세한 보고서를 생성할 수 있다. 이는 기술자와 관리자 모두에게 가치 있는 트렌드, 이상 징후, 주요 성과 지표를 강조할 수 있다. 예를 들어, 지난주의 경보를 요약하고 반복되는 문제를 식별하며 개선이 필요한 영역을 제안하는 보고서를 작성할 수 있다.
• 심층 분석: LLM은 단순한 데이터 표현을 넘어 데이터의 복잡한 패턴을 식별하고 설명할 수 있다. 예를 들어, 주요 시스템 문제를 나타내는 경보 시퀀스를 식별할 수 있다. 이는 전통적인 표나 차트에서는 간과될 수 있는 인사이트다.
• 예측 인사이트: 과거 데이터를 분석해 LLM은 향후 시스템 상태를 예측할 수 있다. 이를 통해 사전 유지보수가 가능하고 잠재적인 고장을 예방하는 데 도움이 된다.
• 구조화된 출력: LLM은 자연어 보고서 외에도 JSON처럼 구조화된 데이터를 출력할 수 있다. 이를 통해 복잡한 정보를 시각적으로 표현하는 동적 그래픽 사용자 인터페이스를 만들 수 있다.
• 자연어 쿼리: 엔지니어는 “앞으로 몇 주 안에 어떤 기기가 페일오버 모드로 전환될 가능성이 있는가?” 같은 자연어 질문을 할 수 있으며, 즉시 관련 답변과 시각화를 받을 수 있다. 이 기능은 이제 오픈AI를 통해 실시간 API로도 제공된다.

쓰기, 말하기, 보기, 듣기를 지원하는 멀티모달 블랙박스

멀티모달은 LLM 기능을 크게 확장한다. 텍스트, 이미지, 사운드, 음성을 처리할 수 있는 모델은 복잡한 기능 조합을 가능하게 한다. 사용자가 복잡한 시각 콘텐츠를 가공해 텍스트나 음성으로 준비할 수 있도록 도와주는 애플리케이션을 예로 들 수 있다.

가능한 사용 사례의 범위는 매우 광범위하다. 책장을 훑어보는 영상에 인식된 책 제목으로 데이터베이스를 채우고, 닭장 감시 영상에 나타난 낯선 동물을 식별하며, 스코틀랜드 여성이 독일 렌터카 내비게이션에 도로명을 말하는 등 다양한 상황에 적용될 수 있다.

기술 제약 및 해결 방안

LLM에는 몇 가지 기술 제약이 있다. 그중 언어 모델이 한 번에 처리 가능한 텍스트의 양(정확하게는 토큰의 수)인 컨텍스트 창은 매우 중요한 요소다.

대부분의 LLM은 수천 개에서 수만 개로 제한된 컨텍스트 창을 갖고 있다. 예를 들어 GPT-4의 컨텍스트 창은 12만 8,000개의 토큰을, 제미나이 1.5 프로는 최대 200만 개의 토큰을 처리할 수 있다. 상당히 높은 수치처럼 보이지만, 책이나 긴 동영상 같은 입력 세트를 처리할 때는 금세 병목 현상이 생길 수 있다.

다행히도 이런 제약을 극복하는 여러 전략이 있다.

• 청킹(분할)과 요약: 큰 문서를 컨텍스트 창에 맞는 작은 세그먼트로 나눈다. 각 세그먼트를 개별적으로 처리한 후 결과를 병합한다.
• 검색 증강 생성(RAG): 모델의 광범위한 지식에만 의존하는 대신, 별도의 데이터 소스에서 관련 정보를 검색하여 프롬프트에 통합한다.
• 도메인 조정: 프롬프트 엔지니어링과 도메인별 지식 기반을 결합해 모델의 범용성을 제한하지 않으면서 전문 지식을 활용할 수 있다.
• 슬라이딩 윈도우: 시계열 데이터나 긴 문서와 같은 긴 텍스트 시퀀스를 분석하기 위해 슬라이딩 윈도우를 사용한다. 모델은 전체 문서를 이동할 때 일부 컨텍스트를 유지한다.
• 다단계 추론: 복잡한 문제를 일련의 작은 단계로 나눈다. 각 단계는 컨텍스트 창 제한 내에서 LLM을 사용하며, 이전 단계의 결과가 후속 단계에 영향을 미친다.
• 하이브리드 접근법: TF-IDF와 BM25 같은 전통적인 정보 검색 방법으로 관련 텍스트 구절을 사전 필터링할 수 있다. 이는 후속 LLM 분석을 위한 데이터 양을 크게 줄여 전체 시스템의 효율성을 높인다.

기업용 소프트웨어의 표준 구성 요소로서의 생성형 AI

기업은 생성형 AI를 모든 것에 영향을 미칠 범용 기술로 인식해야 한다. 생성형 AI는 소프트웨어 개발 스택의 일부가 될 뿐만 아니라 새로운 기능이나 기존 기능을 구현하는 데 필수적인 요소가 될 것이다. 소프트웨어 개발의 미래 경쟁력을 확보하기 위해서는 단지 소프트웨어 개발을 위한 AI 도구를 도입하는 데 그치지 않고, AI의 영향력 증가에 대비해 인프라, 설계 패턴, 운영을 준비해야 한다.

이런 변화가 진행될수록 소프트웨어 아키텍트, 개발자, 제품 디자이너의 역할도 진화할 가능성이 높다. 순수 기술 역량이 더 저렴해지고 자동화됨에 따라, AI 기능 설계, 비결정적 출력 처리, 다양한 기업 시스템과의 원활한 통합을 위한 새로운 기술과 전략을 개발해야 할 것이다. 기술직과 비기술직 간의 소프트 스킬과 협업이 그 어느 때보다 중요해질 전망이다.

* Robert Glaser는 INNOQ의 데이터 및 AI 책임자다. 생성형 AI의 실용적 활용과 관련해 팟캐스트 ‘AI und Jetzt’를 진행하며 산업 전반에의 AI 잠재력을 논의하고 있다.
[email protected]