IBM, 그록 기술 통합해 왓슨X AI 추론 성능 강화

IBM이 AI 추론 속도를 높이기 위해 반도체 스타트업 그록과 손잡았다. 이번 협력을 통해 IBM은 기업 고객이 보다 안정적이고 비용 효율적인 방식으로 AI 추론 애플리케이션을 실행할 수 있도록 지원할 계획이다.

IBM은 구체적으로 그록의 추론 플랫폼 ‘그록클라우드(GroqCloud)’와 자체 개발한 LPU(Language Processing Unit) 하드웨어 아키텍처를 자사의 ‘왓슨X 오케스트레이트(watsonx Orchestrate)’에 통합한다. 왓슨X 오케스트레이트는 고객이 AI 에이전트와 워크플로우를 구축·배포·관리해 비즈니스 운영을 자동화할 수 있도록 돕는 플랫폼이다. 현재 IBM과 외부 파트너가 제공하는 500개 이상의 도구와 맞춤형 도메인 특화 에이전트를 지원하고 있다.

그록은 자사 플랫폼인 그록클라우드가 기존 GPU 시스템 대비 5배 이상 빠르고, 비용 효율성 또한 크게 향상됐다고 밝혔다.

양사는 또한 레드햇의 오픈소스 대형 언어 모델 프레임워크인 ‘vLLM’을 그록의 LPU 아키텍처에서 실행할 수 있도록 통합 및 개선할 계획이다. 이를 통해 IBM의 그래나이트(Granite) 모델도 그록클라우드 환경에서 구동될 수 있게 된다.

IBM은 이번 협력으로 고객이 기존과 동일한 방식으로 왓슨X 기능을 활용하면서도, 자신이 선호하는 개발 도구를 그대로 사용해 추론 속도를 높일 수 있다고 설명했다. IBM은 “이번 통합은 추론 오케스트레이션, 로드 밸런싱, 하드웨어 가속 등 AI 개발자의 핵심 요구를 해결함으로써 전체 추론 과정을 단순화할 것”이라고 밝혔다.

IBM은 기업이 실제 운영 환경에서 AI 워크로드를 실행할 때, 특히 에이전틱 AI, 고객 상담 챗봇, 사기 탐지, IoT 모니터링 등 실시간 의사결정 시스템에서는 추론 속도가 병목 현상으로 작용할 수 있다고 지적했다. 이번 협력의 목적은 이러한 기업 고객이 생산성과 비용 효율성을 동시에 개선할 수 있도록 돕는 데 있다.

IBM은 “의료, 금융, 공공, 소매, 제조 등 여러 산업 분야는 AI 도입 과정에서 속도, 비용, 신뢰성 문제로 어려움을 겪고 있다”며 “이번 협력이 그러한 과제를 해결하는 중요한 계기가 될 것”이라고 전했다.

IBM 소프트웨어 부문 수석부사장이자 최고상업책임자인 롭 토마스는 “많은 대기업이 AI 추론 기술을 실험 단계에서는 다양하게 시도하지만, 실제 운영 환경에 적용하려면 복잡한 워크플로우를 안정적으로 배포해 고품질 경험을 보장해야 한다”라고 말했다.

최근 IBM은 AI 분야에서 협력 행보를 강화하고 있다. 가장 최근에는 오픈AI 출신 전문가들이 설립하고 아마존과 구글이 투자한 스타트업 앤트로픽과 협력했다. IBM은 앤트로픽의 대형 언어 모델 ‘클로드’를 자사 소프트웨어 포트폴리오에 통합할 계획이다. IBM에 따르면 클로드는 자연어를 이해하고 생성할 수 있으며, 거버넌스·보안·감사 추적·확장성 측면에서도 강점을 갖고 있다.

클로드는 IBM의 AI 중심 통합 개발 환경(IDE)에 우선 적용된다. 이 IDE는 기업 소프트웨어 개발 전 과정, 특히 소프트웨어 현대화 작업을 위한 고급 작업 생성 기능을 제공하며, 현재 비공개 프리뷰 형태로 제공되고 있다.

IBM은 “다양한 대형 언어 모델(LLM) 개발자와 기술을 자사 AI 소프트웨어 생태계에 포함해 고객이 필요에 따라 다양한 서비스를 선택할 수 있도록 할 것”이라고 밝혔다.
dl-ciokorea@foundryco.com