레드햇, AI 도입 장벽 낮춘다··· 모델 학습부터 가드레일까지 지원

레드햇은 오픈시프트 AI(OpenShift AI)와 레드햇 엔터프라이즈 리눅스 AI(Red Hat Enterprise Linux AI, 이하 RHEL AI)의 주요 업데이트를 발표했다. 이번 업데이트는 AI를 파일럿 프로젝트 수준에서 벗어나 확장하려는 기업이 겪는 비용 부담과 기술적 복잡성을 줄이는 데 목적이 있다.

새로운 기능에는 여러 GPU와 노드에 걸쳐 추론 작업을 분산하는 기능, 인스트럭트랩(InstructLab)의 오픈시프트 AI 파이프라인 통합, 새로운 AI 가드레일 오케스트레이션 프레임워크 등이 포함됐다. 이와 함께, 레드햇은 고객을 위한 무료 온라인 교육 과정도 새롭게 제공한다.

IDC는 올해 기업들이 AI에 약 2,270억 달러(약 330조 원)를 투자할 것으로 전망하며, 핵심 비즈니스 운영에 AI 역량을 적극적으로 도입하고 있다고 분석했다. 그러나 AI 애플리케이션 실행에 필요한 구성 요소 통합과 실험 단계에서 실제 배포로의 전환 과정에서 많은 기업이 어려움을 겪고 있다.

기업 규모에 맞춘 AI 배포

IDC 애널리스트 미셸 로젠은 “RHEL AI는 클라우드, 온프레미스, 엣지 등 기업이 원하는 위치에 AI 워크로드를 배포할 수 있게 한다”라며 “AI 애플리케이션은 데이터와 최대한 가까이 있어야 한다. 보안이나 지연시간 등 여러 이유로 하이브리드 클라우드 인프라가 필요하다”라고 말했다.

로젠은 또 “RHEL AI는 특정 플랫폼에 종속되는 상황을 피할 수 있게 해준다. AI 벤더들이 성능, 기능, 비용 효율성 측면에서 계속 경쟁하는 상황에서 이런 부분은 특히 중요하다”라며 “이미 레드햇 리눅스나 오픈시프트를 사용 중인 조직이라면 기존 투자와 전문성을 그대로 활용할 수 있다”라고 설명했다.

레드햇에 따르면 이번 RHEL AI와 오픈시프트 AI의 최신 릴리스는 모델 학습, 평가, 추론, 가드레일 설정 등 다양한 AI 배포 과정에서 기업을 지원한다.

인스트럭트랩은 기업이 자체 데이터와 전문성을 기반으로 AI 모델을 미세 조정하고 맞춤화할 수 있도록 돕는 레드햇의 도구다. 레드햇 AI 제품 관리 디렉터 제프 드모스에 따르면, 지금까지 인스트럭트랩은 단일 서버에서만 사용할 수 있어 학습 시간이 길었다. 드모스는 “단일 서버에서 인스트럭트랩을 실행하면 전체 작업에 24시간 이상 걸릴 수 있다”라며 “이를 분산 환경으로 확장하면 전반적인 성능을 크게 높일 수 있다”라고 말했다.

이와 함께, 도메인 전문가들이 모델 개발에 보다 쉽게 참여할 수 있도록 새로운 사용자 인터페이스가 추가됐고, 모델 학습에서 배포까지의 과정을 간소화할 수 있도록 오픈시프트 파이프라인과의 통합도 이루어졌다.

더 강력한 AI 가드레일

현재 상용 AI 플랫폼과 하이퍼스케일러는 생성형 AI를 위한 즉시 사용 가능한 가드레일을 제공하는 데 있어 앞서 있다. 레드햇은 이번 릴리스에 AI 가드레일 오케스트레이터를 도입했지만, 실제 가드레일 구성 요소 자체는 아직 포함하지 않았다.

드모스는 “현재는 ‘가드레일 감지 도구를 직접 제공해 사용하는 방식(bring-your-own-detector)’을 지원하고 있다”라며 “앞으로는 더 많은 패키지 형태의 옵션을 제공할 계획”이라고 전했다.

드모스는 또 “고객이 모델의 동작을 원하는 방향으로 설정하거나, 입력과 출력 단계에서 특정 정보를 걸러낼 수 있는 프레임워크를 갖추게 되는 것”이라며 “예를 들어 혐오 표현이나 개인 식별 정보를 차단하거나, 경쟁사 제품에 대한 정보가 생성되지 않도록 제한할 수 있다”고 설명했다.

레드햇은 올해 안에 가드레일 관련 기능을 계속해서 강화해 나갈 계획이다.

더 많은 AI 모델, 더 많은 문제

RHEL AI는 이제 IBM의 최신 모델인 그래니트 3.1 8B(Granite 3.1 8B)를 지원한다. 이 모델은 다국어를 지원하며 더 넓은 문맥 이해 범위를 갖췄다. 또 오픈시프트 AI는 고객이 자체 모델을 가져와 사용할 수 있는 ‘BYOM(Bring Your Own Model)’ 방식을 지원하지만, 현재까지는 선별된 모델 카탈로그나 사전 구성된 모델을 제공하지 않고 있다. 향후 타 모델 지원 계획에 대해서도 아직 언급하지 않았다. 드모스는 “앞으로 이 부분에 대해 더 많은 발표가 있을 것”이라고 말했다.

다만 레드햇은 이제 모델 평가 기능을 지원할 예정이다. 이 기능은 기업이 자체 제작 모델이든 외부에서 구매한 모델이든, 성능을 업계 기준과 비교해 점검할 수 있도록 돕는다. 또한, 각 기업의 비즈니스 요건에 따라 자체 테스트 기준을 만들어 모델 성능을 평가할 수도 있다.

레드햇 생성형AI 수석 책임 제품 관리자 윌리엄 카반 바빌로니아는 “레드햇이 사용하는 벤치마크는 허깅페이스 LLM 리더보드에서 사용되는 것과 동일하다”라며 “하지만 허깅페이스 리더보드는 모델이 우리 비즈니스에 얼마나 적합한지를 알려주지는 않는다. 레드햇이 정말로 중요하게 생각하는 건, 모델이 자사의 재무 부서처럼 실제 업무와 관련된 내용을 얼마나 잘 이해하느냐다. 우주 속 별자리에 대한 지식은 중요하지 않다. 레드햇의 기술은 이런 차별화된 요구를 충족할 수 있도록, 각 기업이 자체 비즈니스 기준에 맞춰 모델을 평가하고 검증할 수 있는 환경을 제공한다. 그런 점에서 진짜 가치를 만들어낼 수 있을 것”이라고 말했다.

드모스는 “모델 테스트 기능은 파이프라인에 통합돼 있어, 모델을 실제로 배포하는 시점에 바로 평가할 수 있다”라고 밝혔다.

IDC의 로젠은 “레드햇이 그래니트 외 다른 모델까지 확장할 경우, 이러한 모델 평가 도구는 더욱 중요해질 것”이라고 내다봤다.
[email protected]