엔비디아, 에이전틱 AI 개발 돕는 NIM 가드레일 마이크로서비스군 출시

새로운 엔비디아 NIM 마이크로서비스는 소프트웨어 도구 모음인 엔비디아 네모 가드레일(NeMo Guardrail)의 일부다. 새로운 마이크로서비스는 기업이 에이전트 AI 애플리케이션의 정확성, 보안 및 제어 기능을 개선할 수 있도록 지원함으로써 이 기술과 관련한 주요 우려 사항을 해결하는 것을 목표로 한다.

네모 가드레일은 개발자가 거대 언어 모델(large language model, LLM) 애플리케이션에 AI 가드레일을 통합하고 관리할 수 있도록 지원한다. 업계 선두 기업인 암독스(Amdocs), 세렌스 AI(Cerence AI), 로우즈(Lowe’s)는 AI 애플리케이션을 보호하기 위해 네모 가드레일을 사용하고 있다.

엔비디아의 엔터프라이즈 AI 모델, 소프트웨어, 서비스 담당 부사장인 카리 브리스키는 지난 15일 기자회견에서 “이미 10개 기업 중 1개 기업이 이미 AI 에이전트를 사용하고 있으며, 80% 이상의 기업이 향후 3년 이내에 AI 에이전트를 도입할 계획”이라며, “이는 단순히 작업의 정확성을 위해 에이전트를 구축하는 것이 아니라, 보안, 데이터 프라이버시, 거버넌스 요건을 충족하기 위해 AI 에이전트를 평가해야 한다는 것을 의미한다”라고 말했다.

그는 이어 신뢰, 안전, 보안, 규정 준수 외에도 AI 에이전트를 생산 환경에 성공적으로 배치하려면 성능이 뛰어나야 한다고 설명했다. 최종 사용자와 다른 AI 에이전트와의 상호 작용에서 빨라야 하며 일관성을 유지해야 한다는 것이다. 그리고 이러한 필요에 대응해 콘텐츠 안전, 주제 제어, 탈옥 감지를 목표로 하는 니모 가드레일용 NIM 3종을 새로 출시했다고 그는 설명했다.

콘텐츠 안전 NIM은 AI가 편향되거나 유해한 결과를 생성하는 것을 방지하기 위해, AI의 응답이 윤리적 기준에 부합하도록 보장하는 것을 목표로 한다. 이 시스템은 AI 안전을 위해 플래그가 지정된 3만 5,000개의 인간 주석 데이터 샘플을 포함하는 엔비디아의 오픈소스 이지스(Aegis) 콘텐츠 안전 데이터 세트로 훈련됐다. 이지스는 다른 AI 모델에 의해 생성된 잠재적으로 유해한 콘텐츠를 조정하는 방법을 AI에 가르치는 데 사용된다.

주제 제어 NIM은 AI 에이전트가 승인된 주제에 집중하도록 함으로써, 주제를 벗어나거나 부적절한 콘텐츠로 방향을 전환하는 것을 방지한다. 예를 들어, AI 에이전트가 경쟁사의 제품에 대해 논의하는 것을 방지할 수 있다.

탈옥 탐지 NIM은 에이전트 AI의 안전 장치를 의도적으로 우회하려는 ‘탈옥’ 시도를 방지함으로써 ‘적대적 시나리오’에서 AI의 무결성을 유지하도록 돕는다. 이 기능은 알려진 1만 7,000개의 탈옥 데이터 세트로 훈련된 취약성 스캐닝을 위한 오픈소스 툴킷인 엔비디아 가락(Nvidia Garak)을 기반으로 구축됐다.

가드레일을 통한 더 나은 거버넌스

한편 네모 가드레일은 네모 플랫폼의 일부로, AI 에이전트와 다른 차세대 AI 애플리케이션 모델에 대한 정책을 정의, 조정, 시행하기 위한 확장 가능한 플랫폼이다.

브리스키는 “이 가드레일은 AI 모델, 에이전트, 시스템에 대한 사양을 시행함으로써 AI 운영의 신뢰성과 안정성을 유지하는 데 도움이 된다. 이 가드레일은 AI 에이전트가 제대로 작동하도록 유지하게 한다”라고 설명했다.

예를 들어, 새로운 마이크로서비스는 자동차 제조업체가 차량 조작을 위한 AI 에이전트를 만들어 사용자에게 실내 온도 조절, 좌석 조절, 인포테인먼트, 내비게이션 등을 지원할 수 있도록 도울 수 있다. 제조업체는 마이크로서비스를 사용하여 다른 자동차 브랜드나 보증 또는 의견 제공과 같은 허용되지 않는 주제를 지정할 수 있다.

아울러 네모 가이드레일은 LLM보다 지연 시간이 짧은 소규모 언어 모델(SLM)을 활용하므로 리소스가 제한적이거나 분산된 환경에서 효율적으로 실행할 수 있다. 브리스키는 의료, 자동차, 제조업과 같은 산업에서 AI 애플리케이션을 확장하는 데 이상적이라고 언급했다. 일부 CIO는 이미 더 일반적인 대규모 언어 모델(LLM)의 대안으로 특정 목적에 맞는 솔루션을 위해 SLM을 사용하고 있다고 그는 덧붙였다.

이 밖에 네모 가드레일을 기본 구성 상태로도 사용할 수 있지만, 가드레일을 커스터마이즈하고 확장하는 것이 진정한 힘이라고 브리스키는 말했다.

그는 “사용자 정의가 가능한 여러 레일을 사용하는 것이 중요한 이유는 모든 경우에 한 가지 레일만 사용하는 것이 적합하지 않기 때문이다. 사용 사례, 브랜드, 회사 지침, 심지어 산업과 지역에 따라 다른 규제 요건에 따라 정책과 요구 사항이 달라진다. 개발자는 특정 요구 사항과 에이전트 AI 시스템 전반에 걸쳐 다양한 요구 사항에 적합한 레일을 선택할 수 있기를 원한다”라고 말했다.

브리스키는 마지막으로 IT 부서가 앞으로 “에이전트의 HR”이 될 것이라고 표현했다. 일반적인 정책과 보호 기능만 존재하는 상황에서 개발자가 경량화된 여러 가지 전문 모델을 가드레일로 적용할 수 있도록 해줌으로 격차를 메울 수 있게 한다는 의미다.

새로운 마이크로서비스와 레일 오케스트레이션을 위한 네모 가드레일, 엔비디아 가락 툴킷은 모두 개발자와 기업이 사용할 수 있다.
[email protected]