Skip to content
Tiatra, LLCTiatra, LLC
Tiatra, LLC
Information Technology Solutions for Washington, DC Government Agencies
  • Home
  • About Us
  • Services
    • IT Engineering and Support
    • Software Development
    • Information Assurance and Testing
    • Project and Program Management
  • Clients & Partners
  • Careers
  • News
  • Contact
 
  • Home
  • About Us
  • Services
    • IT Engineering and Support
    • Software Development
    • Information Assurance and Testing
    • Project and Program Management
  • Clients & Partners
  • Careers
  • News
  • Contact

엔비디아, 에이전틱 AI 개발 돕는 NIM 가드레일 마이크로서비스군 출시

새로운 엔비디아 NIM 마이크로서비스는 소프트웨어 도구 모음인 엔비디아 네모 가드레일(NeMo Guardrail)의 일부다. 새로운 마이크로서비스는 기업이 에이전트 AI 애플리케이션의 정확성, 보안 및 제어 기능을 개선할 수 있도록 지원함으로써 이 기술과 관련한 주요 우려 사항을 해결하는 것을 목표로 한다.

네모 가드레일은 개발자가 거대 언어 모델(large language model, LLM) 애플리케이션에 AI 가드레일을 통합하고 관리할 수 있도록 지원한다. 업계 선두 기업인 암독스(Amdocs), 세렌스 AI(Cerence AI), 로우즈(Lowe’s)는 AI 애플리케이션을 보호하기 위해 네모 가드레일을 사용하고 있다.

엔비디아의 엔터프라이즈 AI 모델, 소프트웨어, 서비스 담당 부사장인 카리 브리스키는 지난 15일 기자회견에서 “이미 10개 기업 중 1개 기업이 이미 AI 에이전트를 사용하고 있으며, 80% 이상의 기업이 향후 3년 이내에 AI 에이전트를 도입할 계획”이라며, “이는 단순히 작업의 정확성을 위해 에이전트를 구축하는 것이 아니라, 보안, 데이터 프라이버시, 거버넌스 요건을 충족하기 위해 AI 에이전트를 평가해야 한다는 것을 의미한다”라고 말했다.

그는 이어 신뢰, 안전, 보안, 규정 준수 외에도 AI 에이전트를 생산 환경에 성공적으로 배치하려면 성능이 뛰어나야 한다고 설명했다. 최종 사용자와 다른 AI 에이전트와의 상호 작용에서 빨라야 하며 일관성을 유지해야 한다는 것이다. 그리고 이러한 필요에 대응해 콘텐츠 안전, 주제 제어, 탈옥 감지를 목표로 하는 니모 가드레일용 NIM 3종을 새로 출시했다고 그는 설명했다.

콘텐츠 안전 NIM은 AI가 편향되거나 유해한 결과를 생성하는 것을 방지하기 위해, AI의 응답이 윤리적 기준에 부합하도록 보장하는 것을 목표로 한다. 이 시스템은 AI 안전을 위해 플래그가 지정된 3만 5,000개의 인간 주석 데이터 샘플을 포함하는 엔비디아의 오픈소스 이지스(Aegis) 콘텐츠 안전 데이터 세트로 훈련됐다. 이지스는 다른 AI 모델에 의해 생성된 잠재적으로 유해한 콘텐츠를 조정하는 방법을 AI에 가르치는 데 사용된다.

주제 제어 NIM은 AI 에이전트가 승인된 주제에 집중하도록 함으로써, 주제를 벗어나거나 부적절한 콘텐츠로 방향을 전환하는 것을 방지한다. 예를 들어, AI 에이전트가 경쟁사의 제품에 대해 논의하는 것을 방지할 수 있다.

탈옥 탐지 NIM은 에이전트 AI의 안전 장치를 의도적으로 우회하려는 ‘탈옥’ 시도를 방지함으로써 ‘적대적 시나리오’에서 AI의 무결성을 유지하도록 돕는다. 이 기능은 알려진 1만 7,000개의 탈옥 데이터 세트로 훈련된 취약성 스캐닝을 위한 오픈소스 툴킷인 엔비디아 가락(Nvidia Garak)을 기반으로 구축됐다.

가드레일을 통한 더 나은 거버넌스

한편 네모 가드레일은 네모 플랫폼의 일부로, AI 에이전트와 다른 차세대 AI 애플리케이션 모델에 대한 정책을 정의, 조정, 시행하기 위한 확장 가능한 플랫폼이다.

브리스키는 “이 가드레일은 AI 모델, 에이전트, 시스템에 대한 사양을 시행함으로써 AI 운영의 신뢰성과 안정성을 유지하는 데 도움이 된다. 이 가드레일은 AI 에이전트가 제대로 작동하도록 유지하게 한다”라고 설명했다.

예를 들어, 새로운 마이크로서비스는 자동차 제조업체가 차량 조작을 위한 AI 에이전트를 만들어 사용자에게 실내 온도 조절, 좌석 조절, 인포테인먼트, 내비게이션 등을 지원할 수 있도록 도울 수 있다. 제조업체는 마이크로서비스를 사용하여 다른 자동차 브랜드나 보증 또는 의견 제공과 같은 허용되지 않는 주제를 지정할 수 있다.

아울러 네모 가이드레일은 LLM보다 지연 시간이 짧은 소규모 언어 모델(SLM)을 활용하므로 리소스가 제한적이거나 분산된 환경에서 효율적으로 실행할 수 있다. 브리스키는 의료, 자동차, 제조업과 같은 산업에서 AI 애플리케이션을 확장하는 데 이상적이라고 언급했다. 일부 CIO는 이미 더 일반적인 대규모 언어 모델(LLM)의 대안으로 특정 목적에 맞는 솔루션을 위해 SLM을 사용하고 있다고 그는 덧붙였다.

이 밖에 네모 가드레일을 기본 구성 상태로도 사용할 수 있지만, 가드레일을 커스터마이즈하고 확장하는 것이 진정한 힘이라고 브리스키는 말했다.

그는 “사용자 정의가 가능한 여러 레일을 사용하는 것이 중요한 이유는 모든 경우에 한 가지 레일만 사용하는 것이 적합하지 않기 때문이다. 사용 사례, 브랜드, 회사 지침, 심지어 산업과 지역에 따라 다른 규제 요건에 따라 정책과 요구 사항이 달라진다. 개발자는 특정 요구 사항과 에이전트 AI 시스템 전반에 걸쳐 다양한 요구 사항에 적합한 레일을 선택할 수 있기를 원한다”라고 말했다.

브리스키는 마지막으로 IT 부서가 앞으로 “에이전트의 HR”이 될 것이라고 표현했다. 일반적인 정책과 보호 기능만 존재하는 상황에서 개발자가 경량화된 여러 가지 전문 모델을 가드레일로 적용할 수 있도록 해줌으로 격차를 메울 수 있게 한다는 의미다.

새로운 마이크로서비스와 레일 오케스트레이션을 위한 네모 가드레일, 엔비디아 가락 툴킷은 모두 개발자와 기업이 사용할 수 있다.
[email protected]


Read More from This Article: 엔비디아, 에이전틱 AI 개발 돕는 NIM 가드레일 마이크로서비스군 출시
Source: News

Category: NewsJanuary 17, 2025
Tags: art

Post navigation

PreviousPrevious post:“차량관리 앱 썼더니 보험료 폭등” 신고에··· FTC, GM에 5년간 정보수집 금지령NextNext post:스노우플레이크 “오픈소스 스위프트KV, LLM 추론 비용 크게 절감”

Related posts

휴먼컨설팅그룹, HR 솔루션 ‘휴넬’ 업그레이드 발표
May 9, 2025
Epicor expands AI offerings, launches new green initiative
May 9, 2025
MS도 합류··· 구글의 A2A 프로토콜, AI 에이전트 분야의 공용어 될까?
May 9, 2025
오픈AI, 아시아 4국에 데이터 레지던시 도입··· 한국 기업 데이터는 한국 서버에 저장
May 9, 2025
SAS supercharges Viya platform with AI agents, copilots, and synthetic data tools
May 8, 2025
IBM aims to set industry standard for enterprise AI with ITBench SaaS launch
May 8, 2025
Recent Posts
  • 휴먼컨설팅그룹, HR 솔루션 ‘휴넬’ 업그레이드 발표
  • Epicor expands AI offerings, launches new green initiative
  • MS도 합류··· 구글의 A2A 프로토콜, AI 에이전트 분야의 공용어 될까?
  • 오픈AI, 아시아 4국에 데이터 레지던시 도입··· 한국 기업 데이터는 한국 서버에 저장
  • SAS supercharges Viya platform with AI agents, copilots, and synthetic data tools
Recent Comments
    Archives
    • May 2025
    • April 2025
    • March 2025
    • February 2025
    • January 2025
    • December 2024
    • November 2024
    • October 2024
    • September 2024
    • August 2024
    • July 2024
    • June 2024
    • May 2024
    • April 2024
    • March 2024
    • February 2024
    • January 2024
    • December 2023
    • November 2023
    • October 2023
    • September 2023
    • August 2023
    • July 2023
    • June 2023
    • May 2023
    • April 2023
    • March 2023
    • February 2023
    • January 2023
    • December 2022
    • November 2022
    • October 2022
    • September 2022
    • August 2022
    • July 2022
    • June 2022
    • May 2022
    • April 2022
    • March 2022
    • February 2022
    • January 2022
    • December 2021
    • November 2021
    • October 2021
    • September 2021
    • August 2021
    • July 2021
    • June 2021
    • May 2021
    • April 2021
    • March 2021
    • February 2021
    • January 2021
    • December 2020
    • November 2020
    • October 2020
    • September 2020
    • August 2020
    • July 2020
    • June 2020
    • May 2020
    • April 2020
    • January 2020
    • December 2019
    • November 2019
    • October 2019
    • September 2019
    • August 2019
    • July 2019
    • June 2019
    • May 2019
    • April 2019
    • March 2019
    • February 2019
    • January 2019
    • December 2018
    • November 2018
    • October 2018
    • September 2018
    • August 2018
    • July 2018
    • June 2018
    • May 2018
    • April 2018
    • March 2018
    • February 2018
    • January 2018
    • December 2017
    • November 2017
    • October 2017
    • September 2017
    • August 2017
    • July 2017
    • June 2017
    • May 2017
    • April 2017
    • March 2017
    • February 2017
    • January 2017
    Categories
    • News
    Meta
    • Log in
    • Entries feed
    • Comments feed
    • WordPress.org
    Tiatra LLC.

    Tiatra, LLC, based in the Washington, DC metropolitan area, proudly serves federal government agencies, organizations that work with the government and other commercial businesses and organizations. Tiatra specializes in a broad range of information technology (IT) development and management services incorporating solid engineering, attention to client needs, and meeting or exceeding any security parameters required. Our small yet innovative company is structured with a full complement of the necessary technical experts, working with hands-on management, to provide a high level of service and competitive pricing for your systems and engineering requirements.

    Find us on:

    FacebookTwitterLinkedin

    Submitclear

    Tiatra, LLC
    Copyright 2016. All rights reserved.