“AI 혁신의 동력” 레드햇이 제안하는 vLLM 추론 비용 최적화 전략
레드햇은 이러한 흐름 속에서 AI 추론 인프라 관리가 기업의 핵심 과제가 될 것이라고 전망했다. 9월 3일 CIO코리아와 IT월드가 공동 주최한 AI&데이터 서밋에서 발표자로 나선 한국레드햇 신용환 시니어 솔루션 아키텍트는 vLLM(Virtual Large Language Model)을 중심으로 한 AI 추론 최적화 전략을 소개했다. 그는 “2022년 이전까지 AI 개발 기업들은 주로 모델의 정확도와 성능 향상에 집중했지만, 이후에는 AI 운영을…

