Skip to content
Tiatra, LLCTiatra, LLC
Tiatra, LLC
Information Technology Solutions for Washington, DC Government Agencies
  • Home
  • About Us
  • Services
    • IT Engineering and Support
    • Software Development
    • Information Assurance and Testing
    • Project and Program Management
  • Clients & Partners
  • Careers
  • News
  • Contact
 
  • Home
  • About Us
  • Services
    • IT Engineering and Support
    • Software Development
    • Information Assurance and Testing
    • Project and Program Management
  • Clients & Partners
  • Careers
  • News
  • Contact

스노우플레이크 “오픈소스 스위프트KV, LLM 추론 비용 크게 절감”

클라우드 기반 데이터웨어하우스 기업 스노우플레이크가 생성형 AI 애플리케이션을 운영하는 기업의 추론 워크로드 비용을 절감하기 위해 설계된 독점 기술인 스위프트KV의 성능 수준을 공개했다. 이는 지난해 12월 오픈소스로 공개됐다.

스노우플레이크는 생성형 AI 애플리케이션의 추론 비용이 여전히 높아 기업이 애플리케이션을 확장하거나 새로운 사용 사례에 생성형 AI를 도입하는 데 걸림돌이 되고 있다고 설명했다.

스위프트KV, “KV 캐시 압축 능가”

스노우플레이크의 AI 연구팀은 스위프트KV가 LLM 추론 중 생성되는 키-값(KV) 쌍을 저장하는 데 필요한 메모리를 줄이는 방식인 KV 캐시 압축의 성능을 능가할 수 있다고 설명했다.

메모리 절감은 프루닝, 양자화, 적응형 압축과 같은 방법을 통해 이전에 계산된 데이터를 저장하는 방식으로 작동한다. 이는 최적화된 LLM이 더 적은 메모리를 사용하면서도 더 긴 컨텍스트를 처리하고 더 빠르게 출력을 생성할 수 있게 한다.

스노우플레이크는 대부분의 워크로드가 출력 토큰보다 입력 토큰을 더 많이 사용하기 때문에, 입력 토큰 처리 비용에 영향을 끼치지 않는 KV 캐시 압축만으로는 추론 워크로드 비용을 의미 있게 줄일 수 없다고 주장했다. 스위프트KV가 모델 재배선(rewiring) 및 지식 보존 자체 증류(knowledge-preserving self-distillation) 같은 기술을 결합해 프롬프트 처리(입력 토큰) 중 추론 계산을 줄일 수 있다고 설명했다.

스노우플레이크에 따르면 스위프트KV는 이전 트랜스포머 계층의 숨겨진 상태를 재사용해 후속 계층의 KV 캐시를 생성한다. AI 연구팀은 스위프트KV가 프리필 단계에서 중복 계산을 제거해 계산 오버헤드를 50% 이상 줄일 수 있다고 설명했다.

연구팀은 또한 스위프트KV가 LLM 정확도를 유지하기 위해 자체 증류를 사용해 재배선하거나 최적화된 모델이 원래 LLM의 동작을 복제하도록 보장한다고 밝혔다.

스위프트KV 개념은 새롭지 않다

옴디아 수석 분석가 브래들리 심민은 스위프트KV가 프롬프트 캐싱, 플래시 어텐션, 모델 프루닝, 양자화 등의 방법처럼 모델 추론 비용을 최적화하는 영리한 수단이라고 언급했다. 다만 개념 자체는 새롭지 않다고 말했다.

심민은 “이 개념은 새로운 것이 아니며 스노우플레이크가 처음도 아니다. 예를 들어 SAP는 2024년 초에 모델 플러그인인 핀치(Finch)를 통해 이 개념을 도입했다”라고 말했다.

스노우플레이크는 스위프트KV에 최적화된 LLM이 정확도 손실을 최소화한다고 언급했지만, 심민은 구현의 복잡성, 성능 저하 수준, 기본 추론 아키텍처와의 호환성 측면에서 상충되는 부분이 있을 수 있다고 지적했다.

그는 “양자화 같은 방법이 인기 있는 이유는 그만큼 상충되는 부분이 적기 때문이다. 만약 고객들이 스위프트KV도 양자화처럼 가치가 있다고 판단한다면, 프로젝트의 필요에 따라 다른 최적화 기법들과 함께 활용할 것으로 예상된다”라고 말했다.

스위프트KV 사용 방법

기업은 스노우플레이크를 통해 스위프트KV에 접근하거나 허깅페이스(Hugging Face)의 모델 체크포인트 또는 vLLM에서 최적화된 추론을 실행할 수 있다. 허깅페이스의 모델 체크포인트란 학습 중 모델의 가중치를 저장한 세트다. vLLM은 LLM 추론과 서빙을 위한 라이브러리다.

특히 스노우플레이크 고객 기업은 코텍스 AI 내에서 스위프트KV에 최적화된 모델인 라마(Llama) 3.3 70B와 라마 3.1 405B를 활용할 수 있다. 스노우플레이크는 스위프트KV에 최적화되지 않은 라마 모델과 비교했을 때 추론 비용이 최대 75% 감소했다고 밝혔다.

스노우플레이크는 지난해 12월에 모델 가중치와 vLLM 코드를 오픈소스로 공개했다. 하지만 지금까지 코텍스 AI에서 스위프트KV 최적화 모델을 출시하거나 스위프트KV를 개발하는 데 사용된 학습 코드를 공개하지는 않았다.

현재 스노우플레이크는 엔지니어가 자체 스위프트KV 모델을 구축할 수 있게 해주는 아크틱트레이닝(ArcticTraining)이라는 학습 라이브러리도 오픈소스로 공개하고 있다.
[email protected]


Read More from This Article: 스노우플레이크 “오픈소스 스위프트KV, LLM 추론 비용 크게 절감”
Source: News

Category: NewsJanuary 17, 2025
Tags: art

Post navigation

PreviousPrevious post:엔비디아, 에이전틱 AI 개발 돕는 NIM 가드레일 마이크로서비스군 출시NextNext post:IBM, 로레알에 AI 모델 구축 지원··· “지속 가능한 화장품 개발”

Related posts

휴먼컨설팅그룹, HR 솔루션 ‘휴넬’ 업그레이드 발표
May 9, 2025
Epicor expands AI offerings, launches new green initiative
May 9, 2025
MS도 합류··· 구글의 A2A 프로토콜, AI 에이전트 분야의 공용어 될까?
May 9, 2025
오픈AI, 아시아 4국에 데이터 레지던시 도입··· 한국 기업 데이터는 한국 서버에 저장
May 9, 2025
SAS supercharges Viya platform with AI agents, copilots, and synthetic data tools
May 8, 2025
IBM aims to set industry standard for enterprise AI with ITBench SaaS launch
May 8, 2025
Recent Posts
  • 휴먼컨설팅그룹, HR 솔루션 ‘휴넬’ 업그레이드 발표
  • Epicor expands AI offerings, launches new green initiative
  • MS도 합류··· 구글의 A2A 프로토콜, AI 에이전트 분야의 공용어 될까?
  • 오픈AI, 아시아 4국에 데이터 레지던시 도입··· 한국 기업 데이터는 한국 서버에 저장
  • SAS supercharges Viya platform with AI agents, copilots, and synthetic data tools
Recent Comments
    Archives
    • May 2025
    • April 2025
    • March 2025
    • February 2025
    • January 2025
    • December 2024
    • November 2024
    • October 2024
    • September 2024
    • August 2024
    • July 2024
    • June 2024
    • May 2024
    • April 2024
    • March 2024
    • February 2024
    • January 2024
    • December 2023
    • November 2023
    • October 2023
    • September 2023
    • August 2023
    • July 2023
    • June 2023
    • May 2023
    • April 2023
    • March 2023
    • February 2023
    • January 2023
    • December 2022
    • November 2022
    • October 2022
    • September 2022
    • August 2022
    • July 2022
    • June 2022
    • May 2022
    • April 2022
    • March 2022
    • February 2022
    • January 2022
    • December 2021
    • November 2021
    • October 2021
    • September 2021
    • August 2021
    • July 2021
    • June 2021
    • May 2021
    • April 2021
    • March 2021
    • February 2021
    • January 2021
    • December 2020
    • November 2020
    • October 2020
    • September 2020
    • August 2020
    • July 2020
    • June 2020
    • May 2020
    • April 2020
    • January 2020
    • December 2019
    • November 2019
    • October 2019
    • September 2019
    • August 2019
    • July 2019
    • June 2019
    • May 2019
    • April 2019
    • March 2019
    • February 2019
    • January 2019
    • December 2018
    • November 2018
    • October 2018
    • September 2018
    • August 2018
    • July 2018
    • June 2018
    • May 2018
    • April 2018
    • March 2018
    • February 2018
    • January 2018
    • December 2017
    • November 2017
    • October 2017
    • September 2017
    • August 2017
    • July 2017
    • June 2017
    • May 2017
    • April 2017
    • March 2017
    • February 2017
    • January 2017
    Categories
    • News
    Meta
    • Log in
    • Entries feed
    • Comments feed
    • WordPress.org
    Tiatra LLC.

    Tiatra, LLC, based in the Washington, DC metropolitan area, proudly serves federal government agencies, organizations that work with the government and other commercial businesses and organizations. Tiatra specializes in a broad range of information technology (IT) development and management services incorporating solid engineering, attention to client needs, and meeting or exceeding any security parameters required. Our small yet innovative company is structured with a full complement of the necessary technical experts, working with hands-on management, to provide a high level of service and competitive pricing for your systems and engineering requirements.

    Find us on:

    FacebookTwitterLinkedin

    Submitclear

    Tiatra, LLC
    Copyright 2016. All rights reserved.