“데이터 관리가 AI 비용 줄인다” 퓨어스토리지가 제시하는 데이터 플랫폼 최적화 전략

모든 기업이 자체적으로 LLM 모델을 개발하는 것은 아니며, 기존 LLM을 비즈니스에 더 적합하게 조정하거나 완전히 구축된 솔루션을 서비스하는 전략을 세우기도 한다. 하지만 어떤 형태로 도입하더라도 효율적인 관리를 위해서는 최소한의 GPU 서버 구축이 요구된다. 여기에 스토리지 및 네트워크와 같은 추가 비용을 더하면 투자 금액은 더 늘어날 수 있다. 기업들이 이런 AI 인프라 비용을 고민하는 가운데, 3월 26일 CIO코리아, IT월드, IDC가 공동 주최한 ‘클라우드&AI 인프라스트럭처 서밋 2025’에서 퓨어스토리지 엔터프라이즈 프리세일즈 부문의 김진환 이사는 AI 비용을 절감하고 투자 대비 효과(ROI)를 구체화하기 위해 데이터 플랫폼을 최적화할 것을 제안했다. 김진환 이사는 “AI 학습의 모델링 주기를 단축하도록 데이터 플랫폼을 최적화해야 개발에 필요한 자원을 줄이고 ROI를 개선할 수 있다”라고 설명했다.

모델링 주기를 단축하는 4가지 방법

그렇다면 구체적으로 어떻게 AI 모델링 주기를 단축할 수 있다는 걸까? 아나콘다의 2020년 설문조사에 따르면, AI 모델링에 필수적인 역할을 하는 데이터 과학자는 업무 시간의 3분의 2를 데이터 수집, 정리, 시각화 등 ‘데이터 준비 단계’에 할애하는 것으로 나타났다. 다시 말해 나머지 3분의 1에서 아무리 효율성을 높이더라도 데이터 준비 시간을 줄이지 못하면 전체 모델링 주기를 단축하기 어려울 수 있다는 것이다. 김진환 이사는 “데이터는 말 그대로 AI의 연료”라고 언급하며, 기업이 이 문제를 개선하는 데 필요한 4가지 고려사항을 소개했다.

pure storage

첫째는 효율적인 데이터 저장소 구축이다. 즉, 데이터 저장소가 잘 구축돼야 좋은 모델을 위한 초석이 마련될 수 있다는 설명이다. 데이터 저장소는 모델 교육에 필요한 양질의 데이터 확보를 뒷받침해야 하며, 다양한 형태로 여러 위치에 저장된 데이터를 쉽게 통합할 수 있는 플랫폼을 갖춰야 한다. 또한 원하는 데이터에 빠르게 액세스해서 가져오고 훈련시킬 수 있는 데이터 서비스 연속성도 요구된다.

둘째는 인프라 스트럭처의 성능 확보다. 즉 GPU의 높은 처리 속도에 걸맞은 처리 일관성을 보장하는 시스템을 구축해야 한다는 것이다. 이때 중요한 것은 데이터 인덱싱 성능이다. 데이터 엔지니어링 단계에서 인덱싱으로 데이터를 잘 보강해야 사용자가 모델링 과정에서 지연 없이 사용할 수 있다. 김진환 이사는 “데이터 인덱싱의 중요성이 자주 간과된다. 데이터가 적을 때는 인지하지 못하다가 수백억 개로 확장되고 나서야 깨닫는 경우가 많다”라고 언급했다.

데이터 준비 시간을 단축하는 세 번째 방법은 데이터 거버넌스 구축이다. 김진환 이사는 저장된 데이터를 효과적으로 분류할 수 있는 체계를 기업 내에 구현해야 한다고 조언했다. 데이터 거버넌스에는 원하는 데이터의 위치를 파악하는 가시성도 중요하며, 랜섬웨어나 기타 공격으로부터 데이터를 보호할 수 있는 사이버보안 해법도 필수적이다. 김진환 이사는 “다른 단계에서 데이터 준비가 잘 이뤄져도 보안이 부족하면 데이터 플랫폼 자체가 무력화될 수 있다”라고 말했다.

마지막으로 인프라의 유연성이 중요하다. AI 솔루션은 소규모로 시작해 점차 확장되는 경우가 많기 때문에 작게 시작할 때에도 추후의 확장성을 고려해 통합과 성능이 보장되는 아키텍처를 선택해야 한다. 또 AI 인프라를 확장하는 과정에서 중복 투자와 같은 리스크가 발생하기 쉽다. AI 워크로드 수명 주기의 변동성이 굉장히 크고, 여전히 많은 AI 사용 사례가 실험 중이라는 점에서 불확실성이라는 리스크도 따른다. AI 인프라의 요구 사항도 아직까지 불명확하다. 이로 인해 기업은 AI 인프라 구축 이후에도 다양한 문제에 직면할 수 있다. 예를 들어 한 대당 막대한 비용이 드는 서버 시스템을 도입한 이후에 가용성을 확보하지 못한다면 투자 비용을 효과적으로 활용하지 못하는 결과가 나타날 수 있다.

pure storage

기업이 리스크를 최소화하면서 AI 인프라를 구축하고자 할 때 일반적으로 선호되는 방법은 클라우드 활용이다. 클라우드에서 파일럿 프로그램을 다양하게 시도해 보고, 서비스로 구체화되면 온프레미스와 연계해 추가적인 문제를 해결해 나가는 것이 이상적일 수 있다. 그러나 모든 기업이 이런 절차로 AI를 도입할 수 있는 것은 아니다. 데이터 보안이 매우 중요한 기업이라면 클라우드는 시도하기 어려운 영역일 수 있다. 이런 기업에게는 클라우드의 이점을 온프레미스 시스템으로 구현하는 것이 중요한 과제다.

퓨어스토리지 데이터 스토리지 플랫폼의 핵심 기능

기업이 클라우드를 활용하지 못하거나 민감한 데이터에 대한 보안을 우려하는 상황일 때 데이터 관리 역량과 저장소의 역할은 더욱 중요해진다. 이 경우 요구 사항을 충족시킬 수 있는 최적화된 데이터 플랫폼 솔루션이 필요하다. 퓨어스토리지가 제공하는 데이터 스토리지 플랫폼도 그 해결책이 될 수 있다. 김진환 이사에 따르면 퓨어스토리지는 초당 최대 10TB/s의 성능과, 작게 시작해 엑사바이트 스케일까지 확장할 수 있는 스케일 아웃 아키텍처를 제공하고 있다. 또한 서비스 중단 없이 꾸준히 유지될 수 있는 지속 가능한 포트폴리오와 엔비디아(Nvidia) 인증으로 성능 및 안정성을 보장하는 플랫폼을 제공하고 있다.

퓨어스토리지는 자사 데이터 스토리지 플랫폼을 통해 얻을 수 있는 이점이 분명하다고 밝혔다. 우선, 다양한 워크로드 요건을 수용할 수 있는 유니파이드 플랫폼을 제공해 기업이 인프라 복잡성을 최소화하면서 운영 부담 없이 최적의 성능과 가용성을 유지하도록 지원하고 있다. 퓨어스토리지 플랫폼은 자동 최적화와 클라우드 간 상호 운용과 같은 기능을 기본으로 제공하면서, 플랫폼 유지에 필요한 네트워크 자원을 별도의 로드밸런서 없이 하나의 서비스 IP만으로 수용하도록 하고 있다.

퓨어스토리지가 언급한 또 다른 이점은 데이터 인덱싱 성능이다. 김진환 이사는 퓨어스토리지 플랫폼이 데이터 인덱싱을 병렬로 처리할 수 있는 전용 툴킷을 제공해 데이터 준비 기간에서 가장 많이 사용되는 커맨드를 기존보다 최대 200배 빠르게 진행할 수 있다고 설명했다. 이뿐만 아니라 데이터 서비스 형식과 위치에 관계없이 원하는 대로 구축 가능하고, 특정 코로케이션 서비스 업체를 통해 스토리지를 서비스 형식(as a service)으로 제공하는 서비스 수준 계약(SLA)을 통해 AI 초기 투자의 불확실성과 위험을 최소화할 수 있다고 그는 언급했다.

데이터 스토리지 플랫폼 도입을 통한 AI 비용 절감 효과

그렇다면 퓨어스토리지 데이터 스토리지 플랫폼 도입으로 기업은 어느 정도의 AI 비용 절감 효과를 기대할 수 있을까? 퓨어스토리지 조사에 따르면, 자체 제작한 저전력 고집적 저장 매체를 활용해 일반 스토리지 대비 최대 80%의 상면을 절감하고, 에너지 소비량을 최대 85%까지 줄일 수 있는 것으로 나타났다. 이를 전체 데이터센터 전력 비용으로 환산하면 최대 18%를 절감할 수 있게 된다.

Pure storage

데이터센터의 전력 비용을 절감하기 위해 퓨어스토리지 솔루션을 활용 중인 대표적인 기업에는 메타(Meta)가 있다. 메타는 오랜 기간 LLM을 개발해 온 만큼 GPU 서버 약 1,000대 이상, 8,000장 이상의 GPU를 사용하는 대규모 인프라를 운영하고 있다. 김진환 이사는 “대규모 인프라를 구축한 만큼 성능 확장성, 상면 비용 등 여러 측면에서의 운영 효율성 개선과 그에 걸맞은 LLM 성능 확보가 중요한 과제였다”라고 언급했다. 김진환 이사는 메타가 퓨어스토리지 솔루션을 도입한 결과, 개발 기간을 최대 3분의 1 단축하고, 상면 문제를 크게 개선해 GPU 사용률을 기존보다 2배 이상 높일 수 있었다고 전했다.

김진환 이사는 “데이터센터의 전력 소모량과 상면 규모가 간과되는 경우가 많다. 하지만 데이터센터에는 그 최대치가 항상 정해져 있다. 전력과 상면이 모자랄 경우 추가하는 데 천문학적인 시간과 비용이 든다. 전력 비용을 절감해 AI 추론 비용을 줄이고, 더 나아가 절약한 여분을 GPU 서버에 활용해 AI 인프라를 더 효율적으로 구축할 수 있다”라며, “퓨어스토리지는 앞으로도 데이터 플랫폼 최적화를 통해 기업이 비용 절감을 비롯한 다양한 AI 이점을 누리도록 지원할 것”이라고 밝혔다.
yuseong.kim@foundryco.com