세일즈포스, ‘AI 에너지 스코어’ 발표··· “가전 분야의 에너지 스타처럼”

AI 모델의 에너지 소비량을 벤치마크 테스트를 통해 평가하고, 이를 다른 모델과 구분하고 비교할 수 있도록 하는 AI 에너지 스코어는 세일즈포스(Salesforce), 허깅 페이스(Hugging Face), 코히어(Cohere) 및 카네기 멜론 대학(Carnegie Mellon University)의 협업으로 탄생했다. 이들 기업은 또 주요 AI 모델에 대해 진행한 AI 에너지 점수를 공개했다.

Salesforce

설명에 따르면 AI 에너지 스코어는 표준화된 에너지 등급(Standardized Energy Ratings), 공개 리더보드(Public Leaderboard), 벤치마킹 포털(Benchmarking Portal), 인식 가능한 에너지 사용 라벨(Recognizable Energy Use Label)이라는 4개의 특징을 가지고 있다.

즉, AI 모델의 에너지 효율을 측정하고 비교할 수 있는 표준화된 프레임워크로, 166개의 모델이 수행한 텍스트 및 이미지 생성과 요약 등 약 10가지 일반적인 AI 작업을 수행하는 데 필요한 에너지 사용량을 점수로 환산한다. 또한, AI 개발자가 AI 모델을 제출해 평가하고 리더보드에 추가할 수 있다.

평가 과정은 개방형과 폐쇄형이 약간 다르다. 개방형 AI 모델은 자동으로 테스트가 가능하고, 폐쇄형 AI 모델은 보안 테스트 샌드박스를 통한 평가로 진행된다. 평가한 에너지 효율 지수는 1~5개로 구성된 별 모양의 라벨로 표시하며, 별의 개수가 많을 수록 에너지 효율이 높다.

세일즈포스는 “AI 에너지 스코어는 AI 모델의 환경적 영향에 대한 투명성 부족을 해결하는 것을 목표로 한다. 에너지 스타(ENERGY STAR)가 가전제품 및 전자제품의 에너지 효율 표준을 변화시킨 것과 유사하게 , 이 이니셔티브는 AI 모델 지속 가능성에 대한 명확하고 신뢰할 수 있는 벤치마크를 확립할 것”이라고 밝혔다.

에너지 효율 측정을 위한 테스트는 엔비디아 H100(NVIDIA H100 GPU(80GB 메모리)가 장착된 클러스터에서 수행하며, 코드카본(CodeCarborn)으로 추론 과정에서 CPU, GPU, RAM을 포함한 하드웨어 구성 요소에서 사용하는 에너지 사용량을 측정한다.

깃허브에 마련된 AI 에너지 스코어 페이지를 방문하면 프로젝트의 목표, 성능, 독점 모델 등급에 대한 검증 등 자주 묻는 질문에서부터, 관련 작업, 방법론 등 자세한 정보를 확인할 수 있다. AI 에너지 스코어는 다양한 작업에서 AI모델의 상대적인 에너지 효율성을 비교하는 것으로, 이를 위해 10가지 머신러닝 작업에 대한 사용자 지정 데이터 세트를 만들었다.
[email protected]