구글, 추론용 신규 AI 칩 ‘아이언우드’ 공개··· 주요 사용자층은?

구글이 최신 AI 칩 ‘아이언우드(Ironwood)’를 공개했다. 구글은 아이언우드가 생성형 AI 워크로드, 특히 추론(inferencing) 작업을 가속화하는 데 도움을 줄 수 있다고 설명했다. 추론은 대규모 언어 모델(LLM)이 사용자 요청에 응답을 생성하는 과정을 의미한다.

IDC에 따르면 추론 전용 반도체 시장은 2030년까지 1,910억 달러 규모로 성장할 전망이다. 특히 추론용 AI ASIC(application-specific standard product chip)는 270억 달러로 시장의 14.3%를 차지할 것으로 예상됐다.

ASIC는 특정 작업을 위해 설계된 프로세서로, FPGA(현장 프로그래밍 가능 게이트 어레이)와 달리 다른 회로나 기능에 맞게 재프로그래밍할 수 없다.

구글의 연례 클라우드 넥스트 컨퍼런스에서 공개된 아이언우드는 구글의 7세대 텐서 처리 유닛(TPU)이다. 구글은 “선제적 통찰력과 해석을 제공하는 추론 모델을 위해 설계됐다”라고 주장했다. 다시 말해 AI 에이전트 워크로드에 더 적합할 수 있다는 의미다.

구글은 성명을 통해 새로운 TPU가 대량의 데이터를 처리하는 동안 데이터 이동과 지연 시간을 최소화하도록 설계되어 프론티어 모델의 추론 작업을 지원한다고 설명했다.

6세대 트릴리움보다 와트당 성능 개선

구글은 아이언우드가 지난해 4월 출시된 6세대 트릴리움(Trillium)에 비해 와트당 성능이 2배 향상됐다고 밝혔다.

구글 머신러닝, 시스템 및 클라우드 AI 담당 부사장인 아민 바흐닷은 블로그 게시물에서 아이언우드가 동일한 전력을 사용하면서 성능이 향상되어 와트당 더 많은 용량을 제공하므로 칩이 더 비용 효율적이라고 설명했다.

아이언우드 포드는 최대 9,216개의 칩까지 확장할 수 있으며, 이는 각각 최대 8,960개와 4,896개의 칩을 지원하던 이전 세대 TPU v5p와 TPU v4에 비해 향상된 수치다.

아이언우드는 또한 트릴리움보다 6배 높은 대역폭 메모리를 제공하며, 칩당 192GB로 TPU v5p의 95GB와 TPU v4의 32GB에 비해 크게 향상되었다.

바흐닷은 더 높은 대역폭 메모리 용량이 대규모 모델과 데이터셋을 처리하는 데 중요하며, 빈번한 데이터 전송 필요성을 줄이고 성능을 향상시킨다고 설명했다.

구글은 또한 아이언우드의 HBM 대역폭과 칩 간 상호 연결(ICI) 대역폭을 트릴리움 대비 각각 4.5배와 1.5배로 업그레이드했다.

바흐닷은 향상된 HBM 대역폭이 더 집약적인 AI 워크로드 실행에 도움이 되며, 칩 간 더 빠른 통신 속도가 LLM 훈련이나 추론 시 워크로드의 효율적인 분산을 가능하게 할 것이라고 언급했다.

아이언우드에는 스파스코어(SparseCore)와 패스웨이(Pathways) 기능이 탑재됐다. 스파스코어는 ‘초대형’ 임베딩을 처리하기 위한 특수 가속기이며, 패스웨이는 구글의 자체 머신러닝 런타임 소프트웨어로 여러 TPU 칩, 특히 포드 전체에서 효율적인 분산 컴퓨팅을 가능하게 한다.

엔비디아, AMD만큼 우수한 성능

일부 분석가들은 아이언우드가 경쟁 제품보다 달러당 더 많은 성능을 제공하며, 엔비디아(Nvidia)와 AMD의 GPU와도 견줄 수 있다고 평가했다.

세미애널리시스(SemiAnalysis)의 수석 분석가인 딜런 파텔은 “구글의 아이언우드 TPU는 AWS 트레이니움(Trainium)과 마이크로소프트 마이아 100(Maia 100)에 비해 상당한 개선을 보여준다”라고 진단했다.

옴디아(Omdia)의 수석 분석가 알렉산더 해로웰(Alexander Harrowell)은 마이아가 구글의 TPU v4와 규모가 비슷하다고 언급했다. 그는 “아이언우드 이전까지는 AWS, 마이크로소프트, 구글의 ASIC 사이에 많은 공통점을 볼 수 있었다. 세 회사 모두 비교적 소규모 ASIC로 구성된 대규모 클러스터를 사용했다. 그러나 아이언우드는 이전 TPU보다 훨씬 크다”라고 언급했다. 또한 그는 아이언우드의 HBM과 ICI 대역폭이 엔비디아와 AMD GPU의 성능과 대등하다고 말했다.

아이언우드 사용자층

분석가들은 아이언우드가 대규모 맞춤형 추론 워크로드를 개발, 조정 및 실행하는 데 중점을 둔 기업, 특히 기성품 솔루션으로는 해결할 수 없는 잘 정의된 사용례를 가진 기업에서 채택할 가능성이 높다고 언급했다.

그러나 IDC의 연구 이사인 브랜든 호프는 이미 엔비디아 쿠다(CUDA)에 종속된 소프트웨어 개발자와 데이터 과학자의 경우, 구글 및 다른 클라우드 서비스 업체가 제공하는 엔비디아 GPU를 계속 사용할 가능성이 높다고 지적했다.

호프는 “개발하는 소프트웨어 스택에 유연성이 있는 소프트웨어 개발자는 아이언우드를 활용할 수 있다”라며, 기업이 아이언우드로 이동할 경우 어느 정도의 벤더 종속성에 직면할 수 있다고 덧붙였다.

한편 세미애널리시스의 파텔은 아이언우드의 최대 사용자는 구글 자체가 될 수 있다고 언급했다. 그는 구글이 검색, 광고, 유튜브, 워크스페이스 AI 기능을 포함한 내부 워크로드를 실행하기 위해 TPU를 사용할 가능성이 높다고 지적했다.

파텔은 “성능과 효율성 이점이 매력적이며, 도입 방식은 광범위하기보다는 목표 지향적일 것”이라고 덧붙였다.

웨스트 먼로(West Monroe)의 기술 이사인 브라이언 알레토는 구글이 얼마나 빠르고 광범위하게 자사의 생태계 전반에 아이언우드를 제공하는지에 따라 성공 여부가 결정될 수 있다고 말했다. 대규모 컴퓨팅 제품의 경우 수요가 서비스 가용성을 앞지를 수 있다는 이유에서다.
[email protected]