구글, 라이트RT에 ML 드리프트 적용···온디바이스 AI 성능 강화

라이트RT(LiteRT)는 TF라이트(TensorFlow Lite, TFLite)에서 발전한 구글의 ‘차세대’ 온디바이스 추론 프레임워크로, ‘ML드리프트(MLDrift)’로 불리는 차세대 GPU 엔진을 기반으로 한 고급 가속 기능을 새롭게 도입했다.

구글은 28일 공식 블로그를 통해 이번 성과가 라이트RT를 범용 온디바이스 프레임워크로 확고히 자리매김하게 하는 이정표이며, 기존 텐서플로 라이트(TFLite)를 뛰어넘는 의미 있는 도약이라고 설명했다

구글에 따르면 라이트RT는 TF라이트보다 GPU 성능이 약 1.4배 향상됐으며, 엣지 플랫폼 전반에서 GPU와 NPU 가속을 통합적으로 활용할 수 있는 단일 워크플로를 제공한다. 또한 생성형 AI 모델을 위한 크로스 플랫폼 배포 역량을 강화했고, 원활한 모델 변환을 통해 파이토치(PyTorch)와 JAX를 1급 수준으로 지원한다. 구글은 라이트RT의 새로운 가속 기능을 지난해 5월 미리 공개한 바 있다.

라이트RT는 깃허브를 통해 공개돼 있으며, 수십억 대의 디바이스에서 일상적으로 사용되는 애플리케이션을 구동하고 있다. 구글은 이를 통해 낮은 지연 시간과 높은 개인정보 보호 수준을 동시에 제공한다고 설명했다.

새로운 ML 드리프트 GPU 엔진을 통해 라이트RT는 오픈CL(OpenCL), 오픈GL(OpenGL), 메탈(Metal), 웹GPU(WebGPU)를 지원하며, 개발자는 모바일과 데스크톱, 웹 전반에 걸쳐 모델을 배포할 수 있다. 안드로이드 환경에서는 사용 가능한 경우 자동으로 GPU를 우선 활용해 최고 성능을 제공하고, 보다 폭넓은 기기 호환성을 위해 오픈GL로 전환하는 방식도 지원한다.

구글은 또한 라이트RT는 NPU 배포를 위한 통합되고 단순화된 워크플로를 제공해 벤더별로 상이한 저수준 SDK를 추상화하고, 다양한 시스템온칩(SoC) 변종으로 인한 파편화 문제를 처리한다고 전했다.

라이트RT 관련 문서는 구글 AI 개발자 사이트에서 확인할 수 있다.
dl-ciokorea@foundryco.com