메타, 엣지 디바이스용 AI 추론 프레임워크 ‘엑스큐토치 1.0’ 공개

메타의 파이토치팀이 엣지 디바이스에 AI 애플리케이션을 배포할 수 있는 파이토치 네이티브 추론 프레임워크 ‘엑스큐토치 1.0(ExecuTorch 1.0)’을 공개했다.

엑스큐토치는 10월 22일 공식 공개됐으며, 관련 코드는 깃허브에서 확인할 수 있다. 이 오픈소스 범용 프레임워크를 활용하면 개발자는 별도의 변환이나 코드 재작성 없이 파이토치 모델을 모바일, 데스크톱, 임베디드 등 다양한 엣지 디바이스에 직접 배포할 수 있다.

엑스큐토치는 CPU, GPU, NPU 등 다양한 하드웨어 가속을 지원하며, iOS와 안드로이드, 임베디드 기기, 노트북 등 여러 플랫폼에서 동작한다. 파이토치 팀은 “온디바이스 AI 배포를 통해 머신러닝 기능을 사용자의 기기 내에서 직접 실행할 수 있어 클라우드 의존 없이 빠르고 실시간에 가까운 응답이 가능하다”고 설명했다. 또한 “엑스큐토치는 데이터를 로컬에 유지해 개인정보 보호를 강화하고, 인터넷 연결이 없어도 개인화 기능을 지원할 수 있다”고 덧붙였다.

이 프레임워크를 통해 개발자는 대형언어모델(LLM), 비전-언어 모델(VLM), 이미지 세분화, 객체 탐지, 오디오 등 다양한 분야의 파이토치 기반 모델을 다른 형식으로 변환하거나 재작성하지 않고 엣지 디바이스에 바로 배포할 수 있다. 파이토치 팀은 엑스큐토치가 이미 인스타그램, 왓츠앱, 메신저(Messenger), 페이스북 등 실제 서비스에 적용돼 있으며, 수십억 명의 사용자에게 온디바이스 AI 혁신을 가속화하고 있다고 전했다.

기존의 온디바이스 AI는 주로 사진 편집이나 이미지 처리 등 모바일 기기에서 컴퓨터 비전 알고리즘을 실행하는 용도로 사용돼 왔다. 그러나 최근 하드웨어와 AI 모델의 발전으로 LLM 기반 로컬 에이전트, 스마트 글래스나 웨어러블 기기에서의 ‘앰비언트 AI’ 등 새로운 활용 사례가 빠르게 늘어나고 있다.

파이토치 팀은 “이전에는 이러한 첨단 모델을 모바일, 데스크톱, 임베디드 환경에 적용하기 위해 다른 런타임이나 포맷으로 변환해야 했고, 이 과정에서 수치 불일치나 디버그 정보 손실 같은 문제가 발생해 배포 과정의 병목이 됐다”라고 설명했다.

엑스큐토치는 이러한 변환 과정을 없애고, 개발자가 익숙한 파이토치 도구를 그대로 사용하면서 엣지 디바이스에 최적화된 AI 애플리케이션을 구축할 수 있도록 지원한다. 파이토치 팀은 지난해 엑스큐토치 베타 버전을 처음 공개했으며, 이번 정식 버전을 통해 온디바이스 AI 생태계의 확장을 본격화하고 있다.
dl-ciokorea@foundryco.com