“여러 AI 모델을 로컬에서 테스트 가능”···구글, 오픈소스 앱 ‘AI 엣지 갤러리’ 공개

AI 엣지 갤러리는 텍스트와 이미지 입력을 통해 여러 모델의 성능을 비교하고 직접 활용해볼 수 있도록 설계된 앱이다. 누구나 이용할 수 있지만, AI 연구자나 개발자에게 특히 유용할 수 있다.

구체적으로 앱을 실행하면 메뉴는 크게 ‘이미지로 묻기’, ‘AI 채팅’, ‘프롬프트 랩’으로 나뉜다. 이 중 ‘이미지로 묻기’와 ‘AI 채팅’은 챗GPT처럼 일반적인 질문에 답하는 기능이다. ‘프롬프트 랩’은 요약, 재작성, 코드 생성, 자유 형식의 프롬프트 입력 등을 통해 AI 모델의 결과물을 확인할 수 있는 기능이다. 여기에선 토큰 크기, GPU나 CPU 등 엑셀러레이터 종류, 온도 등의 파라미터를 사전에 설정하고, 디코딩 속도와 지연 시간 등을 실시간 벤치마크로 확인할 수 있다.

AI 엣지 갤러리는 허깅페이스와 연동돼 다양한 오픈소스 모델을 손쉽게 불러올 수 있을 뿐 아니라, 사용자가 직접 만든 AI 모델도 불러와 실행할 수 있다. 이때 사용되는 모델은 라이트RT(LiteRT) 기반의 .task 확장자 형식으로 제작돼야 한다. 라이트RT는 구글이 개발한 경량화 모델 실행 엔진이다.

AI 엣지 갤러리는 로컬 환경에서 실행이 가능해 개인정보 보호에 유리하다. 모델을 한 번 불러오면 모든 연산이 기기 내에서 이뤄지며, 인터넷 없이도 다양한 기능을 사용할 수 있다.

현재 AI 엣지 갤러리는 알파(Alpha) 버전으로 제공되며, 사용자 피드백을 바탕으로 기능이 지속적으로 개선될 예정이다. 버그 제보나 기능 제안은 공식 채널을 통해 자유롭게 참여할 수 있다. 이 앱은 아파치 라이선스 2.0 하에 공개됐으며, 설치 방법과 사용 가이드는 프로젝트 위키에서 확인할 수 있다.

AI 엣지 갤러리는 현재 안드로이드 운영체제에서 APK 파일을 통해 다운로드해 사용할 수 있으며, iOS 버전도 곧 출시될 예정이다.
jihyun.lee@foundryco.com