구글 딥마인드, 로봇용 AI 모델 ‘제미나이 로보틱스’ 공개

“로봇용 AI 모델이 유용하려면 세 가지 주요 특성이 필요하다. 다양한 상황에 적응할 수 있는 범용성, 지시를 이해하고 환경 변화에 빠르게 대응할 수 있는 대화형, 그리고 물체를 조심스럽게 조작하는 등 손과 손가락이 할 수 있는 일을 할 수 있는 손재주가 있어야 한다.”

구글 딥마인드가 차세대 로봇의 두뇌 역할을 하게 될 제미나이 2.0(Gemini 2.0) 기반의 새로운 AI 모델 두 가지를 공개했다. 첫 번째는 로봇 직접 제어를 위한 물리적 동작이 추가된 ‘제미나이 로보틱스(Gemini Robotics)’, 두 번째는 향상된 공간 이해 기능을 갖춘 ‘제미나이 로보틱스-ER(Gemini Robotics-ER)’이다.

제미나이 로보틱스는 향상된 VLA(vision-language-action)을 통해 사람처럼 보고, 말하고, 행동하는 로봇을 구현하도록 돕는다. 로봇을 위한 AI 모델이라면 일반적인 AI 모델과 달리 서두에 언급한 대로 범용성(Generality), 대화형(Interactivity), 손재주(Dexterity)라는 세 가지 요건을 갖춰야 한다.

범용성은 일상적으로 접하게 되는 물리적인 공간에서의 새로운 상황을 일반화하고 훈련에서 경험한 적이 없는 작업을 포함해서 다양한 작업을 즉시 해결하는 것이다. 제미나이 로보틱스는 새로운 물체, 다양한 명령어, 새로운 환경을 능숙하게 대처할 수 있다. 유니티 기술 보고서에 따르면 일반화 벤치마크에서 평균 2배 이상의 성능을 보였다.

대화형은 사람과 즉각적인 상호작용이 가능해야 하고, 이는 일상적이고 다양한 언어를 통해 소통할 수 있어야 한다. 즉, 사람이 말로 하는 명령을 이해하고, 이를 수행해야 한다. 제미나이 로보틱스는 이전 모델보다 훨씬 더 광범위한 자연어 명령을 이해하고 반응하며, 지속적인 주변 환경을 모니터링을 통해 환경이나 지시의 변화에 대응한다.

손재주는 물리적인 세계에서 정확하고 역동적인 동작을 구현하려면 주변 환경과의 원활한 상호작용과 정확한 동작을 수행할 수 있어야 한다. 제미나이 로보틱스는 종이 접기나 지퍼백에 과장을 포장하는 것 같은 정밀한 조작이 필요한 복잡하고 여러 단계로 구성된 작업을 처리할 수 있다.

다양한 구현 사례(Multiple Embodiments)도 제미나이 로보틱스가 가진 특징이다. 제미나이 로보틱스는 바이-암 로보틱스 플랫폼(bi-arm robotic platform)인 알로하 2(ALOHA 2) 기반으로 데이터 모델을 훈련했지만, 학술 연구실에서 주료 사용하는 프란카 암(Franka Arm)을 기반 환경에도 적용할 수 있다.

제미나이 로보틱스-ER은 로봇 공학자가 제미나이의 체현 추론(embodied reasoning) 기능을 사용해 자체 프로그램을 사용할 수 있게 돕는 고급 비전 언어 모델(advanced vision-language model)이다. 공간 추론에 초점을 맞춰 로봇 공학자가 기존의 저수준 컨트롤러와 연결할 수 있도록 한다.

이를 위해 제미나이 2.0이 기존에 제공하던 포인팅(Pointing) 및 3D 감지 기능을 크게 개선했다. 공간 추론과 제미나이의 코딩을 결합한 제미나이 로보틱스-ER은 인식, 상태 추정, 공간 이해, 계획 및 코드 생성 등 로봇을 제어하는 데 필요한 모든 단계를 즉시 수행할 수 있다.

예를 들어 커피잔을 보여 주면 손잡이를 두 손가락으로 잡을 수 있는 적절한 그립과 안전한 접근 궤적으로 직관적으로 파악할 수 있다. 제미나이 2.0과 비교하면 2~3배 더 높은 성공률을 보이며, 코드 생성만으로 충분하지 않은 경우에는 몇 가지 인간의 시연 패턴을 따라 솔루션을 제공하는 인컨텍트( in-context learning)를 활용할 수 있다.

딥마인드는 “이 두 모델은 다양한 로봇이 그 어느 때보다 더 광범위한 실제 작업을 수행할 수 있도록 한다. 이러한 노력의 일환으로 앱트로닉(Apptronik)과 협력하여 제미나이 2.0으로 차세대 휴머노이드 로봇을 구축하고 있다. 또한 신뢰할 수 있는 일부 테스터와 협력하여 제미나이 로보틱스-ER의 미래를 준비하고 있다”라고 밝혔다.
[email protected]