구글, 제미나이 CLI 보안 취약점 패치···명령어 위장 통한 데이터 탈취 우려

출시된 지 한 달도 채 지나지 않았지만, 보안 연구원들은 구글의 제미나이(Gemini) 명령줄 인터페이스(CLI) AI 에이전트에서 프롬프트 인젝션 취약점을 발견했다. 이 취약점은 자격 증명이나 API 키 같은 민감한 데이터를 개발자도 모르게 탈취하는 데 악용될 수 있다.

제미나이 CLI는 구글의 대규모언어모델(LLM)을 파워셸(PowerShell)이나 배시(Bash) 같은 기존 명령줄 도구와 통합해, 코드 분석과 디버깅, 문서 생성, 새로운 리포지토리 이해 등의 작업을 자연어 프롬프트로 빠르게 수행할 수 있도록 돕는다.

그러나 6월 25일 출시된 후 불과 이틀 만에, 영국의 클라우드 위협 탐지 기업 트레이스빗(Tracebit)은 신뢰되지 않은 오픈소스 리포지토리를 처음 검토하는 개발자에게 영향을 줄 수 있는 첫 번째 보안 취약점을 발견했으며, 이를 블로그를 통해 28일 공개했다.

트레이스빗의 개념증명(PoC)에 따르면, 공격자는 일반적인 오픈소스 리포지토리에 포함될 수 있는 평범해 보이는 README.md GNU 퍼블릭 라이선스 파일에 악성 프롬프트를 삽입했다. 연구진은 이와 함께 사용자의 인지 없이 악성 셸 명령을 실행할 수 있도록 유도하는 일련의 작은 취약점들을 결합해낼 수 있다는 사실도 확인했다.

화이트리스트 악용

첫 번째 취약점은 제미나이 CLI가 자주 사용하는 명령어, 예를 들어 grep 같은 명령을 반복 승인 없이 실행할 수 있도록 화이트리스트 기능을 제공한다는 점이다. 이 기능 자체는 편리하지만, 문제는 제미나이 CLI가 정상적인 grep과 악성 grep 명령을 구분하지 못한다는 데 있었다. 검증 절차가 최소화돼 있었기 때문에, 공격자는 재확인 요청 없이도 원하는 악성 명령어를 실행할 수 있었다.

트레이스빗의 공동설립자 겸 CTO 샘 콕스는 “예컨대, grep 명령 뒤에 사용자의 환경 변수 전체(비밀 정보 포함)를 원격 서버로 몰래 전송하는 명령을 삽입할 수 있다. 이 악성 명령은 원격 셸 설치, 파일 삭제 등 어떤 형태든 가능하다”라고 블로그를 통해 설명했다.

이러한 명령어는 별도의 재확인 없이 실행되지만, 명령줄에 표시되기 때문에 사용자가 알아차릴 가능성도 있다. 이 경우, 명령이 성공하더라도 공격자가 노출될 수 있다. 하지만 트레이스빗은 명령줄에 공백 문자를 다수 삽입해 악성 명령어가 화면 아래로 밀리게 하고, 이를 통해 사용자의 시야에서 감출 수 있다는 사실을 밝혀냈다.

콕스는 “프롬프트 인젝션, 위험 명령어를 사용자에게 보여주지 않는 UX 설계, 위험 명령어에 대한 불충분한 검증이 결합되면서, 이 공격은 심각하면서도 탐지되지 않는 수준에 이른다”고 전했다.

같은 공격은 경쟁 도구들에서는 실패했다. 트레이스빗은 “다른 AI 기반 코드 도구에서 동일한 공격을 시도했을 때, 여러 보안 계층에 막혀 실행이 불가능했다”고 밝혔다.

개발자 주의 필요

AI 도구는 반복적이고 시간 소모적인 작업을 자동화해 효율성을 높이지만, 프롬프트 인젝션 공격자에게도 같은 편의를 제공한다. 트레이스빗이 분석한 공격은 몇 가지 전제를 기반으로 하지만, 실제 환경에서도 충분히 재현 가능한 시나리오다. 현재도 다양한 도구와 상황을 대상으로 프롬프트 인젝션 취약점을 찾기 위한 시도가 이어지고 있다.

결론적으로, 이번 취약점은 제미나이 CLI에서 처음 발견된 사례이지만, 마지막은 아닐 가능성이 높다. 구글은 해당 결함을 심각도 ‘높음(V1)’, 수정 우선순위 ‘최우선(P1)’으로 분류했으며, 7월 25일 공개된 제미나이 CLI v0.1.14 버전에서 이를 패치했다. 현재 관련 소식이 공개된 이유도 이 때문이다.

패치된 제미나이 CLI로 업데이트하는 것 외에도, 가장 효과적인 보안 수칙은 도구를 샌드박스 모드에서 실행해 시스템과의 직접 연결을 차단하는 것이다. 구글은 트레이스빗에 전달한 공식 답변에서 다음과 같이 강조했다.

구글 취약점 공개 프로그램(VDP) 팀은 “CLI의 보안 모델은 견고하고 다층적인 샌드박싱을 중심으로 설계돼 있다”며 “도커(Docker), 포드맨(Podman), macOS 시트벨트(Seatbelt)와 통합돼 있으며, 제미나이 CLI가 자동으로 사용할 수 있는 사전 구성된 컨테이너도 제공하고 있다”고 설명했다. 이어 “샌드박스를 사용하지 않는 경우에는 전체 세션 동안 빨간색 경고 문구를 지속적으로 표시해 사용자가 이를 인지하도록 하고 있다”고 전했다.
dl-ciokorea@foundryco.com