구글, 크롬 제미나이에 추가 감시형 AI 도입···프롬프트 인젝션 대비 강화

구글은 프롬프트 인젝션 공격을 통해 제미나이 기반 크롬 브라우징 에이전트가 무단 행동을 하도록 조작될 수 있다는 점을 인정하며, 이를 감시하기 위한 두 번째 AI 모델을 도입하고 있다.

구글은 공식 블로그에서 “신뢰할 수 없는 콘텐츠와 분리된 별도 모델이 에이전트의 행동을 검증하는 ‘사용자 정렬 비평가(user alignment critic)’를 도입하고 있다”라며 “비평가가 사용자의 요청과 일치하지 않는 행동이라고 판단하면 해당 행동을 차단한다”라고 설명했다.

크롬 보안 엔지니어 네이선 파커는 블로그를 통해 “현재 모든 에이전트형 브라우저가 직면한 가장 새로운 위협은 간접 프롬프트 인젝션”이라고 밝혔다. 이는 에이전트가 처리하는 정보가 초기 프롬프트를 변경하도록 유도하는 상황을 의미한다.

지난 9월 공개돼 현재 프리뷰 단계인 제미나이 기반 브라우징 에이전트는 사용자가 이메일·은행·기업 시스템에 로그인한 상태에서도 웹 탐색, 버튼 클릭, 양식 작성 등을 수행할 수 있다. 파커는 악성 지시가 웹페이지, iframe, 사용자 생성 콘텐츠 등에 숨겨져 있을 경우 “금융 거래를 시작하거나 민감 정보를 유출하는 등 원하지 않는 행동을 유발할 수 있다”라고 전했다.

이 지점에서 사용자 정렬 비평가가 작동한다. 두 번째 AI 모델은 크롬이 실행하기 전에 모든 제안된 행동을 검토하며, 파커는 이를 “목표 하이재킹과 데이터 유출 모두를 막기 위한 강력한 추가 방어 계층”이라고 설명했다.

프롬프트 인젝션이 어려운 이유

프롬프트 인젝션은 지난 1년 동안 AI 시스템에서 가장 심각한 취약점으로 떠올랐다. OWASP는 2024년 평가한 실제 운영 환경 AI 배포 사례의 73%에서 이 문제가 발견됐으며, 대규모 언어모델 기반 애플리케이션의 위협 요소 중 최우선 위험으로 분류했다.

영국 국가사이버보안센터(NCSC)는 최근 프롬프트 인젝션 공격이 완전히 통제되지 않을 가능성이 매우 높다고 경고했다. LLM이 지시와 데이터를 안정적으로 구분하지 못하는 구조적 한계를 갖고 있기 때문이다. NCSC는 이를 신뢰받는 시스템이 신뢰할 수 없는 주체의 요구를 대신 수행하도록 속는 ‘혼동된 대리자(confused deputy)’ 취약점으로 규정했다.

연구자들은 이미 해당 위협이 현실적임을 입증했다. 지난 1월 공격자는 문서 안에 지시를 숨겨 기업용 AI 시스템이 비즈니스 인텔리전스를 유출하고 자체 안전 필터를 비활성화하도록 만들었다. 보안 기업 앱옴니(AppOmni)도 최근 서비스나우의 AI 에이전트가 양식 필드에 숨겨진 지시를 통해 조작될 수 있으며, 일부 에이전트는 다른 에이전트까지 동원해 무단 작업을 수행하도록 유도할 수 있다고 밝혔다.

크롬의 경우 위험은 더욱 크다. 브라우징 에이전트가 침해되면 사용자가 로그인한 모든 사이트에서 사용자와 동일한 권한을 행사할 수 있으며, 이는 보통 웹사이트 간 데이터 접근을 차단하는 브라우저의 사이트 격리 보호 기능을 우회할 가능성으로 이어진다.

구글의 이중 모델 방어 전략

이러한 위험에 대응하기 위해 구글은 두 개의 AI 모델이 역할을 분담하는 구조를 도입했다. 메인 모델인 제미나이는 웹 콘텐츠를 읽고 어떤 행동을 취할지 결정한다. 반면 사용자 정렬 비평가는 악성 지시가 포함됐을 수 있는 웹 콘텐츠는 보지 않고, 제안된 행동의 메타데이터만 확인한다.

네이선 파커는 블로그에서 “이 구성요소는 제안된 행동에 대한 메타데이터만 접근하도록 설계됐으며, 필터링되지 않은 불신 콘텐츠에는 접근하지 못해 웹으로부터 직접 오염될 가능성을 차단한다”라고 설명했다. 비평가가 행동을 거부하면, 해당 정보는 계획 모델로 전달돼 실행 방식을 재조정하게 된다.

이 아키텍처는 기존 보안 연구를 기반으로 하며, 블로그에 따르면 듀얼 LLM 패턴과 구글 딥마인드의 CaMeL 연구에서 구조적 영감을 얻었다.

구글은 에이전트가 상호작용할 수 있는 웹사이트도 ‘오리진 세트(origin sets)’라는 방식으로 제한하고 있다. 이 시스템은 에이전트가 단순히 읽기만 가능한 사이트 목록과 클릭·입력 같은 행동이 가능한 사이트 목록을 따로 유지한다. 신뢰할 수 없는 콘텐츠와 분리된 게이팅(gating) 기능이 작업에 필요한 사이트를 판단한다.

구글은 이번 구현이 초기 단계임을 인정했다. 파커는 “보안을 높이면서도 불필요한 마찰을 줄일 수 있도록 게이팅 기능과 시스템 전반을 계속 조정할 것”이라고 밝혔다.

사용자 정렬 비평가와 오리진 통제 외에도, 크롬은 브라우징 에이전트가 은행이나 의료 사이트로 이동할 때, 구글 패스워드 매니저에 저장된 비밀번호를 사용하려 할 때, 또는 결제를 진행할 때 사용자의 확인을 필수로 요구한다. 브라우징 에이전트는 저장된 비밀번호에 직접 접근할 수 없다.

또한 에이전트가 작동하는 동안 프롬프트 인젝션 시도를 탐지하는 분류기가 병렬로 실행된다. 구글은 자동화된 레드팀 시스템도 구축했으며, 특히 소셜미디어나 광고 네트워크 기반 사용자 생성 콘텐츠를 통해 전달되는 공격을 우선적으로 시험하도록 설계했다고 설명했다.

남은 난제

프롬프트 인젝션 문제는 크롬만의 고민이 아니다. 오픈AI는 이 문제가 챗GPT 에이전트 기능과 관련해 “가장 전방에서 다뤄야 할 복잡한 연구 과제”라고 표현한 바 있으며, 공격자들이 이 기법에 상당한 자원을 투입할 것으로 예상하고 있다.

가트너는 한 단계 더 나아가 기업들이 AI 브라우저를 조직 내에서 차단해야 한다고 권고했다. 이 연구기관은 AI 기반 브라우징 에이전트가 프롬프트 인젝션을 통해 기업 데이터와 인증 정보를 노출할 수 있다고 경고했다.

영국 국가사이버보안센터(NCSC)도 비슷한 입장을 밝혔다. NCSC는 조직이 AI 시스템이 공격받을 것을 전제로 접근 권한과 기능을 제한하는 방식으로 위험을 관리해야 한다고 강조했다. 문제를 기술적으로 완전히 해소할 수 있다는 기대보다는, 설계 차원에서 위험을 통제하는 접근이 필요하다는 것이다.

구글 블로그에 따르면 크롬의 에이전트 기능은 선택 사항이며 여전히 프리뷰 단계에 머물러 있다.
dl-ciokorea@foundryco.com