“직원 데이터는 모으고 보호는 못했다”…메타 AI 실험에 경고음

메타(Meta)가 직원들의 다양한 업무 데이터를 수집해 AI 모델 학습에 활용하려던 대규모 프로그램이 중단됐다. 직원들이 접근 제한 장치를 우회해 민감한 데이터에 접근한 데 이어, 메타가 취약점을 수정했다고 밝힌 이후에도 같은 일이 다시 발생한 것으로 알려졌기 때문이다.

페이스북 모회사인 메타의 데이터 수집 방식이 적절했는지 여부와 별개로, 업계 분석가들은 수집된 데이터의 민감성을 고려할 때 메타가 적용한 보호 조치가 턱없이 부족했다고 지적했다.

컨설팅 업체 액셀리전스(Acceligence)의 디렉터 카리안 미셸(Karianne Michelle)은 “메타는 이를 제대로 구축할 수 있는 충분한 자원과 역량을 갖추고 있었지만 결과는 기대에 크게 미치지 못했다”라며 “정책 결정과 기술 구현이 서로 충분히 조율되지 않은 채 별개로 진행될 때 나타나는 전형적인 모습이다. 구조적인 부담을 안고 있는 조직에서 흔히 볼 수 있는 문제”라고 분석했다.

인포테크 리서치 그룹(Info-Tech Research Group)의 수석 사이버보안 자문위원 프리츠 장루이(Fritz Jean-Louis)도 같은 견해를 밝혔다.

장루이는 “이번 사례는 AI 시대 데이터 전략에서 나타나는 대표적인 실패 유형”이라며 “고위험 텔레메트리 데이터를 수집하면서도 그에 상응하는 수준의 접근 통제를 갖추지 못했다. 이 정도 규모에서는 단 한 번의 설정 오류만으로도 내부 데이터가 조직 전체의 위험 요인으로 이어질 수 있다”라고 설명했다.

이번 사실은 미 언론사 와이어드의 보도를 통해 알려졌다. 보도에 따르면 메타는 지난 4월 ‘모델 호환성 이니셔티브(Model Compatibility Initiative, MCI)’라는 프로그램을 도입했다. 이 프로그램은 마우스 이동 경로와 클릭 위치, 키 입력 정보는 물론 화면에 표시되는 콘텐츠까지 수집하도록 설계됐다. 도입 초기에는 직원들이 참여를 거부할 수 있는 선택권도 없었다.

와이어드는 수집 대상에 전체 프롬프트와 대화 기록, 사적인 대화 내용, 인사 및 성과 관련 데이터 등이 포함됐다고 전했다. 또한 “메타 경영진은 이 프로젝트를 반복적으로 옹호해 왔다”라며 “AI가 인간처럼 컴퓨터 소프트웨어를 사용할 수 있도록 학습시키기 위해 해당 데이터가 필요했으며, 직원들이 AI가 학습하기에 가장 적합한 사례라고 설명했다”라고 보도했다.

와이어드는 메타의 AI 연구를 총괄하는 부사장 스테판 카스리엘(Stephane Kasriel)의 발언도 인용했다. 카스리엘에 따르면 메타는 6월 18일 권한이 없는 직원들이 MCI 데이터에 접근한 사실을 확인했으며, 해당 취약점은 “4시간 이내에” 조치됐다.

그러나 카스리엘은 “초기 수정 조치가 완전히 적용되지 않았고, 이후 데이터 접근 권한을 추가로 제한해야 했다”라고 밝혔다.

메타는 CIO.com 자매지인 CSO 온라인에 전달한 입장문에서 해당 프로그램을 일시 중단한다고 설명했다.

메타는 “이 프로그램은 개인정보 보호 장치를 충분히 고려해 설계됐다”라며 “현재까지 메타 직원이 데이터를 부적절하게 열람했다는 정황은 확인되지 않았지만, 조사가 진행되는 동안 프로그램 운영을 일시 중단하기로 했다”라고 설명했다.

“데이터 플랫폼 아닌 법적 리스크 표면”

업계 분석가와 컨설턴트, 보안 실무자들은 실제 데이터 노출 자체보다도 부실한 보호 체계에 더 큰 우려를 나타냈다.

프리랜서 기술 분석가 카미 레비(Carmi Levy)는 직원들의 키 입력과 마우스 움직임을 추적하는 메타의 과도한 감시 방식에 대한 우려도 분명 존재하지만, 더 큰 문제는 수집한 데이터를 보호하는 보안 체계가 지나치게 허술했다는 점이라고 지적했다.

레비는 “MCI가 과거에도 그랬고 지금도 불편하고 섬뜩한 프로그램이라는 점은 분명하다”라며 “하지만 메타가 프로그램을 중단한 이유는 일상적인 직원 감시에 수반되는 윤리적·도덕적 논란 때문이 아니라, 수집한 데이터를 제대로 보호하지 못했기 때문”이라고 설명했다.

이어 “직원 간 사적 대화와 성과 데이터, 대화 기록 같은 고도로 민감한 정보가 어떻게 조직 전체에 의도치 않게 공유됐는지를 완전히 파악하게 되면 감시와 데이터 수집을 재개할 가능성도 있다”라고 내다봤다.

이번 사안을 이해하기 위해 주목해야 할 점은 수집된 데이터가 매우 민감한 정보였음에도 엄격한 규제 기준에서는 개인정보식별정보(PII, Personally Identifiable Information)에 해당하지 않았다는 사실이다. 이러한 구분이 메타에 잘못된 안도감을 주면서 해당 데이터에 강력한 보호 조치를 적용할 필요가 없다고 판단하게 만들었을 수 있다는 분석이다.

코니퍼스AI(Conifers.ai)의 CEO 톰 핀들링(Tom Findling)은 “기업들은 종종 ‘이건 PII가 아니다’라고 말하며 데이터를 저위험 자산처럼 취급하는 경향이 있다”라며 “하지만 내부 프롬프트와 대화 기록, 채팅, 데이터 테이블, 성과 관련 메모만으로도 회사가 어떻게 운영되는지, 무엇을 개발하고 있는지, 어떤 부분이 취약하거나 혼란스러운지 상당 부분 파악할 수 있다. 사회보장번호 같은 개인정보가 아니더라도 충분히 민감한 정보”라고 말했다.

핀들링은 메타 경영진이 수집 데이터의 민감성을 의도적으로 축소하려 했다고 주장했다.

그는 “메타 경영진은 해당 데이터가 얼마나 민감한지 이해하지 못한 척하고 싶어 했던 것으로 보인다”라며 “그것이 충분한 보호 조치를 취하지 않아도 된다는 명분이 됐다. 메타가 이 데이터를 적절한 위험 수준으로 분류하지 않았다는 점은 분명하다”라고 평가했다.

인포테크 리서치 그룹의 장루이는 특히 수집된 데이터의 성격에 문제를 제기했다.

장루이는 “키 입력 정보와 스크린샷, 사용 패턴 같은 직원 행동 데이터는 기본적으로 민감 정보로 취급해야 한다”라며 “이를 AI 학습에 활용한다면 단순한 분석 부산물이 아니라 핵심 운영 기밀과 동일한 수준으로 관리해야 한다”라고 설명했다.

이어 “수천 개의 내부 데이터 테이블에 광범위하게 접근할 수 있는 환경은 데이터 플랫폼이라기보다 법적 책임과 위험이 광범위하게 노출된 상태에 가깝다”라며 “오늘날 신뢰는 하나의 보안 통제 수단이다. 직원들이 자신의 데이터가 과도하게 수집되거나 충분히 보호받지 못한다고 믿게 되는 순간, 내부자 위협과 평판 훼손이 동시에 발생한다”라고 지적했다.

액셀리전스의 미셸도 같은 우려를 나타냈다.

미셸은 “메타가 노출한 데이터 자체가 진짜 위험은 아니다. 보안 정책은 사람들이 그것을 신뢰할 때만 효과를 발휘하는데, 지금은 바로 그 신뢰가 흔들리고 있다”라고 말했다.

이어 “이런 사건이 피해를 남기는 지점도 바로 그 틈새에 있다”라며 “직원들이 자신의 데이터에 대한 경영진의 설명을 더 이상 믿지 않게 되면 이후 등장하는 모든 정책에도 의심이 따라붙게 된다. 그 결과 우회 행동이 늘어나고, 드러나지 않는 규정 위반이 발생하며, 문제를 발견해도 보고하지 않는 문화가 자리 잡게 된다”라고 경고했다.
dl-ciokorea@foundryco.com