생성형 AI 열풍, 새로운 프라이버시·사이버보안 리스크 부른다

기업과 일반 사용자 모두가 널리 활용하는 파일 공유 서비스 위트랜스퍼(WeTransfer)가 지난 7월 이용 약관을 변경한다는 소식은 기술 업계에서 큰 화제가 됐다.

보통이라면 큰 주목 없이 넘어갈 약관 변경이었지만, 이번에는 인공지능(AI) 관련 조항이 추가됐다는 점에서 눈길을 끌었다. 위트랜스퍼는 지난 8월을 기준으로 관리 중인 문서가 ‘서비스 운영, 개발, 마케팅, 신규 기술이나 서비스 개선, 그리고 머신러닝 모델 성능 향상’에 활용될 권리를 가진다고 명시했다. 즉, 사용자 정보가 어떤 형태든 AI 학습 데이터로 사용될 수 있다는 의미다.

이후 파장이 커지자 위트랜스퍼는 한발 물러서며 해명했다. 실제 의도는 AI를 활용해 콘텐츠를 조정할 수 있는 가능성을 약관에 포함하려던 것이지, 이용자들이 이해한 대로 데이터를 직접 AI 학습에 쓰려는 것은 아니었다고 설명했다.

그러나 이번 사태는 사이버보안, 프라이버시, 나아가 민감 정보 관리 영역에서 새로운 리스크가 현실화될 수 있음을 보여주는 신호가 됐다. AI를 구동하기 위해서는 방대한 데이터가 필요하며 실제로도 대량의 데이터가 활용된다. 이로 인해 많은 인기 온라인 서비스들이 새로운 환경에 맞춰 개인정보 처리방침을 수정하고 있다.

문제는 또 있다. AI 도입이 실시간으로 이뤄지고 실험 및 테스트가 진행되는 과정에서 예상치 못한 상황이 발생할 수 있다는 점이다. 예를 들어 일부 직원은 개인적으로 사용해 본 서비스, 즉 챗GPT 같은 도구를 업무에 활용할 수 있다. 하지만 사용해서는 안 되는 환경에서도 기밀 자료를 번역하거나 문서 작성에 활용하는 경우가 생길 수 있다. 이런 상황에서는 기업이 마련한 프라이버시 정책이 사실상 무의미해진다.

결국 새로운 환경은 개인 사용자 차원에서뿐 아니라 IT 전략과 보안을 책임지는 CIO와 CISO에게도 새로운 질문을 던지고 있다.

데이터 소유권 문제

핵심 쟁점 중 하나는 데이터 소유권으로, 생성된 정보가 누구의 것인지, 누구에게 귀속되는지에 관한 문제다. 이를 해결하기 위해 여러 서비스가 이용자가 만든 데이터를 AI 학습에 활용할 수 있도록 약관을 개정하고 있다. 메타(Meta) 같은 소셜 네트워크뿐 아니라, 기업 환경에서 널리 사용되는 서비스에서도 비슷한 변화가 나타나고 있다. 예컨대 판다시큐리티(Panda Security)는 슬랙(Slack)이 기본적으로 고객 데이터를 머신러닝 모델 학습에 활용한다고 지적한 바 있다.

이 같은 흐름은 이미 예견된 결과에 가깝다. 이제 기업이 AI를 개발하는 데 공공 데이터만으로는 부족하며 새로운 데이터 소스가 필요해지고 있다. 판다시큐리티의 글로벌 소비자 운영 총괄 에르베 램버트는 “자사 애플리케이션에서 수집되는 데이터 세트는 그 자체로 상당한 가치를 가진다. 그렇기 때문에 많은 벤더가 프라이버시 정책을 서둘러 개정하고, 동시에 수집 및 저장하는 데이터 활용 방식을 보다 투명하게 공개하라는 새로운 데이터 보호 규제에 발맞추려 하고 있다”라고 분석했다.

이 문제는 무엇보다 먼저 해당 벤더의 IT와 사이버보안 책임자에게 직접적인 부담으로 작용한다. 이들이 서비스 이용 규칙을 새로 마련해야 하기 때문이다. 하지만 문제는 여기서 끝나지 않는다. 해당 서비스를 업무적으로든 개인적으로든 사용할 수밖에 없는 기업 입장에서도 결국 중요한 과제가 된다.

램버트는 “벤더는 AI, 고급 마케팅, 제품 개발 등에서 데이터를 활용할 새로운 길을 여는 동시에 법적 요건도 충족해야 한다”라고 설명했다. 이 때문에 서비스 이용 약관과 프라이버시 조건에서 활용 목적 간의 경계가 사실상 ‘매우 모호한’ 선으로 그려지고 있다고 그는 진단했다.

프라이버시 및 사이버보안 리스크

또 다른 핵심 문제는 개인 사용자와 기업 모두에게 영향을 미칠 수 있는 개인정보 유출과 사이버보안 침해 가능성이다.

판다시큐리티는 방대한 개인정보로 학습된 AI가 잘못된 주체에게 넘어갈 경우 사기의 통로가 되거나 훨씬 더 정교하고 치명적인 공격을 만드는 데 악용될 수 있다고 경고했다. 램버트는 “적절한 통제 없이 개인정보를 AI 도구에 투입하면, 해당 정보가 동의 없이 복사, 공유, 활용될 위험에 노출된다”라고 지적했다.

꼭 악의적인 주체에 넘어가지 않더라도, 최종 사용자의 미숙한 사용으로 인해 민감 정보가 웹에 떠돌게 되는 경우도 있다. 챗GPT 대화 내용이 구글에 인덱싱된 사례가 대표적이다. 램버트는 “챗GPT 같은 일부 AI 솔루션에서 ‘대화 검색 가능’ 옵션을 활성화하면 사용자가 해당 대화를 공개적으로 전환하는 데 동의한 것으로 간주된다”라며 “이 경우 대화가 구글이나 다른 검색엔진에 노출돼 검색 결과에 표시될 수 있다. 문제는 그 안에 민감 데이터, 비즈니스 아이디어, 상업 전략, 혹은 개인적인 경험까지 포함될 수 있다는 점”이라고 설명했다.

실제로 AI는 이미 CISO에게 우려스러운 사안으로 떠오르고 있다. 보안 환경이 점점 더 복잡해지면서 번아웃 징후를 보이는 사례까지 나타나고 있다. 프루프포인트(Proofpoint)가 발간한 5번째 연례 ‘보이스 오브 더 CISO’ 보고서에 따르면 보안 책임자의 64%는 향후 2년 내 생성형 AI 도구 활용을 전략적 목표로 보고 있지만, 동시에 그로 인한 리스크에도 큰 우려를 드러내고 있다.

프루프포인트의 최고전략책임자 라이언 캘럼버는 “AI가 단순한 개념을 넘어 이제 방어자와 공격자 모두의 활동 방식을 바꾸는 핵심 요소가 됐다. CISO는 보안 태세를 강화하기 위해 AI를 활용하는 동시에, 윤리적이고 책임 있는 사용을 보장해야 하는 이중의 책임을 지고 있다”라고 설명했다. 그는 이를 위해 CISO가 반드시 ‘전략적 결정’을 내려야 하지만, AI 도입의 최종 결정권자가 CISO만은 아니라는 복잡성도 존재한다고 말했다.

보고서에 따르면 이미 48%의 CISO가 생성형 AI의 안전한 활용을 최우선 과제로 두고 있는 것으로 나타났다.
dl-ciokorea@foundryco.com