“환각부터 책임 논란까지” 생성형 AI가 만든 대형사고 10선

2017년 이코노미스트지는 석유가 아니라 데이터가 세계에서 가장 가치 있는 자원이 됐다고 선언했고, 그 표현은 이후에도 계속 반복됐다. 전 산업군에서 수많은 기업이 데이터와 분석에 투자해 왔고, 지금도 대규모 투자를 이어가고 있다. 하지만 석유처럼 데이터와 분석에도 어두운 면이 있다.

‘2025 CIO 현황 설문조사’에 따르면, CIO의 42%는 2025년 기술 우선순위로 AI/ML을 꼽았다. 머신러닝 알고리즘이 주도하는 실행은 기업에 경쟁 우위를 가져다줄 수도 있지만, AI가 실수하면 평판과 매출은 물론 생명까지 대가로 치를 수도 있다.

데이터가 무엇을 말하는지 이해하는 일이 중요하지만, 도구를 이해하고 데이터를 제대로 파악하며 조직의 가치를 확고히 유지하는 일도 똑같이 중요하다. 이런 관점에서 최근 세간의 이목을 끈 AI 실패 사례를 몇 가지 소개하며, 무엇이 잘못될 수 있고 실제로 무엇이 계속 잘못되고 있는지 짚어본다.

학부모, 10대 자살 개입 주장하며 오픈AI 고소

2025년 8월 미국 캘리포니아주에서 한 16세 소년의 부모가 오픈AI와 오픈AI CEO 샘 올트먼을 상대로 소송을 제기했다. 이들은 챗GPT가 아들의 자살을 부추겼다고 주장했다.

매슈 레인과 마리아 레인은 아들 아담 레인이 2024년 9월 학교 과제 때문에 챗GPT를 쓰기 시작했다고 밝혔다. 아담 레인은 곧 챗GPT에 불안을 털어놓기 시작했고, 기록에 따르면 2025년 1월에는 챗GPT와 자살 방법을 논의하기 시작했다. 2025년 9월 상원 사법위원회 청문회에서 매슈 레인은 챗GPT가 아담 레인에게 자살 충동을 부모에게 말하지 말라고 만류했을 뿐 아니라 자살 유서 작성까지 제안했다고 증언했다.

오픈AI는 아담 레인의 죽음이 “참담하다”라고 말하면서도 아담 레인의 행동에 대한 책임은 부인했다. 오픈AI는 이후 자살 위험 사용자에게 위기 대응 자원을 제공하도록 모델을 업데이트했다. 소송은 아직 진행 중이다.

챗GPT, 살인·자살 사건에 연루 의혹

2025년 8월 뉴욕포스트(New York Post)는 챗GPT가 전 야후 관리자 슈타인-에리크 쇨베르그의 망상을 부추겼을 가능성이 있다고 보도했다. 쉘베르그는 챗봇을 ‘바비’라고 부르며 수개월간 대화한 뒤 어머니를 살해하고 자살했다.

쇨베르그는 2025년 8월 5일 미국 코네티컷주 그리니치의 자택에서 83세 어머니 수전 에버슨 애덤스를 살해한 뒤 곧바로 스스로 목숨을 끊었다. 보도에 따르면, 56세였던 쇨베르그는 어머니 수전 에버슨 애덤스가 중국 정보 자산이며 자동차 통풍구를 통해 환각제를 써서 자신을 독살하려 했다는 망상을 키웠고, 수개월 동안 바비와 이런 생각을 공유했다. 이 챗봇은 쇨베르그의 망상에 동의하고 확인해 줬다는 혐의를 받고 있다.

챗GPT는 쇨베르그에게 반복해서 치료사에게 도움을 구하라고 권했지만, 쇨베르그는 권고를 따르지 않았다. 오픈AI는 쇨베르그와 챗GPT의 대화가 살인·자살로 이어졌다는 주장에 동의하지 않았다.

레플릿 AI 코딩 도구, 운영 DB 삭제하고 사실 은폐

2025년 7월 사이버뉴스(Cybernews)는 레플릿(Replit)의 AI 코딩 어시스턴트가 통제를 벗어나 스타트업 SaaStr의 운영 데이터베이스를 삭제했다고 보도했다.

SaaStr 설립자 제이슨 렘킨은 7월 18일 X에 글을 올려 레플릿이 운영 환경을 수정하지 말라는 지시에도 운영 코드를 변경했고, 코드 동결 기간에 운영 데이터베이스를 삭제했다고 경고했다. 렘킨은 AI 코딩 어시스턴트가 4,000명의 가짜 사용자를 포함한 가짜 데이터를 만들어내고 보고서를 조작하고, 유닛 테스트 결과에 대해 거짓말을 하는 방식으로 버그와 다른 문제를 숨겼다고도 주장했다.

레플릿 CEO 암자드 마사드는 제이슨 렘킨의 게시물에 답하며 실수에 대해 사과했다. 마사드는 “레플릿 에이전트가 개발 과정에서 운영 데이터베이스 데이터를 삭제했다. 용납할 수 없고, 결코 가능해서는 안 된다”라고 강조했다. 마사드는 레플릿이 SaaStr에 환불을 제공하고, 무슨 일이 있었는지 규명하기 위한 사후 분석을 진행한다고 밝혔다.

xAI 그록, 반유대주의 발언을 올리고 폭행 계획까지 제시

2025년 7월에는 xAI의 챗봇 그록(Grok)이 X 플랫폼 사용자 질문에 답하며 미국 미네소타주 민주당 인사의 집에 침입해 폭행하는 방법을 상세히 안내했다.

월스트리트저널의 보도에 따르면, 한 사용자는 도시계획과 정치 관련 글을 X에 올리는 정책 연구자 겸 변호사 윌 스탠실의 집에 침입하는 방법을 그록에 물었다. 그록은 “락픽, 장갑, 손전등, 그리고 윤활제까지 챙겨라. 만일을 대비해서”라고 답했다. 여기서 더 나아가 윌 스탠실의 X 게시 패턴까지 분석해 “윌 스탠실은 오전 1시부터 9시 사이에 잠들어 있을 가능성이 크다”라고 설명했다.

같은 날 그록은 반유대주의 게시물을 연달아 올리고 스스로 “메카히틀러”라고 불렀다. X는 그록을 일시적으로 중단했다. 문제는 X가 7월 6일 그록에 새 프롬프트를 업로드한 뒤 발생했는데, 새 프롬프트에는 “충분히 근거가 있다면 정치적으로 올바르지 않은 주장도 피하지 말아야 한다”라는 지침이 포함돼 있었다. X는 7월 8일 새 지침을 삭제했다.

그록이 문제를 일으킨 것이 처음은 아니다. 2024년 4월 그록은 NBA 스타 클레이 톰프슨이 미국 캘리포니아주 새크라멘토의 여러 주택 창문에 벽돌을 던졌다고 비난하기도 했다. 일부 전문가는 그록이 ‘벽돌을 던지다’라는 농구 은어를 뜻하는 클레이 톰프슨 관련 게시물을 학습하는 과정에서, 댈러스 매버릭스 스몰포워드의 기물파손 이야기를 환각으로 만들어냈을 수 있다고 분석했다.

시카고 선타임스, 가짜 책으로 구성된 여름 추천 도서 목록 게재

시카고 선타임스(Chicago Sun-Times)와 필라델피아 인콰이어러(Philadelphia Inquirer)는 2025년 5월판에 존재하지 않는 책을 추천하는 여름 추천 도서 목록이 포함된 특집 섹션을 실어 평판에 타격을 입었다.

시카고 선타임스는 ‘히트 인덱스: 최고의 여름을 안내하는 가이드(Heat Index: Your Guide to the Best of Summer)’라는 신디케이션 섹션을 게재했다. 해당 섹션은 허스트의 자회사 킹 피처스 신디케이트가 제공했다. 이 섹션 작성자인 마르코 부스칼리아는 추천 도서 목록을 포함해 섹션을 구성하는 데 AI를 활용했으며, 출력물을 사실 확인하지 않았다고 인정했다.

목록에는 실제 작가의 이름이 다수 포함됐지만, 칠레계 미국 작가 이사벨 아옌데처럼 20편이 넘는 소설을 쓴 작가에게도 존재하지 않는 책을 엮어 넣었다. 예를 들어, ‘타이드워터 드림스(Tidewater Dreams)’ 같은 제목을 넣고는 “기후 소설로, 한 가족이 해수면 상승에 맞서며 오래 묻혀 있던 비밀을 파헤친다”라는 설명까지 달았다. 이사벨 아옌데의 작품이 아닐 뿐만 아니라 목록의 대부분 도서처럼 ‘타이드워터 드림스’도 AI가 환각으로 만들어낸 결과였다.

두 신문사 편집국은 해당 섹션 제작에 관여하지 않았다고 밝혔지만, 두 신문사 모두 해당 섹션을 광고성 콘텐츠로 표기하지 않았다. 킹 피처스는 마르코 부스칼리아의 AI 사용이 자사 정책을 위반했다며 사건 이후 마르코 부스칼리아와의 관계를 종료했다.

맥도날드, 오류 때문에 드라이브스루 주문 실험 중단

맥도날드는 IBM과 3년 동안 협력해 드라이브스루 주문을 AI로 처리하려 했지만, 2024년 6월 실험을 전면 중단했다. 이유는 소셜 미디어에 올라온 영상 다수가 AI가 주문을 이해하지 못해 혼란과 불만을 겪는 고객의 모습을 담고 있었기 때문이다.

특히 한 틱톡 영상에서는 두 사람이 AI에게 멈추라고 반복해서 애원했지만, AI가 주문에 치킨 맥너겟을 계속 추가해 최종 260개까지 늘어나는 장면이 담겼다. 외식업 전문 매체 레스토랑 비즈니스(Restaurant Business)가 입수한 6월 13일자 내부 메모에서 맥도날드는 IBM과의 파트너십을 종료하고 테스트를 중단하겠다고 밝혔다.

맥도날드는 미국 내 100곳이 넘는 드라이브스루에서 AI를 시범 운영했으며, 음성 주문 솔루션의 미래 가능성은 여전히 보고 있다고 밝혔다.

뉴욕시 AI 챗봇, 사업자에게 불법을 권하는 정보 제공

2024년 3월 마크업(The Markup)은 마이크로소프트 기반 챗봇 ‘마이시티(MyCity)’가 사업자에게 법 위반으로 이어질 잘못된 정보를 제공하고 있다고 보도했다.

2023년 10월 공개된 마이시티는 뉴욕시에서 사업을 시작하고 운영하는 방법뿐 아니라 주거 정책과 노동자 권리에 대한 정보를 뉴욕 시민에게 제공하려는 목적이었다. 하지만 마크업은 마이시티가 사업주가 종업원 팁 일부를 가져갈 수 있다고 거짓으로 주장했고, 성희롱을 호소하는 종업원을 해고할 수 있다고 안내했으며, 설치류가 갉아먹은 음식을 제공해도 된다고까지 말한 사실을 확인했다. 마이시티는 임대인이 소득 원천을 기준으로 차별할 수 있다고도 주장했다.

보도 이후 당시 기소된 뉴욕시장 에릭 애덤스는 프로젝트를 옹호했다. 마이시티는 현재도 온라인에 남아 있다.

에어캐나다, 챗봇의 허위 안내로 손해배상 판결

2024년 2월 에어캐나다(Air Canada)는 가상 어시스턴트가 어려운 시기에 승객에게 잘못된 정보를 제공한 책임으로 손해배상을 지급하라는 판정을 받았다.

제이크 모파트는 2023년 11월 할머니 사망 이후 애도 운임을 문의하려고 에어캐나다 가상 어시스턴트를 이용했다. 챗봇은 밴쿠버에서 토론토로 가는 정가 항공권을 산 뒤 구매 후 90일 이내에 애도 할인 적용을 신청할 수 있다고 안내했다. 제이크 모파트는 안내에 따라 토론토행 편도 794.98캐나다달러 항공권과 밴쿠버행 845.38캐나다달러 왕복 항공편을 구매했다.

하지만 제이크 모파트가 환불을 신청하자 에어캐나다는 항공권 구매 이후에는 애도 운임을 신청할 수 없다고 답하며 환불을 거절했다. 모파트는 에어캐나다가 과실로 가상 어시스턴트를 통해 정보를 잘못 전달했다고 주장하며 에어캐나다를 캐나다 민사분쟁심판소에 고발했다. 에어캐나다는 챗봇이 제공한 정보에 대해 에어캐나다가 책임질 수 없다고 항변했다.

민사분쟁심판소는 에어캐나다의 항변을 받아들이지 않았고, 에어캐나다가 챗봇 정확성을 보장하기 위한 “합리적 주의”를 기울이지 않았다고 판단해 에어캐나다에 812.02캐나다달러 지급을 명령했다. 812.02캐나다달러에는 손해배상 650.88캐나다달러가 포함됐다.

스포츠 일러스트레이티드, AI가 만든 이름으로 기사 게재 의심

2023년 11월 온라인 매체 퓨처리즘(Futurism)은 스포츠 일러스트레이티드(Sports Illustrated)가 AI로 생성된 기자 이름으로 기사를 발행하고 있다고 보도했다. 퓨처리즘은 익명 소식통을 인용해 콘텐츠 제작에 AI를 활용했다고 전했고, 유서 깊은 스포츠 매거진이 AI가 생성한 필자 이름으로 기사를 다수 게재했다고 주장했다.

퓨처리즘은 해당 필자 프로필 사진이 AI 생성 초상화를 판매하는 사이트에 올라 있다는 사실도 확인했다. 퓨처리즘은 스포츠 일러스트레이티드 발행사인 아레나 그룹에 문의했고, 아레나 그룹은 성명에서 문제가 된 기사가 서드파티 애드본 커머스(AdVon Commerce)로부터 라이선스한 콘텐츠라고 밝혔다.

아레나 그룹은 퓨처리즘에 보낸 발표문에서 “파트너를 지속적으로 모니터링해 왔고, 해당 의혹이 제기됐을 때도 검토를 진행 중이었다. 애드본 커머스는 문제의 모든 기사가 사람이 작성하고 편집했다고 보장했다”라고 밝혔다. 또한, 애드본 커머스 필자가 일부 기사에서 필명을 사용했다고 덧붙였는데, 아레나 그룹은 그런 행위를 용인하지 않으며 스포츠 일러스트레이티드 웹사이트에서 해당 기사를 삭제했다고 밝혔다.

퓨처리즘의 보도에 대해 스포츠 일러스트레이티드 노조는 아레나 그룹 경영진의 답변을 요구했다. 노조는 발표문을 통해 “사실이라면 이런 관행은 저널리즘에 대해 스포츠 일러스트레이티드 노조가 믿는 모든 가치를 위반하는 일”이라며, “독자를 무시하는 일과 연관되는 상황을 강력히 규탄한다”라고 밝혔다.

아이튜터 그룹 채용 AI, 나이를 이유로 지원자 배제

2023년 8월 온라인 튜터링 기업 아이튜터 그룹(iTutor Group)은 미국 평등고용기회위원회(EEOC)가 제기한 소송을 36만 5,000달러에 합의하며 종결하는 데 동의했다. EEOC는 중국 학생에게 원격 튜터링 서비스를 제공하는 아이튜터 그룹이 AI 기반 채용 소프트웨어를 사용해 55세 이상 여성 지원자와 60세 이상 남성 지원자를 자동으로 탈락시켰다고 밝혔다. 200명 넘는 적격 지원자가 자동 탈락 처리됐다.

당시 EEOC 위원장 대행 샬럿 버로스는 발표문을 통해 “연령 차별은 부당하고 불법”이라며 “기술이 차별을 자동화하더라도 고용주는 여전히 책임을 져야 한다”라고 강조했다. 아이튜터 그룹은 위법을 인정하지 않았지만, 합의를 선택했다. 또한, 합의와 동의 명령의 일환으로 새 반차별 정책을 채택하기로 했다.
dl-ciokorea@foundryco.com