저명 인사 850여 명, 초지능 AI 개발금지 촉구···분석가 “미·중 기술 경쟁 구도 바꿀 가능성도”

850명 이상의 저명 인사가 초지능 AI 개발 금지를 촉구하고 나섰다. 일부 분석가는 이 서한 내용이 현실화될 경우, 기업의 AI 투자 전략뿐 아니라 미·중 간 기술 패권 경쟁의 흐름이 재편될 가능성이 있다고 분석했다.

퓨처오브라이프 인스티튜트(Future of Life Institute, FLI)가 지난 22일 공개 서한을 발표하며 초지능(superintelligence)을 “모든 인지 과제에서 인간을 현저히 능가하는 수준의 AI 시스템”으로 정의했다. 이는 현재의 챗봇이나 자동화 도구를 훨씬 뛰어넘어, 스스로 전략적 결정을 내리고 코드를 수정하며 인간의 감독을 벗어나 작동할 수 있는 시스템을 의미한다.

서한 서명자들은 AI 연구의 개척자인 제프리 힌턴과 요슈아 벤지오부터 노벨상 수상자, 애플 공동 설립자 스티브 워즈니악, 오바마 전 행정부 국가안보보좌관 수전 라이스에 이르기까지 정치적 스펙트럼이 매우 다양하다. 이는 AI 거버넌스 문제가 기존 정치적 경계를 넘어서는 새로운 의제로 부상하고 있음을 시사한다.

예루살렘 히브리대학교 교수이자 역사학자인 유발 하라리도 이번 서한에 서명하며 의견을 전했다. 그는 “초지능은 인류 문명의 운영 체계를 근본적으로 붕괴시킬 가능성이 높으며, 전혀 필요하지 않다”라고 지적했다. 이어 “지금은 통제 가능한 AI 도구를 개발해 실질적인 사람들의 문제를 해결하는 데 집중해야 한다. 그래야 AI의 놀라운 혜택을 훨씬 더 안전하고 신뢰할 수 있는 방식으로 얻을 수 있다”라고 말했다.

이번 서한의 서명자 명단에는 오픈AI(OpenAI), 앤트로픽(Anthropic), 구글, 메타, 마이크로소프트(MS) 등 주요 AI 기업의 현직 경영진이 포함되지 않았다. 이는 초고도 AI 시스템을 개발하는 기업과 이를 규제해야 한다고 주장하는 인사 간의 의견 격차가 점점 더 벌어지고 있음을 시사한다.

한편 기업은 AI 인프라 구축에 막대한 투자를 이어가고 있다. 메타 CEO 마크 저커버그는 지난 6월 ‘메타 슈퍼인텔리전스 랩스(Meta Superintelligence Labs)’를 설립하고 스케일 AI(Scale AI)에 143억 달러를 투자했다. 오픈AI의 샘 알트먼도 지난 1월 “오픈AI의 초점이 초지능 개발로 전환되고 있다”라고 밝혔다.

퓨처오브라이프 인스티튜트가 주도한 캠페인은 이번이 2번째다. 2023년 3월에도 GPT-4보다 강력한 AI 시스템의 훈련을 6개월간 중단해야 한다는 내용의 공개 서한을 발표한 바 있다. 당시 서명자는 3만 명이 넘었지만, 주요 AI 기업들은 별다른 대응을 하지 않았다.

“기업의 즉각적인 과제는 아니다”

일부 분석가는 초지능 AI가 아직 기업 IT 운영 전략에 있어 당면한 문제는 아니라고 분석했다. 현재로서는 실질적 위험이라기보다 장기적인 리스크에 가깝다는 평가다.

그레이하운드리서치(Greyhound Research)의 최고분석가이자 CEO인 산칫 비르 고기아는 “초지능은 2025년부터 2028년까지의 기업 계획 주기에서 실제 운영상의 우려가 아닌 이론적인 리스크에 불과하다. CIO는 벤더의 목표나 마케팅 전략을 기업의 실제 비즈니스 가치와 동일시해서는 안 된다”라고 지적했다.

고기아는 데이터 거버넌스 강화, 모델의 설명 가능성 확보, 검증 절차 확립 등을 통해 현세대 AI의 안정성과 확장성을 높이는 데 우선순위를 둬야 한다고 조언했다. 그는 “초지능의 근본적 위험성에 대한 논의는 규제 기관과 윤리학자의 영역이며, CIO는 현재 사용 가능한 기술과 데이터, 현실적인 도구를 기반으로 시스템을 구축해야 한다”라고 강조했다.

한편 공개 서한은 초지능 AI가 현재의 일자리 재편 수준을 넘어서는 훨씬 더 심각한 위험을 초래할 수 있다고 경고했다. 서한은 “과학 분야의 광범위한 합의와 사회적 동의가 있기 전까지 초지능 개발을 금지해야 한다. 안전하고 통제 가능한 방식으로 개발될 수 있다는 명확한 근거가 확보되기 전에는 금지를 해제해서는 안 된다”라고 밝혔다.

우려의 핵심은 AI 연구자들이 ‘정렬(Alignment) 문제’라고 부르는 기술적 과제에 있다. 이는 사람보다 똑똑한 시스템을 사람이 추구하는 가치와 일치하도록 보장하는 문제다. IBM의 ‘슈퍼얼라인먼트’ 연구에 따르면 현재의 정렬 기술은 오늘날 AI 시스템에는 효과적이지만, 사람의 지능을 초월하는 수준의 시스템에는 충분하지 않을 수 있다.

초지능이 가져올 이론적 위험과는 별개로, 현재 AI 시스템을 기반으로 기업 내 인력 구조는 빠르게 재편되고 있다. 구직 플랫폼 인디드(Indeed)가 9월 발표한 보고서에 따르면, 지난 1년간 등록된 일자리의 26%가 향후 생성형 AI의 영향으로 바뀔 가능성이 있는 것으로 나타났다. 특히 기술 및 금융 분야 직무가 심각한 영향을 받을 것으로 분석됐다.

골드만삭스리서치(Goldman Sachs Research)는 현재의 AI 사용례가 경제 전반으로 확대될 경우 미국 내 고용의 약 2.5%가 대체될 가능성이 있다고 전망했다. 세일즈포스(Salesforce)는 이미 지난 8월 AI 도입으로 고객 지원 인력을 9,000명에서 약 5,000명으로 줄였다고 밝힌 바 있다.

미·중 경쟁 구도와 기업 AI 거버넌스 전략에 미칠 영향

AI가 업계 전반의 인력 구조를 바꾸고 있지만, 초지능 개발이 금지될 경우 AI 벤더 간 경쟁 구도 역시 크게 달라질 것으로 전망된다. 고기아는 규제로 인해 초지능 개발 속도가 늦춰지게 된다면, 시장의 초점이 거대 모델을 개발하는 연구소보다 특정 산업에 특화되고 통제 가능한 AI를 만드는 기업에 집중될 것이라고 분석했다.

그는 “기업 구매자는 이미 불투명한 대규모 AI 모델보다 ‘충분히 성능이 좋으면서도 검증 가능한’ 모델을 선호하는 경향을 보이고 있다”라며 “특히 규제가 엄격하거나 안전이 중요한 산업에서 이런 흐름이 두드러진다”라고 설명했다. 이어 “초지능 개발이 규제로 지연될 경우, 소규모 언어모델(SLM), 자국 소버린 AI, 그리고 명확한 데이터 출처와 재현성, 정책 통제가 가능한 기업용 파인튜닝 모델에 대한 수요가 급격히 늘어날 것”이라고 전망했다.

초지능 개발 금지는 경제 전반에도 상당한 영향을 미칠 것으로 예상된다. 가트너(Gartner)는 글로벌 AI 지출 규모가 2025년 약 1조 5천억 달러에 달하고 2026년에는 2조 달러를 넘어설 것으로 전망했다. 국제통화기금(IMF) 역시 2025년부터 2030년까지 AI 기술이 전 세계 국내총생산(GDP)을 연평균 약 0.5% 끌어올릴 것으로 예측했다.

하지만 미국 기업 입장에서는 일방적인 초지능 개발 금지가 오히려 중국의 AI 발전 속도를 가속화할 수 있다는 우려를 제기할 수 있다. 중국은 미국의 반도체 수출 제한에도 불구하고 딥시크(DeepSeek), 알리바바(Alibaba) 등 기업을 중심으로 경쟁력 있는 오픈소스 모델을 잇따라 공개해 왔다. 현재 미국이 생성형 AI 분야에서 약 5년 앞서 있다는 평가가 있지만, 중국의 대규모 투자가 이 격차를 빠르게 좁힐 가능성이 있다.

고기아는 초지능 개발 금지를 촉구하는 움직임이 2023년의 전례처럼 실질적 동력을 얻지 못한다면, 기업 자체적으로 AI 거버넌스를 이사회 차원의 핵심 의무로 인식해야 한다고 말했다.

그는 “AI 개발과 활용에 대한 구속력 있는 국제 규제가 여전히 부재한 상황에서, 책임은 결국 기업 단위로 분산되고 있다. CIO는 운영 윤리, 법적 방어 가능성, 이해관계자 신뢰를 기반으로 내부 통제 장치를 설계해야 한다”라고 강조했다.

고기아는 이를 위해 기업 내 AI 위원회를 공식화하고, 사고 대응 프로토콜을 내재화하며, 데이터셋 투명성과 감사 권한을 포함한 AI 관련 계약 조항을 마련해야 한다고 덧붙였다.
dl-ciokorea@foundryco.com