에이전틱 AI 시대, 전통적인 IT 리스크 관리가 흔들리는 이유

튜링 테스트를 떠올려 보자. 튜링 테스트의 과제는 무엇인가? 평범한 사람이 기계와 대화하는지, 다른 사람과 대화하는지를 구분해 보라는 과제다.

사실, 생성형 AI는 몇 년 전에 이미 튜링 테스트를 통과했다.

필자는 AI를 잘 안다고 자부하는 동료들에게 이런 견해를 전했다. 대다수는 그저 눈을 굴리며 반응했다. 동정 섞인 말투로 필자가 생성형 AI가 튜링의 도전을 통과하지 못했다는 사실을 알 만큼 AI를 잘 알지 못한다고 알려줬다. 이유가 뭐냐고 묻자, 생성형 AI가 작동하는 방식은 인간 지능이 작동하는 방식과 같지 않다고 설명했다.

필자는 AI를 더 잘 안다는 동료와 논쟁할 수도 있지만, 큰 의미는 없다. 필자는 대신 ‘모방 게임’의 의미를 굳이 따지지 않기로 했다. 생성형 AI가 테스트를 통과하지 못한다면 필요한 것은 더 나은 AI가 아니다. 필요한 것은 더 나은 테스트다.

에이전틱 AI를 만드는 것

필자는 여기서 NIAIIC(New, Improved, AI Imitation Challenge, 개선된 AI 모방 과제)로 화제를 옮기고자 한다. NIAIIC는 사람 평가자가 상대가 기계인지 사람인지를 가려내도록 요구한다. 하지만 과제는 더 이상 대화가 아니다.

NIAIIC의 과제는 좀 더 유용한 것이다. 이름하여, ‘먼지 털기’다. 필자는 평균적인 시험자의 집에서 어떤 표면에 먼지가 쌓였는지를 판단하고, 그 과정에서 아무것도 깨뜨리거나 손상시키지 않으면서 모든 먼지를 제거하는 먼지 털이 로봇을 배치하는 데 성공한 팀에게 상금을 주겠다.

완수해야 할 과제는 인간이 상세한 지시(일명 ‘프로그래밍’) 없이도 처리할 수 있는 일이다. 인내심이 필요한가? 먼지 털기는 인내심이 꽤 많이 필요하다. 하지만 지시가 필요한가? 먼지 털기에는 지시가 필요하지 않다.

먼지 털기는 AI의 가장 열성적인 옹호자가 주장하는 이점과 같은 종류의 이점을 제공하는 과제다. 먼지 털기는 인간에게 짜증 나고 지루하며 반복적인 일을 대신 맡아 인간이 더 만족스러운 책임에 집중하도록 돕는다.

NIAIIC는 널리 쓰이는 AI 분류 프레임워크에서 어디에 속할까? ‘에이전틱 AI’로 불리는 기술 범주에 속한다. 누가 이런 이름을 짓는지 모르겠지만, 에이전틱 AI는 정의된 목표를 스스로 달성하는 방법을 찾아내는 AI다. 자율주행차가 의도한 대로 작동할 때 하는 일이 바로 그런 것이다.

에이전틱 AI는 또 다른 이유로 흥미롭다. 에이전틱 AI는 인간 전문가가 자신의 기술을 if/then 규칙 모음으로 인코딩해야만 작동하던 이전 형태의 AI와 대비되기 때문이다. 이전 형태의 AI는 ‘전문가 시스템’이라고도 불렸고 ‘신뢰할 수 있게 작동하는 AI’라고도 불렸다.

걱정스러운 점은 에이전틱 AI와 최악의 AI 아이디어인 이른바 ‘의지적 AI(Volitional AI)’ 사이의 거리가 매우 가깝다는 사실이다. 에이전틱 AI는 사람이 목표를 정의하고 AI가 목표를 달성하는 방법을 찾아낸다. 의지적 AI는 AI가 달성해야 할 목표를 스스로 결정한 다음, 그 목표를 달성하기 위해 에이전틱 AI처럼 움직인다.

한때 필자는 의지적 AI가 ‘스카이넷’으로 변하는 시나리오를 크게 걱정하지 않았다. 필자가 걱정하지 않은 근거는 “전기와 반도체를 제외하면 의지적 AI와 인간이 자원을 두고 치열하게 경쟁할 만큼 이해관계가 겹칠 가능성은 낮아 살인 로봇 시나리오가 인간에게 문제가 되지 않을 것”이라는 판단이었다.

이제 이런 결론을 다시 생각해야 할 시점이다. 구글에서 검색해 보면 전력이 부족해 일부 AI 칩이 아예 가동되지 못하는 사례도 확인할 수 있다. 의지적 AI가 가상 손을 뻗어 가능한 모든 발전량을 움켜쥐기 위해 인간과 경쟁하는 디스토피아 시나리오는 상상하기 어렵지 않다. 의지적 AI의 필요와 인간의 필요는 겹치게 되며, 위협을 정의하기도 전에, 대응책을 마련하기도 전에 이런 갈등이 더 빠르게 현실이 될 수 있다.

전환점

의지적 AI의 리스크에 대해 인간의 두뇌를 아주 조금이라도 쓰는 사람이라면, 결국 마이크로소프트 코파일럿과 같은 결론에 도달할 수밖에 없다. 필자는 마이크로소프트 코파일럿에 의지적 AI의 가장 큰 리스크가 무엇인지 물었다. 마이크로소프트 코파일럿은 다음과 같이 결론지었다.

“스스로 목표를 정하거나 자율성을 지닌 AI 시스템인 의지적 AI의 가장 큰 리스크에는 실존적 위협, 무기화로의 악용, 인간 통제의 약화, 편향과 허위정보의 증폭이 포함된다. 이들 위험은 AI 시스템에 좁은 작업 실행 이상의 에이전시를 부여하기 때문에 생기는데, 신중하게 통제하지 않으면 사회적 경제적 보안 구조를 불안정하게 만들 수 있다.”

그렇다면 에이전틱 AI와 의지적 AI를 가르는 경계선의 올바른 편에 머무는 한 괜찮은가. 한마디로 답하면 ‘아니다’.

에이전틱 AI가 목표를 달성하는 방법을 찾아내려면, 할당받은 목표를 더 작은 목표 덩어리로 분해해야 한다. 또 그 덩어리를 더 작은 덩어리로 계속 분해해야 한다. 에이전틱 AI는 계획을 세우는 과정에서 스스로 목표를 설정하게 된다. 에이전틱 AI가 스스로 목표를 설정하기 시작하면 정의상 의지적 AI가 된다.

이 지점에서 AI에 대한 IT 리스크 관리 난제가 등장한다. 전통적 리스크 관리는 발생할 수 있는 나쁜 일을 식별하고, 나쁜 일이 실제로 발생했을 때 조직이 무엇을 해야 하는지를 설명하는 비상계획을 만든다.

필자는 AI 구현에도 이 프레임워크가 충분하길 바랄 뿐이다. 하지만 에이전틱 AI, 그리고 더 나아가 의지적 AI는 이런 접근을 뒤집어 놓는다. 의지적 AI의 가장 큰 리스크는 계획되지 않은 나쁜 일이 일어나는 데 있지 않기 때문이다. 의지적 AI의 가장 큰 리스크는 의지적 AI가 해야 할 일을 제대로 해버리는 데 있다.

말하자면, 의지적 AI는 위험하다. 에이전틱 AI는 본질적으로 의지적 AI만큼 위험하지 않을 수 있지만, 에이전틱 AI도 충분히 위험하다. 슬프게도 인간은 너무 근시안적이라 에이전틱 AI와 의지적 AI의 명백하고 현재 진행형인 리스크를 완화하는 데까지는 나아가지 못할 가능성이 크다. 에이전틱 AI와 의지적 AI의 리스크에는 인간 중심 사회의 종말을 예고할 수 있는 리스크도 포함될 수 있다.

가장 가능성 높은 시나리오는 무엇일까? 모두가 집단적으로 리스크를 외면하는 시나리오다. 필자도 마찬가지다. 필자는 먼지 털이 로봇을 원하고, 인간 사회의 리스크는 상관하지 않는다.
dl-ciokorea@foundryco.com