칼럼 | AI 에이전트에 얼마나 준비되어 있는가?

사람은 하루 평균 약 3만 5,000번의 결정을 내리는 것으로 알려져 있다.

결정은 단순한 선택이 아니다. 끊임없이 여러 갈래로 나뉘는 일련의 과정이다. 상황이 계속 변하는 만큼 특정 분기점에서의 결정도 달라질 수 있다. 예를 들어 항상 걸어서 출근하더라도 아침에 폭우가 내리면 계획이 바뀔 수 있다.

AI 에이전트 개발자들은 이런 자율적 의사 결정 과정을 AI에 구현하기 위해 노력하고 있다.

에이전트 이전의 AI 작업은 대부분 대규모 언어 모델(LLM)에 초점을 맞췄다. 비정형 데이터에서 지식을 얻기 위한 프롬프트를 제공하는 것이 목표였기 때문이다. 즉, 질문과 답변이 중심이었다.

AI 에이전트는 그 이상을 가능하게 한다. 매번 변경될 가능성이 있는 복잡한 단계별 작업을 AI에 부여하는 기술이다. 예를 들어, 디지털 신원 확인 분야에서 과학자는 데이터 일괄 처리와 검증 결과를 표시하는 작업을 받아볼 수 있다. 간단해 보이지만, 사람의 나이, 위치 또는 기타 요소와 관련된 데이터 세트에 따라 항상 달라지는 복잡한 작업이다.

AI 에이전트가 이런 작업을 잘 수행할 수 있을까? 복잡하고 역동적인 분기점을 통과해 자율적으로 의사 결정을 내리고, 그에 따라 행동할 수 있을까? 이를 위해서는 수천 개의 의사 결정을 하나의 논리로 연결해야 한다. 25년 이상 머신러닝과 자동화 기술을 연구해 왔지만, AI 에이전트는 분명 해결하기 어려운 과제를 안고 있다.

사기 범죄의 판도를 바꿀 잠재력

시스템이 복잡할수록 공격에는 취약하다. AI 에이전트는 사기 범죄자가 보안 취약점을 악용하는 데 사용할 가능성이 있다는 점에서 충분히 우려스럽다.

예를 들어, 문서 검증은 간단해 보일 수 있지만 이면에서는 이미지 캡처와 데이터 수집 등 여러 단계를 거친다. 이는 사기 범죄자들이 AI 에이전트로 탐색할 수 있는 넓은 공격 표면을 만든다. 탐색 속도로 훨씬 빨라질 가능성이 높다. 꽤 두려운 일이다.

하지만 방어책도 있다. 효과적인 방법은 네트워크 접근 경로를 확인하는 침투 테스트다. 조직은 AI 에이전트를 사용한 레드팀 훈련 방식으로 스스로를 방어할 수 있다. 이 기술은 여러 매개변수에서 이상 징후를 감시하는 모니터링 도구로 사용될 수 있다. 또한 AI 에이전트가 스스로를 인식하고, 인증 과정에서의 응답이 컴퓨터에서 생성된 것인지 판단하도록 훈련시킬 수 있다.

사용 사례, 규정 준수, 미지에 대한 두려움

AI 에이전트에게 고객 또는 비즈니스를 온보딩하라고 지시하면 규정 준수 요구 사항을 충족하면서 이를 수행할 수 있을까?

비즈니스 검증은 AI 에이전트의 이상적인 사용 사례처럼 보일 수 있다. 비즈니스 규모는 다양하며, 이 스펙트럼을 일일이 확인하기는 어렵다. 게다가 검증 과정에서 해당 비즈니스의 최종 수익 소유자(UBO)에 대한 신원 확인도 필요하다. AI 에이전트는 이런 개별 단계와 논리 체인을 관리할 수 있으며, 비즈니스 규모에 따라 특정 조치를 취할 수 있다.

그러나 디지털 인증은 엄격한 규칙에 따라 작동한다. AI 에이전트가 비즈니스를 온보딩할 수는 있지만, 매번 동일하지 않기 때문에 규정을 준수하는 방식으로 수행하기는 쉽지 않다. 에이전트가 특정 상황에서 무엇을 했는지 또는 무엇을 할 것인지 설명하기도 어려울 수 있다.

이는 잘못된 사람 또는 비즈니스를 온보딩할 가능성을 넘어, 일부 사람들에게 두려움까지 줄 수 있다. 따라서 AI 에이전트가 특정 상황에서 무엇을 했는지 설명하고, 사람들이 이 기술에 익숙해지도록 해야 한다는 과제가 따른다. 여기에는 인간이 자신의 창조물에 대한 통제력을 잃게 되는 공상과학 이야기의 전조, 다시 말해 ‘미지에 대한 두려움’이 있다.

규제 당국은 디지털 인증에 AI 에이전트를 허용할지 여부를 결정해야 한다. 업계에서는 AI 에이전트의 허용 여부가 작업을 수행할 기술을 갖추는 일보다 더 큰 제약으로 작용할 수 있다.

새로운 기술에의 실용적 접근

AI 에이전트 도입 초기에는 안전 장치와 사람의 감독이 필요하다. 적어도 초기 단계에서는 프로그래밍된 시스템일 것이기에 동일 작업을 사람이 병행하도록 할 필요가 있다. 그래야 AI 에이전트가 다른 결정 과정을 거치더라도 사람과 동일한 결론에 도달하는지 확인할 수 있다.

감독과 테스트를 통해 우려를 줄일 수는 있지만, 새로운 기술이 등장할 때마다 미지에 대한 두려움이 생기는 것은 자연스러운 현상이다. AI 에이전트 이전에 인터넷도 있었다. 인터넷은 처음 등장했을 때 누구나 접근할 수 있는 분산된 지식 저장소라는 혁신적 개념을 도입했지만, 이커머스가 활성화되기 전까지는 사람들이 인터넷에서 물건을 구매하는 것을 신뢰하지 않았으며 신용카드 정보를 온라인에 입력하기를 꺼렸다. 시간이 흐르면서 이제는 상황이 완전히 달라졌다.

AI 에이전트는 스스로 ‘사고’할 수 있는 잠재력을 갖고 있기에 신중히 접근해야 한다. 하지만 그 과정에서 올바른 결정을 내린다면, 자율 기술은 혁신적인 도구가 될 수 있다.
[email protected]