성급한 AI 에이전트 배포, 왜 실패하고 어떻게 극복할까

최근 기술 임원을 대상으로 한 조사에서 92%가 향후 1년 내 AI 지출을 늘릴 것이라고 답했다. 절반은 24개월 안에 조직 내 AI 배포의 50% 이상이 자율적으로 운영될 것으로 예상했다.

이러한 AI 투자는 머신러닝, 기업 맞춤형 대규모언어모델(LLM), AI 에이전트, 그리고 더 발전된 자율형 에이전틱 AI(agentic AI) 역량을 포함한다.

EY 글로벌 성장·혁신 총괄 매니징 파트너 라지 샤르마는 “에이전틱 AI의 부상은 조직이 시스템을 ‘에이전트 친화적(agent-ready)’으로 만들어야 한다는 것을 의미한다”라며 “이를 통해 잠재적 위험을 관리하면서 기술을 성공적으로 활용할 수 있다”라고 설명했다.

AI 에이전트는 입력과 출력이 명확히 정의된 소프트웨어가 아니다. 이들은 언어모델을 기업 데이터 소스와 연결하고 워크플로우에 통합하는 역할을 수행한다. 현재 많은 기업이 CRM, ERP, 직원 워크플로우 시스템에 에이전트를 내장해 활용하고 있으며, 일부 기업은 AI 기반 고객 경험을 실험하고 있다.

그러나 배포 속도는 많은 전문가들에게 우려를 사고 있다. 성급한 도입은 보안 위험을 높이고, 기술 부채를 쌓으며, 결국 성과 없는 결과를 초래할 수 있기 때문이다. 또 다른 조사에서는 클라우드 전문가의 82%가 “AI가 클라우드 복잡성과 비용 증가를 초래한다”라고 답했으며, 45%는 “AI 관련 클라우드 사용을 충분히 최적화하지 못하고 있다”라고 밝혔다.

CX) 자동화 솔루션 업체 베린트(Verint) 글로벌 고객 AI 혁신 부문 부사장 라지 발라순다람은 “특히 공개 LLM을 활용한 무분별한 AI 에이전트 도입은 윤리적 오류, 편향된 결과, 데이터 노출, 규제 위반, 그리고 성과 없는 비용 지출 위험을 낳을 수 있다”라며 “검증되지 않은 모델을 운영 환경에 투입하거나, 민감 데이터를 제3자 플랫폼에 노출하거나, 성능·공정성·컴플라이언스 추적 능력을 갖추지 못하는 것이 흔한 실수”라고 지적했다.

새로운 기술이 초기 채택 단계에서 빠르게 대중화될 때마다, 시장 출시 속도와 안정성 간 균형은 늘 문제였다. 발라순다람은 “CIO는 AI를 엔터프라이즈급 역량으로 다뤄야 하며, 보안 아키텍처·윤리적 거버넌스·성과 기반 모니터링을 통해 책임 있는 배포와 측정 가능한 ROI를 보장해야 한다”라고 전했다.

기술·비즈니스 전문가들은 AI 에이전트를 빠르게 개발·테스트·배포하면서도 위험을 피하기 위한 네 가지 핵심 제언사항을 제시했다.

비즈니스 가치와 사용자 경험 중심의 우선순위 설정

매주 SaaS 플랫폼은 AI 에이전트 기능을 추가하고, 스타트업은 새로운 AI 도구를 출시하고 있다. 이는 초기 모바일 앱스토어 시절과 유사하다. 당시 직원들은 다양한 앱을 다운로드해 문제를 해결하려 했고, 규제 없는 접근은 섀도우 IT와 SaaS 과잉 도입을 초래했다.

IFS 최고AI책임자(CAIO) 밥 드 코스는 “기업은 특정하고 가치 있는 활용 사례를 해결할 수 있는 고임팩트 AI 에이전트부터 시작해야 한다”며 “이러한 초기 성과를 측정·개선·학습하면서 발전시켜야 한다”고 설명했다. 이어 그는 “AI 에이전트는 기업의 목표·시장·고객 요구 변화에 따라 진화해야 하며, 지속적인 반복 개선을 통해 장기적으로 정렬성과 효과성을 유지할 수 있다”고 강조했다.

에이전트 배포 우선순위를 정하면 리더가 효과를 평가하고 데이터·사용자 경험·리스크 관리 전략을 수립하는 데 도움이 된다.

기업용 ERP 소프트웨어 업체 유닛포(Unit4) CTO 클라우스 젭슨은 “송장 처리, 프로젝트 관리, 인재 관리 등 각 기능별로 개별 AI 에이전트를 성급히 도입하면 사용자 경험이 희생된다”라며 “대신 단일·통합형 AI 에이전트를 통해 직관적이고 일관된 사용자 경험을 제공해야 한다”라고 설명했다.

제언: 비즈니스 초점을 전략적으로 설정하고, 개별 솔루션보다 통합된 경험이 더 큰 가치를 제공하는 영역을 우선 고려해야 한다.

접근 제어와 데이터 보안 강화

전문가들은 역할 정의, 접근 권한 검토, 데이터 기밀성 요구 충족, 보안 대책 마련 없이 AI를 도입하는 위험을 경고한다.

통합 아이덴티티 보안 업체 실버포트(Silverfort) CISO 존 폴 커닝햄은 “많은 조직이 AI 에이전트에 이메일 열람, 화상회의 녹취·전사, 민감 통신 검색 권한을 과도하게 부여하면서도 감독이나 기록은 거의 하지 않는다”며 “AI 에이전트는 CTO나 CFO처럼 명확한 역할과 책임, 최소 권한 원칙이 필요하다. 그렇지 않으면 치명적인 보안 사고로 이어질 수 있다”고 말했다.

데이터베이스 데브옵스 솔루션 업체 레드게이트(Red Gate)의 기술·혁신 디렉터 제프 포스터는 “제너레이티브 AI 에이전트에 생산 데이터를 거버넌스 없이 투입하는 것이 가장 큰 위험”이라며 “프로토타입을 빠르게 만들려는 과정에서 데이터 마스킹과 접근 제어를 무시하면 민감 정보가 노출될 수 있다”고 지적했다. 이어 “데이터 분류, 계보 추적, 마스킹 기능을 소프트웨어 개발 생명주기(SDLC)에 내재화하는 ‘보안 설계 접근법’이 필요하다”라고 덧붙였다.

보안 및 컨플라이언스 업체 시큐리티(Securiti) 데이터 보안 총괄 니킬 기르다르는 “다양한 시스템에서 데이터를 가져오면서 민감 정보가 AI 에이전트에 노출되는 문제가 많다”며 “SaaS 기반 AI 어시스턴트 파일럿 프로젝트는 의도치 않은 접근과 데이터 유출을 일으킬 수 있다. 또한 오래되거나 품질이 낮은 데이터가 응답 정확도를 크게 떨어뜨린다는 점을 많은 조직이 간과한다”고 말했다.

LLM 특화 보안 플랫폼 업체 라소 시큐리티(Lasso Security) CEO 엘라드 슐만은 “조직은 민감 문서와 고객 정보에 대한 적절한 보호 장치를 마련하지 않아 유출 위험에 노출되고 있다”며 “배포 전 일관된 감독과 대응 체계를 구축하지 못하면 프롬프트 인젝션 같은 공격에 쉽게 조작당하거나 데이터 탈취에 악용될 수 있다”고 경고했다. 이어 “보안팀은 AI 에이전트를 정적인 소프트웨어가 아닌 동적·자율적 엔터티로 보고, 배포 이후에도 지속적으로 거버넌스를 적용해야 한다”고 강조했다.

제언: 많은 조직이 AI 거버넌스 정책을 수립·공유하고 있으며, 데이터 거버넌스와 보안 프로그램의 성과를 측정해 AI 에이전트 테스트 전에 기본 원칙이 반영되도록 하고 있다.

데이터 소스 확장은 점진적으로

AI 에이전트를 개발·통합하라는 ‘승인’은 곧 ‘주의하며 진행하라’는 의미로 받아들여야 한다. AI 모델은 비결정론적 특성을 지니므로, 체계 없이 데이터 소스를 끼워 넣을수록 모델 테스트와 에이전트 결과 검증은 더욱 복잡해진다.

데이터 분석 플랫폼 기업 나임(KNIME)의 CEO 미하엘 베르톨트는 “너무 빠르게 배포하면 도구와 정보 사용을 통제하지 못해 에이전트의 출력 신뢰도가 떨어지고, 더 나아가 에이전트가 내리는 중간 의사결정에도 악영향을 준다”고 설명했다. 이어 “이 함정을 피하려면 에이전틱 시스템이 접근하는 환경을 신중히 확대하고, 도구나 새로운 데이터 소스를 통해 역량을 점진적으로 추가하면서 에이전트의 출력과 의사결정 품질을 지속적으로 모니터링해야 한다”고 전했다.

MCP, ACP, Agent2Agent 같은 프로토콜로 에이전트 통합을 실험하는 조직은 보안과 데이터 품질 이슈까지 함께 고려해야 한다. 런타임 보안 플랫폼 업체 오퍼런트 AI(Operant AI) 공동설립자 겸 CTO 프리얀카 템베이는 “오픈소스 MCP 서버가 폭증해 팀이 빠르게 채택할 수 있지만 보안 점검을 통과하지 못한 경우가 많다”며 “과도한 권한 부여와 조직 데이터 자산의 수평 이동 같은 AI 에이전트 관련 위험은 기존 비(非)AI 시스템에서도 보던 이슈지만, 예측 불가능성과 동적 특성, 블랙박스에 가까운 에이전트와 MCP 도구의 특성이 이를 증폭시켜 전통적 보안 통제가 무력화되는 경우가 있다”고 지적했다. 템베이는 “툴 포이즈닝(tool poisoning), 툴 스푸핑(tool spoofing), 프롬프트 탈옥(prompt jailbreak) 같은 새로운 위협 벡터가 나타난다”며, 기본 탑재된 런타임 보호(runtime protection)와 최소 권한 원칙(least-privilege access) 등 ‘바로 적용 가능한’ 보안 관행을 채택할 것을 권했다.

AI 보안·최적화 전문 기업 트러스트와이즈(Trustwise) 전략 파트너십·마켓 개발 총괄 샘 도버(Sam Dover)는 “잘못 구성된 MCP는 에이전트가 틀린 소스를 호출할 때 블라인드 스폿을 만든다”며 “도구 세트를 최소 범위로 한정하고, 데이터 조회를 추적할 수 있도록 감사 훅(audit hooks)을 내장하라. 중앙 집중식 엔터프라이즈 MCP 레지스트리와 카탈로그를 구축해 보안 표준을 일관되게 강제하라”고 조언했다.

제언: AI 에이전트 개발·배포는 반복적이고 점진적인 접근이 장기적 성공을 뒷받침한다. 데이터와 모델, 비즈니스 목표는 계속 진화하며, 선도 조직은 AI 에이전트 수명주기 관리 역량을 내재화한다.

QA와 운영 계획을 갖춘 에이전트 구축

수명주기 관리를 정립하려면, 유효하고 정확한 AI 에이전트를 보장하는 강건한 테스트와 모니터링 전략의 중요성을 곧 깨닫게 된다.

AI 기반 신뢰 자동화 플랫폼 컨베이어(Conveyor) CEO 차스 발류는 “서둘러 AI 에이전트를 출시한 기업이 정작 쓰레기 데이터가 증폭되고, 데이터 사일로로 인해 미묘한 맥락을 놓치며, 환각성 의사결정으로 사용자 신뢰를 갉아먹는 경우를 봐왔다”고 말했다. 발류는 “해결하는 기업은 평가 기준선(baseline)을 세운다. 특정 도메인의 엔드투엔드 프로세스를 정의하고, 인간 검토로 AI 출력을 분석하며, 에이전트의 모든 에스컬레이션을 QA하고, 영향이 발생하는지와 그 정도를 확인할 ‘노스스타 KPI(north star KPI)’로 비즈니스 케이스를 설계한다”고 설명했다.

데이터 분석 및 자동화 소프트웨어 업체 알터릭스(Alteryx) 최고데이터·애널리틱스책임자(CDAO) 앨런 제이콥슨은 “초기에는 양질의 입력 데이터 확보와 민감 데이터 보호 같은 기본 과오가 많았지만, 많은 조직이 그 단계를 넘어서 지금은 모델이 시간에 따라 어떻게 드리프트(성능 변이)하는지에 직면하고 있다”고 전했다. 제이콥슨은 다음과 같은 질문을 던질 것을 권한다.
• 시간이 지나면서 모델은 어떻게 변화하는가?
• 초기 성과에서 모델이 ‘드리프트’하는지 어떻게 테스트할 것인가?
• LLM을 운영에 투입해 지속 활용할 때, 어떻게 계속 검증할 것인가?

제언: 선도 조직은 LLM 테스트 프로토콜을 마련하고, 현업 사용자가 에이전트 이슈를 에스컬레이션할 수 있는 도구를 제공하며, 정확도와 성능 드리프트를 탐지하는 모델옵스(ModelOps) 역량을 갖춘다. AI 에이전트와 자율형 에이전틱 AI는 비즈니스 역량을 확장하는 흥미로운 영역이다. 다만 스마트한 조직은 비즈니스 초점을 신중히 고르고, 보안·데이터 거버넌스·통합·품질 보증·운영 등 모범 사례를 적용하는 체계적 접근으로 위험을 관리하고 가치를 실현한다.
dl-ciokorea@foundryco.com