AI 에이전트 잘 쓰는 비법 있다··· ‘로우코드 교훈의 접목’

생성형 AI가 챗봇 형태에서 특정 목표 달성을 위한 도구로 발전함에 따라(에이전틱 AI는 이 접근 방식에 대한 다른 표현이다), 생성형 AI의 개인화 필요성이 커지고 있다. 직원 개개인에 맞춰 개인화됐을 때 직원들은 생성형 AI를 유용하게 사용하고 그 결과에 만족한다. 그 결과 생성형 AI를 더 적극적으로 실험하고 더 정기적으로 사용하게 된다. 선순환 구조가 정착되는 것이다.

이는 각자의 워크플로우 내 활용성을 알려주는 교육의 필요성을 의미한다. 마이크로소프트와 링크드인이 실시한 연구에 따르면, AI 도구를 사용함으로써 하루에 30분 정도 절약할 수 있다고 응답한 AI 파워 유저들은 회사에서 맞춤형 AI 교육을 받았다고 응답한 비율이 37% 더 높았다.

AI 파워 유저들은 프롬프트 방법과 기타 팁을 동료들과 정기적으로 공유하고, 동료들에게 효과적인 활용 방안을 물어보려는 경향을 보인다. 애틀랜틱은 자사의 코파일럿 생성형 AI 확산 계획에 이를 감안했다. 회사의 기술 및 혁신 담당 부사장인 게리는 교육뿐만 아니라 “교육 세션에서 얻은 핵심적인 학습 내용을 지역별로 전파할 수 있는 챔피언을 찾는 것”을 포함시켰다고 전했다.

그에 따르면, 직원들이 실험할 수 있는 심리적 안전을 확보하고 동료들과 전문 지식을 공유하도록 하는것이 매우 중요하다. 그리고 이는 로우코드에서와 몹시 비슷한 측면을 가진다. 그는 “효과가 있는 것을 발견하면, 그것을 공유하는 문화가 마련되어야 한다. 내부 소셜 미디어를 통해 동료들과 공유하면, 방금 발견한 효율성을 극대화하는 데 도움이 된다”라고 말했다.

도미노 데이터 랩의 AI 전략 책임자인 옐 칼슨은 이러한 접근법에 효과가 있다고 전했다. 다른 출처보다 동료들로부터 배울 때 훨씬 더 빨리 배우는 경향이 있다는 설명이다. 이른바 ‘하향식 바이러스적 확산’이라는 현상으로, 직원들이 동료들과 노하우와 기술을 공유하는 데 열광하게 된다는 설명이다.

포레스터의 수석 애널리스트인 존 브라틴체비치도 AI 에이전트 활용 증대를 위한 플레이북으로 로우코드의 성공 사례를 활용할 수 있다고 말했다. 그는 “조직의 로우코드 성숙 수준과 생성형 AI 채택, 준비성, 성공 사이에는 실제로 상관관계가 있다. AI의 가치를 얻고 실험을 확장하고 싶다면, 이를 시민 개발 전략과 결합해야 한다”라고 말했다.

로우코드처럼 에이전트 관리하기

AI 에이전트의 양상은 매우 다양할 수 있다. ‘빈칸 채우기’ 프롬프트 기반의 일상적 작업을 자동화하는 것에서부터, 정보 검색 및 응답 발송, 심지어 회의 예약과 같은 자율적인 업무에 이르는 업무를 수행하는 것들까지 각양각색이다.

다른 한편으로는 로우코드의 진화와도 맞닿아 있다. 수년 동안 개발 작업을 단순화하기 위해 AI 기능을 적용해온 마이크로소프트의 파워 플랫폼, 멘딕스, 세일즈포스, 조호 같은 로우코드 플랫폼들이 이제 생성형 AI 도구를 추가하고 있다. 포레스터의 연구에 따르면, 로우코드 플랫폼의 최대 활용 사례가 AI와 접목된 애플리케이션이라고 브라틴체비치는 전했다.

이와 관련해 주목할 만한 현실이 또 있다. 로우코드 벤더들이 에이전트형 AI에도 유사한 규정 준수, 거버넌스, 정보 보안, 감사 도구를 적용한다는 것이다. 로우코드와 마찬가지로, 생성형 AI 에이전트도 데이터 소스에 대한 액세스와 비즈니스 애플리케이션에 대한 연결이 필요하다. 또한, 조직은 데이터 접근에 대한 통제 정책을 원하고 사용자가 앱과 워크플로우를 공유할 수 있는 범위에 대해서도 통제하고자 할 것이다. 소비 기반 가격 책정이 적용되는 다른 도구와 마찬가지로, IT 팀은 사용량과 채택율에 대해서도 알고 싶어 할 것이고, 관리자는 ROI를 이해하기 위해 그것이 비즈니스에 어떤 영향을 미치는지 살펴보고 싶어 할 것이다.

현실 세계에서 로우코드는 이미 그 가치를 입증했다. 대부분의 기업은 시민 개발 전략을 가지고 있으며, 브라틴체비치에 따르면, 이 전략으로 수억 달러의 이익을 얻은 조직들의 사례가 다수 등장했다.

마이크로소프트 파워 플랫폼 마케팅 담당 GM인 리처드 라일리는 “지난 5~6년 동안 IT 부서는 로우코드를 제대로 해낸다면 그 가능성이 엄청날 수 있음을 깨달았다. 하지만 막강한 힘에는 막강한 통제가 필요하다. 즉, 비즈니스 사용자를 위한 유연성이 필요한 만큼, IT 부문을 위한 통제가 요구된다”라고 말했다.

그는 “즉 두 가지로 나눠 생각해볼 수 있다. 먼저 비즈니스 사용자에게 어떻게 하면 권한을 부여할 수 있을까? 이 데이터와 프로세스를 고칠 수 있는지 아는 사람은 바로 비즈니스 사용자다. 문제가 해결될 수 있고 500만 달러를 절약할 수도 있다. 어떻게 하면 그렇게 할 수 있도록 권한을 부여할 수 있을지를 생각해야 한다. 그리고 나머지 하나는 어떻게 하면 IT 부서가 비즈니스 사용자에의 권한 부여를 편안하게 받아들일 수 있도록 할 수 있는가다”라고 말했다.

라일리는 이어 “이 모든 것은 데이터 정책과 관련이 있다. DLP, EAP(확장 가능한 인증 프로토콜), 그리고 각종 모든 위험 평가가 이에 해당한다”라고 말했다.

단 에이전트형 AI의 경우, 기존의 로우코드 앱보다 비용 문제가 더 복잡할 수는 있다. 그는 “동일한 에이전트를 한 번 실행하면 어딘가에 있는 데이터베이스에서 10개의 행이 필요하고 1만 개의 토큰을 사용한다. 다시 실행하면 입력되는 정보와 수행하는 작업 때문에 100만 개의 토큰을 사용할 수 있다. 보호할 수 있는 장치가 필요하다. 우리 또한 이미 이를 구축하고 있다”라고 말했다.

즉 조직은 에이전트의 활동을 추적하고, 원격 측정으로 에이전트를 특정 방식으로 작업하도록 조정하며, 명확한 비용으로 한도를 적용할 필요가 있다. IT 부서는 AI 에이전트가 얼마나 널리 사용되고 있는지, 그리고 AI의 비용이 얼마나 드는지 모니터링하여 비즈니스에 가치를 제공하고 비즈니스 사용자에게 편의를 제공하는지 확인해야 한다.

그에 따르면 향후 에이전트형 AI가 널리 보급될 때, 적절한 에이전트를 선택 및 유지하거나 더 많은 기능을 추가하는 데에도 같은 프로세스를 적용할 수 있다. 예를 들어, 파워 플랫폼 관리 센터는 코파일럿 스튜디오에서 인사이트를 얻고 있으며, 다른 플랫폼에서도 유사한 정보를 제공하고 있다.

라일리는 “누가 에이전트를 구축했는지, 무엇을 구축했는지, 사용량은 얼마인지, 누가 사용하고 있는지, 어떤 데이터가 흐르고 있는지 확인할 수 있을 것이다. 원한다면, 그것을 선택하여 훨씬 더 관리가 잘 되는 솔루션으로 바꿀 수 있고, IT 부서가 이를 제어할 수 있게 할 수 있다”라고 말했다.

한편 중복 작업을 피하고자 한다면 비용 관리를 다수의 에이전트가 아닌, 하나의 에이전트에 대한 집중하는 것이 적절할 수도 있다. 라일리는 “에이전트들이 동일한 일을 하고 있지 않은지 확인하기 위해 에이전트를 확인하는 에이전트를 쉽게 만드는 방안을 검토할 만하다. 도구를 사용하여 도구를 감시하는 것 말이다”라고 라일리는 덧붙였다.

포레스터의 브라틴체비치는 이와 관련해 오늘날의 조직들이 새로운 소유 구조에 적응해야 한다고 지적했다. “단순히 ‘내가 만들었으니 내가 소유한다’거나 ‘내가 인수한다’는 것 이상의 성숙도가 있다. 더 나은 프로세스가 있다. 예를 들어, 셸(Shell)에서는 모든 애플리케이션에 단 하나의 소유자가 아니라 백업 소유자가 있다. 분산된 소유권을 보장하기 위한 워크플로우가 있다”라고 말했다.

에이전틱 AI 개시하기

에이전트 AI로부터의 가치 창출은 리더와 사용자 모두 기술이 어디에 어떻게 적용될 수 있는지 파악하는 것에서 시작된다. 즉, 기술보다는 비즈니스 사례에서 시작해야 한다는 의미다. 이는 로우코드에서도 마찬가지였던 부분이다.

브라틴체비치는 “과거 파워 앱스(Power Apps)에서 나타났던 패턴을 떠올려볼 만하다. 최종 사용자가 잠재력을 이해하도록 하면 도움이 된다. 에이전트 영역에서도 이러한 신기술을 기존 비즈니스 프로세스와 비즈니스 문제에 적용하기 시작해 점점 더 나아지게 만들 필요가 있다. 물론 사람들은 AI에게 단계적 변화 이상을 기대할 것이다. 나는 그것이 좌우로 조금씩 움직일 때 온다고 생각한다. 오른쪽을 따라가면 자동화 영역으로 확장되고, 왼쪽으로 훨씬 더 내려가면 최종 사용자 영역이 커진다”라고 설명했다.

그에 따르면 조직은 일단 사용자가 수행하는 프로세스를 에이전트가 수행하고 이후 사람이 확인하는 프로세스를 마련할 가능성이 높다. 이후 사람의 확인 작업이 점차 줄어드는 가운데, 어떤 모델과 에이전트가 수행하는지에 따라 프로세스를 재설계하는 수순이 뒤따르게 된다. 그는 “한 단계로 끝낼 수 있는데 왜 세 단계에 세 사람이 필요하겠는가?”라고 그는 반문했다.

그는 또 작은 개선과 큰 변화를 모두 얻으려면 조직이 대규모로 실험을 해야 한다고 주장하며, 이를 위한 가장 좋은 방법은 로우코드를 사용하는 것이라고 강조했다.

브라틴체비치는 “무언가를 하는 소프트웨어를 만드는 것이 AI의 핵심 가치다. 단순한 소프트웨일지라도 상관없다. 그리고 이를 실제로 수행할 수 있는 유일한 방법은 로우코드 시민 개발이다. LLM에는 지식과 가치가 축적돼 있다. 그것을 얻는 방법을 알아내야 한다. 그리고 이를 위한 유일한 방법은 대규모 실험이다”라고 말했다.

로우코드와 마찬가지로 무엇이 바뀌어야 하는지 가장 잘 아는 이는 현업 사용자들이다. 라일리는 “그들이야말로 데이터와 비즈니스 프로세스에 가장 가깝고, 이게 작동하지 않아서 매일 분투하는 이들이다. 그리고 그들이 로우코드를 활용한다면 IT가 결코 성취하지 못했을 엄청난 비즈니스 무언가를 구축할 수 있다”라고 말했다.

브라틴체비치도 동의했다. AI 에이전트와 같은 진보된 기술을 통해 생성형 AI를 최대한 활용하려면 심층적인 현업 지식이 필요하다는 설명이다. “회계 담당자나 인사 담당자가 생성형 AI가 무엇을 할 수 있는지 상상할 수 있다면 어떨까? 이들이 프롬프트 엔지니어링과 기타 경량 RAG를 수행하여 생성형 AI를 작동시키고, 이를 구체화한다면 실제로 큰 가치를 창출할 수 있다”라고 그는 덧붙였다.

그는 이와 관련된 사례를 다수 목격했다고 전했다. 비즈니스 사용자가 ‘AI 기능성이 주입된’ 앱을 로우코드 접근 방식으로 구축한 사례다. 설명에 따르면 그 중 다수는 에이전트 접근 방식을 채택하고 있다. 한 건설 회사에서는 직원이 구축한 앱을 사용하여 상세한 기술적으로 복잡한 제안요청서에 더 빨리 응답함으로써 더 많은 사업을 수주하고 있다.

또 다른 대형 보험회사는 생성형 AI를 통해 들어오는 클레임을 분류함으로써 더 빨리 내부적으로 적절한 그룹에 배정한다. 종전에는 2시간이 걸렸던 작업이다. 생성형 AI로 구축된 SaaS 애플리케이션을 다른 로펌에 판매하는 법률 회사 사례도 있다. 이 애플리케이션은 특히 잘 알려지지 않은 범주의 법률을 다룬다.

또 다른 대형 보험 회사의 경우, DLAL 전체 앱의 3분의 1이 로우코드로 작성됐다. 브라틴체비치는 “이 보험 회사의 경우, 전체 엔터프라이즈 애플리케이션 포트폴리오의 3분의 1이 현업에 의해 로우코드 도구로 작성됐다. 그중 많은 부분이 AI 솔루션이다”라고 브라틴체비치는 말했다.

직원 모두가 AI 에이전트를 구축할 기반을 마련

에이전트 AI를 바라보는 시각의 변화가 중요하다. 기존 소프트웨어의 업데이트가 아니라, 직원들이 훈련되어야 십분 활용할 수 있는 기술적 변화로 간주되어야 한다. “에이전틱 AI는 생성형 AI와 마찬가지로 몇 분 동안 가지고 놀기에는 매우 직관적인 기술이다. 그러나 그것을 직원의 업무에 통합하기란 명확하거나 직관적이지 않다라고 도미노의 칼슨은 말했다.

직원들이 에이전틱 AI를 활용하기 위해서는 교육과 훈련이 필요하지만 다행히 그들은 욕구를 가지고 있다. 탤런트LMS(TalentLMS)의 최신 연례 L&D 벤치마크 보고서에 따르면, 직원의 64%가 새로운 AI 도구를 사용하는 방법에 대한 교육을 원하고, 49%는 AI가 회사 교육이 따라잡는 속도보다 더 빠르게 발전하고 있다고 불평한다.

다시 말하지만, 기업은 이를 위해 로우코드에서 사용했던 방식을 재활용할 수 있다. 그리고 이 접근법은 직원들의 AI에 대한 우려와 거부감을 해소하는 데 도움이 될 수도 있다. 책임감 있는 AI 도입에는 직원들이 이러한 도구를 경쟁 대상으로 취급하지 않고 그 혜택을 공유하도록 하는 것이 포함된다. 조직은 성공적인 실험을 공유하는 직원에게 보상과 지원을 제공하고, 어떤 영역이 그러한 실험에 적합한지, 어떤 영역이 너무 위험한지 명확하게 구분함으로써 이를 보여줄 수 있다. 거부감을 자아내는 정책 문서보다는 효과적이고 맞춤화된 교육 세션을 통해 이러한 지침을 전달해야 한다.

현업의 각 직원들이 자신의 워크플로우에서 얻은 생성형 AI의 이점을 공유하지 못한다면 분명한 이유가 있기 마련이다. 부적절한 생성형 AI 금지 정책이 그들을 겁먹게 할 수 있고, 그들은 생성형 AI 기술을 공유하는 것을 손해라고 느낄 수도 있다. 생성형 AI로 인한 생산성 향상이 인원 감소나 더 많은 업무 할당으로 이어진다고 생각할 수도 있다.

때로는 AI 파워 유저들에게 의지가 있을지라도 적절한 공유 방안을 찾지 못한 경우일 수도 있다. 다시 말하지만, 로우코드 채택을 지원했던 것과 동일한 프로그램들(챔피언을 찾고 지원하기, 해커톤과 공유 세션 운영하기, 직원들을 지원하기 위한 우수 사례 센터와 융합 팀 개발하기, 그리고 급여 인상이나 승진 또는 새로운 역할 개발로 직원들의 전문성을 인정하기)이 효과적일 가능성이 크다.

브라틴체비치는 “보안과 사용하는 모델에 대한 확인, 데이터 준비, 그리고 그 외의 기본적인 것들을 모두 마쳤다면, 그 다음에는 얼리어답터 찾기, 해커톤과 부트 캠프 운영, 그리고 다양한 분야의 참여자들을 통해 실험을 확장하도록 한다. 그것이 바로 가치를 정의하고 발견하며, 그로부터 수익이 창출된다”라고 말했다.

융합 팀은 이미 현실이다. 포레스터의 2023년 데이터에 따르면 개발자의 62%가 IT 외부에서 시민 개발자와 협력하여 대부분의 작업 또는 모든 작업을 수행하고 있다. “기술 인력이 현업의 기술 업무를 돕고 있다. 새로운 데이터 소스 또는 엔드포인트를 추가하거나, 새로운 지식을 배우도록 돕는다”라고 전했다.

칼슨은 이러한 사례를 AI 확산의 도우미로 삼으라고 조언했다. “AI만으로는 안 된다는 것이 AI의 법칙이어야 한다”라고 그는 말했다.

물론 일부 실험은 실패할 것이다. 브라틴체비치도 이에 동의했다. “혼란과 위험이 없을 수는 없다. 확산적 민주화에 따른 혼란과 위험은 분명 존재한다. 위험을 실용적으로 관리해야 할 뿐이다. 성공적인 조직은 다양한 종류의 위험을 분리하고, 위험을 완화할 수 있는 승인된 장소를 마련한다”라고 말했다.

다시 말하지만, 이것이 바로 로우코드에서 이미 검증됐던 장점이다. 비즈니스 문제를 해결하려는 동기를 가진 직원들의 창의력을 활용하는 방안으로 에이전트 AI를 추가해야 할 시점이다.
[email protected]