배보다 배꼽··· 생성형 AI ‘이자’가 더 큰 7가지 경우

JP 모건 체이스의 다니엘 핀토 사장에 따르면 이 금융 기업은 AI 사용에서 최대 20억 달러에 이르는 가치를 거뒀다. 지난 5월에는 15억 달러로 예상됐던 수치다. 9월에 열린 바클레이즈 글로벌 금융 서비스 컨퍼런스에서 그는 생성형 AI가 프로세스와 효율성을 개선하는 데 주효하다고 밝힌 바 있다. 이 회사는 이미 직원용 생성형 AI 어시스턴트를 출시했으며, 다양한 프로세스를 최적화하기 위해 AI와 LLM을 사용할 계획이다.

핀토는 “두 가지를 진행하고 있다. 하나는 운영 서비스가 있는 주요 영역을 살펴보고 인공지능과 대규모 언어 모델을 사용하여 최적화할 각종 프로세스를 검토하는 것이다. 두 번째는 이른바 ‘LLM 스위트’를 거의 모든 직원에게 배포하는 것이다. 이 도구는 현재 14만 명의 직원에게 배포되어 업무 수행을 돕고 있다”라고 말했다.

그는 단기 및 중기적으로 생성형 AI로 인해 특히 운영 효율성이 개선될 것으로 기대한다고 밝혔다.

생성형 AI에 대해 낙관적인 시각을 가진 사람은 그 외에도 많다. IDC의 새로운 보고서에 따르면 비즈니스 리더의 98%가 AI를 조직의 우선 순위로 보고 있다. 이 리서치 회사는 2030년까지 AI가 세계 경제에 20조 달러 상당의 가치를 더할 것으로 예상했다.

실제로 지난 8월, 오픈AI는 챗GPT 주간 사용자가 작년 11월의 두 배인 2억 명을 넘어섰으며, 포춘 500대 기업의 92%가 자사 제품을 사용하고 있다고 밝혔다. 또한 7월에 쳇GPT-4o 미니가 출시된 이후 API 사용량도 두 배로 증가했다고 전했다.

리버베드의 의뢰로 콜맨 파크스 리서치가 실시해 이번 달에 발표한 조사에 따르면, 대기업 의사결정권자의 59%가 AI 프로젝트가 기대치를 충족했으며 18%는 기대치를 초과했다고 답했다. 콜맨 파크스 리서치의 이사인 이안 베스턴은 “AI가 IT 부서에서 벗어나 조직 내 더 광범위하게 활용되고 있다”라고 말했다.

그러나 AI가 기대에 미치지 못했다는 응답도 만만치 않다. 응답자의 상당수인 23%는 모델이 신뢰할 수 없는 것으로 판명되고 프로젝트가 확장에 실패했다고 답했다. 즉 생성형 AI가 항상 업무량을 줄여주는 것은 아니다. 때로는 법률 및 규정 준수 문제, 환각 및 기타 문제로 인해 절감되는 업무보다 더 많은 업무가 발생하기도 한다.

시간 절약? 시간 낭비!

AI가 직원의 업무 속도를 개선한다고 해서 절감된 시간이 반드시 더 가치 있는 활동에 사용되지는 않는다.

슬랙의 연구 및 분석 담당 수석 부사장인 크리스티나 잰저에 따르며, 사무직 작업자를 대상으로 실시한 글로벌 설문조사를 실시한 결과 직원들은 일상적인 관리 업무에 37% 이상의 시간을 소비하고 있다. 잰저는 “잠재력이 크다. 아직 초기 단계이고 계속 알아가는 중이지만 생산성과 일과 삶의 균형, 업무에 대한 열정을 개선하는 방식에서 놀라운 결과를 보고 있다”라고 전했다.

문제는 사람들이 특정 업무로 시간을 채우도록 ‘프로그램되어’ 있기에 AI가 시간을 확보하면 사람들은 더 많은 관리 업무로 그 시간을 채우곤 한다는 점이다. 직원 각각에게는 처리해야 할 수많은 업무 목록이 있기 마련이다.

해결책은 성과 측정 및 인센티브 방식의 변화다. 잰저는 “많은 관리자들이 업무 활동 지표를 살펴보고 투입과 산출을 측정하는 경향을 가진다”라며, 이메일 발송 건수나 사무실에서 보내는 시간을 중시하는 대신 직원이 비즈니스에 창출하는 가치에 주목할 만하다고 설명했다.

통제불능의 받은 편지함

경우에 따라서는 각종 업무를 더 빠르게 처리함에 따라 다른 직원들에게도 더 많은 업무가 발생하는 연쇄 작용이 발생한다. 생성형 AI의 도움으로 직원이 이메일을 10배 더 빨리 작성할 수 있다면, 이전보다 10배 더 많은 이메일에 응답할 수 있게 되는데, 이로 인해 이제 다른 사람도 이메일을 읽고 응답해야 할 수도 있다고 잰저는 설명했다.

또는 회사 지식기반에 하나의 중요한 글을 작성하는 대신 덜 중요한 주제에 대해 수십 개의 글을 제출할 수도 있다. 직원이 보고서를 더 빨리 작성할 수 있게 됨에 따라 보고서의 수와 길이를 늘림으로써 관리자의 부하를 높이기도 한다.

카네기멜론 대학교(CMU)의 아니타 울리 교수는 “즉 소비하고 알아야 할 더 많은 콘텐츠가 등장할 수 있다”라고 말했다. 이미 검색 결과에 저품질의 AI 콘텐츠가 넘쳐나고 있는 상황이다. 공개 웹과 기업 지식기반 모두에서 정보를 찾ㅇ들 때 건초 더미에서 바늘을 찾는 것과 같는 형국이 펼쳐지는 셈이다. 울리는 “지나치게 많은 정보는 생산성을 저해하는 한 요소다”라고 말했다.

주의 산만

CMU의 울리는 생성형 AI가 직원 생산성에 미칠 수 있는 또 다른 잠재적인 부정적인 요소가 있다며, 바로 주의 파편화(attention fragmentation)라고 언급했다. 그녀는 “AI가 대신 회의에 참석하고 메모를 할 수 있다. 한 번에 4곳의 공간에 존재할 수 있게 되는 것이다. 이미 일부 사람들은 그렇게 하려고 한다. 하지만 우리가 의미 있게 기여하거나 참여할 수 있는 프로젝트는 한정되어 있다”라고 말했다.

즉 더 많은 작업을 처리하기 위해 AI를 사용하면 할 일이 더 많아진다는 느낌만 들게 된다 “그리고 우리는 번아웃될 위험에 처하게 된다”라고 울리는 말했다.

또한 생성형 AI는 시간과 워크플로우 관리에 도움을 주지만, 긴급한 관심을 요구하는 경우가 더 빈번해지는 상황을 초래할 수 있다. 그녀는 “알림을 자주 촉발해 집중하던 일에서 멀어질 수 있다”라며, 이렇듯 주의가 너무 많이 분산되면 사람들이 잘못된 결정을 내리기 시작할 수 있다고 강조했다. 관리할 수 있는 범위를 넘어서는 것이다.

이로 인해 일부 회사에서는 직원이 한 번에 참여할 수 있는 프로젝트 수를 제한하기도 한다. 커리어를 관리하고 스스로에 대한 평가를 높이기 위해 가급적 더 많은 프로젝트에 참여하는 이들이 많기 때문이다.

울리는 기업이 명확한 목표와 성과 기준을 설정하고, 가치 창출 없이 업무만 창출하는 프로젝트, 이니셔티브, 팀의 폭발적인 증가를 막는 것이 해법이라고 말했다. “특히 분산된 환경에서는 단순히 일하고 있다는 것을 확인하기 위한 회의에서 벗어나는 것이 중요하다”라고 울리는 말했다.

FOMO의 비싼 대가

매주 새로운 AI 도구가 출시되고 있으며, 각 도구는 업무의 일부 영역을 혁신할 것이라고 약속한다. 예를 들어 오픈AI는 최근 수학과 과학 분야를 겨냥해 “전례 없는 추론 능력을 갖춘” 새로운 모델을 출시했다. AI 비디오 및 이미지 생성을 위한 새로운 릴리스도 있었다. 워크데이는 “HR 및 재무 프로세스를 혁신하는” 새로운 AI 에이전트를 발표했다. 구글 또한 더 많은 AI 기반 광고 및 마케팅 도구를 발표했다.

도구가 너무 많지만 각 도구마다 학습 곡선이 있다. 실제로 가치를 창출하기까지 일정 기간이 걸린다. 도구가 너무 많으면 항상 따라잡기만 해야 한다.

울리는 기업이 업무 수행에 필요한 최소한의 도구로 통합하고, 실제 업무 수행에 방해가 되지 않는 수준에서 새로운 도구를 테스트하고 평가할 수 있는 샌드박스 프로세스를 갖출 것을 권장했다. 하지만 직원들이 어느 정도 자율성을 갖는 것도 좋다.

울리는 “검증되고 안전하며 보안 위험을 초래하지 않는 도구가 있는 가운데, 직원 각각이 자신의 재량에 따라 사용해 볼 수 있고, 그 도구가 업무를 더 잘 수행하는 데 도움이 된다면 더할 나위 없이 좋을 것이다. 하지만 어떤 결과가 초래될지 미리 생각해야 한다”라고 말했다.

환각과 부정확성

슬랙 설문조사에 따르면 업무 관련 작업에서 AI 결과를 전적으로 신뢰할 수 있다고 답한 직장인은 7%에 불과했으며, 35%는 AI 결과를 약간만 신뢰하거나 전혀 신뢰하지 않는다고 답했다. 다른 연구 결과도 이를 뒷받침한다. 예를 들어, 코넬대학교, 워싱턴대학교, 워털루대학교, 비영리 연구기관 AI2의 연구진이 최근 발표한 논문에서는 최상급 성능을 갖춘 모델조차도 완전히 정확한 응답을 제공하는 경우가 1/3에 불과했다.

즉, AI 결과물에는 추가적인 감독, 검토, 편집, 수정 또는 재작업이 필요하다. 첫 번째 직원이 문제를 알아차리지 못하면 다른 직원이 문제를 해결해야 한다. 만약 고객 서비스 챗봇이 회사 웹사이트에서 자율적으로 작동해 답답변한다면, 잘못된 응답으로 인해 심각한 문제가 발생할 수 있다.

S-RM 인텔리전스 및 리스크 컨설팅의 미주 지역 사이버 보안 책임자인 스티브 로스는 생성형 AI가 하루 분량의 조사를 한 시간으로 단축할 수 있지만 그에 따른 부작용이 있다며 다음과 같이 말했다.

“AI를 이용해 특정 대도시 지역의 상위 6개 석유 및 가스 회사 목록을 쉽게 조사한 적이 있다. AI는 심지어 각 조직의 CEO, CFO, CTO, 그리고 그들의 배경을 알려주기도 했다. 구글 검색보다 더 깊이 있는 정보였다. 하지만 이 정보를 세일즈포스에 입력해본 결과, 결과물 중 하나는 이름과 증명이 완전히 조작된 것이었다. 결국 돌아가서 모든 것을 감사해야 했다.”

그나마 이 문제는 제때 발견됐기에 그 정도로 그쳤다. 그는 “즉 이러한 것들을 배포할 때 신중하고 전략적인 접근 방식을 취해야 한다는 의미다”라고 말했다.

방대한 데이터 과학 작업과 미미한 성과

AI를 도입하고 싶다는 생각만 하고 사용 사례를 면밀히 검토하지 않는 기업이 지나치게 많다. 경우에 따라서는 몇 명의 직원은 몇 시간을 절약할 수 있는 AI를 도입하기 위해 데이터 과학 팀에게 엄청난 부하가 발생하기 도 한다. 학습 데이터를 수집하고 준비하고, 모델을 만들고 테스트하고, 기업 워크플로에 통합한 다음 AI가 계속 잘 작동하는지 확인하는 업무가 발생하는 것이다.

집리크루터(ZipRecruiter)에 따르면, 10월 미국 신입 데이터 과학자의 평균 초봉은 연 16만 5,000달러였다. 로스는 “이메일 몇 개 작성하려고 데이터 과학자를 고용해서는 안 된다. 먼저 사용 사례를 파악해야 한다”라고 말했다.

가트너에 따르면 명확한 사용 사례가 없으면 AI 프로젝트가 개념 증명 단계에서 벗어나지 못할 가능성이 높다. 이 리서치 기관은 2025년 말까지 불분명한 비즈니스 가치, 데이터 품질 저하, 부적절한 리스크 관리, 비용 증가 등의 이유로 생성형 AI 프로젝트의 최소 30%가 포기될 것으로 예측했다. AI 모델을 커스터마이징하는 데는 500만 달러 이상의 비용이 들 수 있으며, 처음부터 맞춤형 모델을 구축하는 데는 2,000만 달러의 비용이 들 수 있다.

즉각적 기대 이후 실망, 그러나…

단 생성형 AI가 더 많은 업무를 창출하더라도 그만한 가치가 있을 수 있다. 학습 과정의 일부이기 때문이다. 참플레인 대학은 온라인 강좌를 만드는 데 생성형 AI를 사용하고 있다. AI 덕분에 강좌를 만드는 데 걸리는 시간이 전반적으로 절반으로 줄었다. 그러나 우여곡절이 있었다.

처음에는 AI가 시간을 절약해 주지 못했다. 이 대학의 온라인 운영 담당 부사장인 크리스타 몬타그니노는 “처음부터 수준 높은 콘텐츠를 기대할 수 없다. 콘텐츠 이면을 볼 수 있도록 훈련된 사람들이 필요하다. 콘텐츠를 가져와서 읽고 이해한 다음 인간적인 요소를 추가할 수 있어야 한다”라고 말했다. 사람들은 AI 산출물을 수정하는 방법뿐만 아니라 애초에 이러한 출력을 더 좋게 만들기 위해 프롬프트를 설계하는 방법도 배워야 했다고 그녀는 덧붙였다.

몬타그니노는 “훈련 이후 팀원들이 자연스럽게 익숙해지기 시작했다. 하지만 이 기술을 잘 사용하는 방법을 배우는 데는 몇 달 또는 몇 년이 걸리기도 한다”라고 전했다.

참플레인 대학은 2023년 중반에 생성형 AI를 검토하기 시작했다. AI를 도입하기 전에는 강의를 만드는 데 15주가 걸렸고, AI가 도입된 후에도 초기에는 강의를 만드는 데 15주가 걸렸다. 1년이 지난 현재 그 시간이 7주로 줄어든 상태이며, 점점 더 빨라지고 있다. 그녀는 “개인차도 있다. 어떤 사람들은 다른 사람들보다 더 빨리 도달했다”라고 덧붙였다.

고등 교육 마케팅 회사인 에듀케이션 다이나믹스는 마케팅 캠페인을 지원하기 위해 생성형 AI를 사용하고 있다. 이 회사의 마케팅 부사장인 사라 러셀은 일부 작업의 경우 생산성이 크게 향상되지 않는다고 전했다.

그녀는 “초기 제작에서 일부 시간이 절약되기는 했지만, 편집 및 수정 작업이 더 걸렸다. AI가 만들어낸 것처럼 보이거나, 개성이 없거나, 지나치게 가공된 것처럼 들리는 결과물을 피해야 했기 때문이다. 그러나 의미가 없는 것은 아니다. 시간 절약보다는 우리에게는 전환이 의미를 가진다”라고 말했다.

즉 이 기술을 도입함으로써 회사가 앞으로 나아가는 데 도움이 되고 있다. 그녀는 “마케팅이라는 역동적인 업계에서 업계 리더가 되고자 한다. 지금 당장은 시간을 절약할 수 없더라도 언젠가는 이 기술이 필요하고 다른 사람들이 막 시작하는 시점이 올 것이다”라고 말했다.

타타 컨설팅 서비스의 AI 자문 및 컨설팅 책임자인 아쇼크 크리쉬는 생성형 AI에 대한 경영진의 기대와 직원들의 실제 경험 사이에는 차이가 있다며, 오늘날의 생성형 AI 도구는 초기 단계에 머물러 있다고 진단했다.

그는 “현재의 도구들이 갖춘 재주는 전체 잠재력의 맛보기에 불과하다. 그러나 이를 통해 익숙해져야 한다. 마치 소수의 엔지니어와 기술 애호가들만이 인터넷에서 가치를 창출하는 방법을 알고 있던 인터넷의 초기 단계와 비슷하다”라고 말했다.

따라서 단기적으로 직원들은 새롭고 제한적인 기술에 익숙해지는 수고를 감당해야 하며, 기업은 불확실한 ROI를 수용해야 한다. “그렇지 않으면 향후 몇 년 안에 각종 업무가 AI로 변화할 때 뒤처질 수밖에 없기 때문이다”라고 그는 말했다. 그럼에도 불구하고 기업이 서두르기 위해 할 수 있는 일이 몇 가지 있다.

크리쉬는 “지금까지의 사례를 살펴보면 생성형 AI로 통한 생산성 향상과 ROI 효과는 고도로 타겟팅된 산업별 활용처에서 특히 두드러진다”라고 전했다. 그는 또한 기업이 더 많은 직원을 참여시키고 AI 도구에 대한 액세스 권한을 부여하여 직원들이 스스로 업무를 혁신하는 방법을 개발할 수 있도록 하면 도움이 된다고 덧붙였다.
dl-ciokorea@foundryco.com