생성형 AI로 ROI 실현 중··· 현장의 주요 활용 사례 4가지

2023년이 생성형 AI를 실험하는 해였다면, 2024년은 기업들이 활용 사례를 본격화하고 시범 프로젝트를 생산에 투입하기 시작한 해였다. IBM이 12월에 발표한 2,300명의 IT 의사 결정권자를 대상으로 한 설문 조사에 따르면, 47%는 이미 AI 투자로 인한 ROI를 보고 있다고 답했고, 33%는 AI로 손익분기점에 도달했다고 답했다. 손실을 보고 있다고 답한 비율은 14%에 불과했고, AI 투자를 늘릴 계획이라고 답한 기업은 66%에 달했다. 반면, AI 투자를 줄일 계획이라고 답한 기업은 5%에 그쳤다.

EY 아메리카의 데이터 및 분석 책임자인 트레이시 거셔는 2024년 초반까지만 해도 투자 수익률이 실망스러웠다며, “하지만 지금은 실질적인 혜택이 구체화되고 있다. 내가 본 최고의 사용 사례는 마케팅 분야에 속한 것이지만, 이 밖에도 성공 사례가 다양하다”라고 말했다. 전문가와 기타 설문조사 결과에 따르면, 영업 및 마케팅 외에도 생산성, 소프트웨어 개발, 고객 서비스 등이 주요 사용 사례로 꼽히고 있다.

사용 사례 1: 직원 생산성 향상

마이크 베이커는 1조 4,000억 달러 규모의 자산 운용 회사인 PGIM(이전 명칭: 푸르덴셜 투자 관리)의 고객 투자 담당 임원(CITO)다. 베이커는 직원 생산성 영역이 현재 생성형 AI의 주요 적용 분야 중 하나라며, 오피스 365가 주요 도구라고 전했다. 직원들은 이메일 요약, 파워포인트 및 엑셀 문서 작업 등에서 생성형 AI를 활용하고 있다.

PGIM에서 이 활용 사례는 폭넓게 전파돼 있다. 단 모든 직원들이 모든 업무 영역에 생성형 AI 도구를 사용할 수 있는 것은 아니다. 예를 들어, 등록된 투자 고문들에게는 몇몇 걸림돌이 있다. 베이커는 “걸림돌 중 일부는 AI 관련 컴플라이언스와 관련이 있다”라고 설명하며, AI 가드레일도 고려 사항이라고 전했다. 아직 초기 단계의 기술이기에 안전한 통합이 우려 요소라는 설명이다. 그는 “현재 투자 결정, 거래 결정, 심지어 백오피스 영역에서도 인간의 개입 없이는 생성형 AI를 사용하지 않는다. 신중하게 진행하고 있다”라고 말했다.

그렇다고 해도 생성형 AI를 부분적으로나마 활용하는 직원이 대다수다. “오피스 365용 코파일럿을 설치하고 교육받은 직원들의 경우 활용률이 약 93%까지 올라간다”라고 그는 전했다. 구글 클라우드와 국립 연구 그룹이 최근 글로벌 기업의 고위 임원 2,500명을 대상으로 실시한 설문 조사에 따르면, 34%는 개별 생산성 생성형 AI 사용 사례에 대한 ROI를 이미 확인하고 있다고 답했으며, 33%는 내년에 ROI를 확인할 것으로 예상하고 있다.

생산성 향상을 위해 마이크로소프트 코파일럿을 사용하는 또 다른 조직은 오클라호마주 털사에 있는 오럴 로버츠 대학교다. 이 대학의 혁신 및 기술 담당 부사장 마이크 매튜스는 “수업을 돕고, 연구를 개선하며, 학생들을 평가하는 데 큰 도움이 된다. 교수 다수가 과로에 시달리고 있다. 더 빨리 채점할 수 있고, 학생들을 더 빨리 평가할 수 있다는 장점은 큰 혜택이다”라고 말했다. 교수진이 새로운 강좌를 개설하려 할 때, 코파일럿은 유용한 강의 개요를 몇 초 만에 만들 수 있기도 하다고 그는 덧붙였다.

이 밖에 마케팅, 지원자 성적표 처리 등을 위해 AI를 사용하면서 지원자에게 응답하는 데 걸리는 시간이 몇 주에서 몇 시간으로 단축되었고, 새로운 국가에서의 유입이 267% 증가했으며, 등록자 수 또한 거의 11% 증가했다고 매튜스는 전했다.

글로벌 재보험 기업 포티튜드 Re(Fortitude Re)의 CISO인 엘리엇 프랭클린은 그의 회사도 챗GPT와 코파일럿에 대해 엔터프라이즈 구독을 사용하여 생성형 AI를 운영에 통합하고 있다고 밝혔다. 그는 “이러한 유료 버전을 사용하면 데이터가 조직 내에 안전하게 유지된다”라고 말했다. 그의 조직에서 생성형 도구는 문서에서 정보를 추출하고, 프레젠테이션을 만들고, 긴 보고서를 요약하고, 비교 문서를 비교하여 불일치를 찾는 데 사용되고 있다. “덕분에 시간을 절약하고, 인적 오류를 최소화하며, 팀이 더 가치 있는 작업에 집중할 수 있다”라고 그는 덧붙였다.

사용 사례 2: 소프트웨어 개발

PGIM은 코드 생성에도 생성형 AI를 사용한다. 주 도구는 깃허브 코파일럿이다. 베이커에 따르면 약 1,000명의 개발자가 사용하고 있으며, 테스트 단계를 넘어선 상태다. 그는 “사내 개발자 중 약 60%가 매일 코파일럿을 사용한다. 그리고 코파일럿이 추천하는 코드의 약 70%가 실제로 채택된다. 상당히 높은 비율이다”라고 말했다.

구글 클라우드와 내셔널 리서치 그룹의 조사에 따르면, 조직 리더의 28%가 개발자 생산성과 엔지니어링 분야에서 생성형 AI의 긍정적인 ROI를 보고 있으며, 34%는 1년 이내에 ROI를 기대하고 있다.

경비 청구 서비스 기업 엠버스(Emburse)에서도 소프트웨어 개발자들은 깃허브 코파일럿과 아마존 Q 디벨로퍼와 같은 코드 생성 도구를 사용한다. 회사의 켄 링달 CTO는 이러한 도구들이 개발자 환경에 직접 통합돼 있다며, “코드 생성을 자동화하고, 코드 구조를 개선하며, 잠재적인 결함을 식별하는 데 사용된다”라고 전했다.

베인앤컴퍼니의 2024년 설문조사에 따르면, 소프트웨어 개발은 금융 서비스 회사에서 생산성 향상의 효과가 가장 큰 분야이기도 하다. EY의 거셔는 자신 또한 코드 디버깅과 테스트에서 생성형 AI의 가치를 확인하고 있다고 전했다. 그는 “데이터 파이프라인을 보다 효율적인 방식으로 생성하는 등 데이터 엔지니어링 프로세스에서 생산성을 높이는 데 활용함으로써 상당한 이점을 얻었다”라고 말했다.

사용 사례 3: 영업 및 마케팅

PGIM의 영업 직원도 독자적인 생성형 AI 활용 사례를 가지고 있다. 먼저 사용자 친화적인 방식으로 문서를 다루는 것이다. 베이커는 “우리 영업사원들이 접촉하는 고객으로 재무 컨설턴트들이 있다. 이들과의 미팅에서 다루는 문서가 방대하다. AI 덕분에, 영업사원들은 비즈니스 대화를 위해 적시에 적절한 정보를 얻을 수 있다. 과거에는 어렵고 힘든 작업이었다”라고 말했다.

이것은 시작일 뿐이다. 영업 직원들은 또한 웹사이트 콘텐츠, 스피치 작성, 고객 커뮤니케이션을 돕기 위해 AI를 사용한다. “마케팅 커뮤니케이션은 AI에 적합한 분야다”라고 그는 말했다.

그리고 제안 작업도 있다. 그는 “많은 고객들로부터 RFP를 받는다. 이제는 AI를 활용해 과거의 RFP와 다른 데이터 세트를 검토하고 RFP에 대한 응답의 초안을 작성한다”라고 말했다. 과거에는 너무 복잡하거나 거래 규모가 너무 작아서 직원들이 맡지 않았을 RFP도 이제는 응답할 수 있다고 베이커는 말했다.

구글 클라우드와 국립 연구 그룹의 조사에 따르면, 리더의 33%가 영업과 마케팅 분야에서 생성형 AI의 긍정적인 ROI를 보고했으며, 30%는 1년 이내에 ROI를 기대하고 있다.

가트너의 애널리스트인 아룬 찬드라세카란은 마케팅과 같은 여러 비즈니스 기능이 성공을 거두고 있다고 말했으며, EY의 거셔(Gusher)는 마케팅이 생성형 AI의 가치를 실현할 수 있는 주요 분야 중 하나라고 전했다. 거셔는 “가장 흔하게 보는 패턴은 맞춤형 기능 구축과 다른 시스템의 데이터를 활용하는 활용 사례다. 예를 들어, 기업은 CRM 시스템의 데이터를 사용하여 개인화된 커뮤니케이션을 생성할 수 있다”라고 말했다.

그녀는 이어 “즉 여러 시스템의 데이터를 활용할 수 있을 때 큰 ROI가 가능하다. 실제 가치는 전체 프로세스를 가능하게 하는 데서 비롯된다”라고 말했다.

금융 서비스 및 의료 기술 회사인 SS&C가 바로 이러한 시나리오에서 생성형 AI를 활용하는 조직이다. 회사의 자동화 담당 수석 전무인 브라이언 할핀은 “여러 시스템의 핵심 데이터를 기반으로 고객 커뮤니케이션을 생성한다. 실시간으로, 실제 상황에서, 대규모로 작동한다”라고 말했다.

사용 사례 4: 고객 서비스

또 다른 주요 활용 사례는 옴니채널 지원, 고객 콜센터와 같은 고객 서비스다. 버라이즌의 고객 콜센터는 매년 수억 건의 전화를 받는다. 또 다른 20억 건의 고객 상호 작용이 디지털 채널을 통해 이뤄지고 있다. 버라이즌의 최고 고객 책임자 브라이언 히긴스는 생성형 AI를 활용할 기회가 많은 영역이라며, 버라이즌이 이미 그 혜택을 보고 있다고 말했다.

버라이즌은 몇 년 전부터 구글 바드를 시작으로 제미나이 1, 제미나이 1.5를 활용해 비즈니스 사례를 개발하기 시작했다. 특히 검색증강생성(RAG)을 사용했다. 이 통신 기업에서 생성형 AI는 복잡한 문서를 빠르게 요약하고, 대화를 듣고, 관련 정보를 자동으로 가져오고, 질문에 답하고, 다른 기능을 제공하는 데 사용된다.

히긴스는 고객이 버라이즌 담당자와 평균 18분 동안 대화를 나눈다며 “생성형 AI를 이용해 통화당 1분 정도를 줄일 수 있었다. 전체 통화량을 생각하면, 막대한 효과에 해당한다”라며, 덕분에 고객이 상담원과 통화하기까지 기다려야 하는 시간도 줄어든다고 밝혔다.

그는 “재무적 투자수익률(ROI) 수치를 공개하지 않지만 내부적으로 측정 기준을 마련해 두고 있다. 예를 들어, 고객과의 통화 직후에 고객을 대상으로 설문조사를 실시하여 고객과의 상호작용이 긍정적인지 판단한다. 도입 이후 모든 측정 기준이 개선됐다”라고 말했다.

현재 회사의 4만 명이 넘는 고객 서비스 담당자들은 생성형 AI 도구를 사용하고 있다. 버라이즌이 기본 모델에 추가한 미세 조정 및 맥락화 기능 덕분에 현재 정확도가 90%를 넘는다. 그러나 이는 아직 완벽하지 않다는 의미이기도 하다. 버라이즌의 소비자 부문 비벡 구루무르시 CIO는 생성형 AI를 신중하게 도입하는 이유라고 말했다.

그는 “현재까지는 주로 무슨 일이 일어났는지 설명하는 데 이 기술을 사용할 뿐이다. 아직 고객을 대신해 조치를 취하는 일은 하지 않고 있다. 조치를 취할 때는 반드시 사람이 개입해야 한다. 그리고 설명을 할 때는 매우 신중하게 모든 것을 검증, 확인, 인증한다”라고 말했다.

또한, 적극적으로 통화를 듣고 실시간 정보와 통찰력을 제공하는 연구 어시스턴트와 같은 강력한 도구 중 일부는 사내 직원에게만 제공된다. 히긴스는 “개인용 연구 어시스턴트를 버라이즌 직원에게만 제공하고 있다. 시간을 들여 AI 위원회를 통해 모든 것을 검토하고 있다”라고 말했다.

그에 다르면 일반인 대상 챗봇은 최신 할인 혜택이 무엇인지와 같은 위험성이 낮은 질문에만 답변한다. “대부분은 웹 페이지에 있는 내용에 한정한다. 정보를 추가해야 하는 상황에는 직접 연락을 취해 안내한다”라고 히긴스는 말했다.

EY 보고서에 따르면, 비즈니스 리더의 72%가 고객 만족도 측면에서 차세대 인공지능의 긍정적인 ROI를 보고 있으며, 예산의 5% 이상을 인공지능에 지출하는 기업의 경우 그 수치가 75%에 달한다. 그리고 구글 클라우드와 내셔널 리서치 그룹의 조사에 따르면, 리더의 34%가 고객 서비스 측면에서 차세대 인공지능의 긍정적인 ROI를 거두고 있으며, 또 다른 33%는 1년 이내에 ROI를 기대하고 있다. 이로 인해 고객 서비스는 개인 생산성과 함께 ROI와 측면에서 1위를 기록하는 영역이다.

고객 서비스가 생성형 AI와 잘 어울리는 이유 중 하나는 기업이 이 영역에 대해 확립한 KPI를 가지곤 하기 때문이다. 기술 컨설팅 회사텍시스템즈의 SVP 리카르도 마단은 기업 다수가 컨택 센터의 평가에 능숙하다며 “해결 시간과 티켓 수가 줄어들고 통화량이 감소하는 것을 보면서 실제 결과를 확인하고 있다”라고 말했다.

배포 전략 선택하기

기업이 생성형 AI를 배포하는 방법에는 여러 가지가 있으며, 모두 다양한 수준의 투자와 노력이 필요하다. 먼저 직원들에게 안전한 버전의 챗GPT에 대한 액세스 권한을 부여하거나, 그들이 이미 사용하고 있는 도구에서 AI 기능을 활성화할 수 있다. 또는 자체 모델을 처음부터 구축하거나, 자체 에이전트 AI 플랫폼을 개발할 수도 있다. PGIM에게 선택의 기준의 비즈니스 차별화 요소와 투자 대비 가치다.

PGIM의 베이커는 “자체 코딩 LLM을 만들지 않는다. 대신 깃허브 코파일러을 사용한다. 반면 마케팅 영역에는 커뮤니케이션과 마케팅을 위해 특별히 구축된 플랫폼인 재스퍼(Jasper)를 사용한다. 이 밖에 문서 Q&A와 같은 다른 영역에서는 프롬프트를 사용자 정의하고 모델을 파인튜닝한다”라고 말했다.
[email protected]