“기술 가치를 회사와 공유하라”··· 美 얼라이뱅크의 ‘생성형 AI 기반 비즈니스 혁신’ 여정

얼라이 파이낸셜은 금융 업계에서 최첨단 기술을 유지하기 위해 노력 중이다. 오늘날 비즈니스 혁신을 위한 최우선 과제는 생성형 AI다. 규제로 인해 금융권의 생성형 AI 도입이 지연되는 상황에서, 얼라이는 AI 플랫폼을 개발하고 생성형 AI 플레이북을 제작해 보안과 거버넌스를 희생하지 않으면서도 신속히 움직일 방안을 마련했다.

얼라이의 최고 정보·데이터 및 디지털 책임자인 사이티 무투크리슈난은 “체계적이고 의도적인 기술 투자와 역량이 매우 중요하다는 사실을 배웠다”라고 말했다.

무투크리슈난은 LLM과 생성형 AI가 부상한 2022년을 기점으로, 새로운 기술을 활용하려면 회사의 AI 전략을 전환해야 한다는 점이 분명해졌다고 언급했다. 관건은 보안을 희생하지 않으면서 통합하는 방법이었다.

그는 회사 경영진의 동의를 얻기 위해 얼라이가 생성형 AI를 책임감 있게 사용할 수 있다는 사실을 증명해야 했다고 말했다.

무투크리슈난은 “생성형 AI를 초기에 도입하면 업계 선도기업으로 인정받을 수 있지만, 작은 실수 하나가 그 이점을 모두 상쇄할 수 있다는 점을 처음부터 분명히 했다. 그런 상황을 피하고 싶었기에 조직 차원의 보호 수단을 마련해야 했다”라고 설명했다.

이런 목표에 따라 무투크리슈난의 팀은 3가지 간단한 원칙을 만들었다. 먼저 인턴 대상 사용 사례로 실험하고, 항상 사람이 중간에 개입하며, 얼라이의 데이터를 절대 외부로 노출하지 않는다는 원칙이다.

무투크리슈난은 “로드맵이 없었기 때문에 직접 만들었다. 모든 AI 애플리케이션을 실행하는, 안전하고 신뢰할 수 있으며 확장 가능한 플랫폼을 구축했다. 고객 개인 정보와 회사 데이터를 안전하게 지키면서 책임감 있게 AI를 사용하고, 직원을 효과적으로 교육할 수 있다는 것을 보여주고 싶었다”라고 회상했다.

이런 원칙을 실행하기 위해 얼라이는 지난해 6월 자체 플랫폼 ‘얼라이AI(Ally.ai)’를 출시했다. 이를 통해 IT 리더십과 혁신을 인정받아 2024 CIO 100 어워드를 수상했다. 이 플랫폼은 전통적인 머신러닝(ML) 및 ML옵스 기능과 생성형 AI를 포괄한다. 무투크리슈난은 이 플랫폼이 LLM 중립적이라면서, 얼라이의 개발팀이 AWS와 마이크로소프트 애저 오픈AI의 클라우드 지원을 받아 운영하고 있다고 밝혔다.

그는 “얼라이AI는 모든 LLM을 효과적이고 안전하게 사용할 수 있는 통제력을 갖췄다. 이런 역량 덕분에 오픈AI를 전면적으로 도입하는 데 두려움이 없었다. 얼라이AI는 오늘 오픈AI와 대화하고 내일 클로드, 라마 또는 다른 새로운 LLM과 대화할 수 있기 때문”이라고 설명했다.

계속되는 생성형 AI 관리

무투크리슈난은 이 플랫폼이 얼라이에서 큰 호응을 얻고 있지만 여전히 AI 거버넌스가 최우선 과제로 남아있다고 말했다. 이를 위해 얼라이 기술 운영 모델(ATOM)을 조정하기도 했다. 이 모델에는 여러 새로운 기술 도입을 안내하고 평가, 검토, 승인을 위한 로드맵을 제공하는 5가지 핵심 축(발견, 구상, 구체화, 실행, 측정)이 있다. 회사는 또한 기존 거버넌스 그룹과 함께 일할 AI 워킹 그룹을 설립했다. 이들은 규제 준수, 리스크 관리, 감사 등 금융 서비스 분야의 전문가로 구성된 팀을 만들어 생성형 AI 사용 사례를 검토하고 자문을 제공한다.

또한 AI 워킹 그룹은 비즈니스 부서가 AI 사용 사례를 탐색하고 파일럿 프로그램을 계획하고, 이를 책임감 있게 프로덕션에 도입하도록 얼라이AI 플레이북을 제작했다. 무투크리슈난은 이 플레이북이 회사 전체가 공유하는 공통 언어를 만들어냈다고 언급했다. 그는 “어떤 언어로 프로젝트에 접근하더라도 AI 플레이북이 번역기 역할을 맡아 요청 사항과 이해해야 할 내용을 알려준다”라고 설명했다.

또한 회사는 1만 1,500명의 전 직원을 위한 AI 기본 교육 과정을 만들고 외부 업계 리더와 내부 연사들이 과제와 성공 사례를 공유하는 ‘AI 데이’ 행사를 개최했다. 얼라이가 내부적으로 생성형 AI를 사용 방법을 소개하는 정기 시연회도 열고 있다.

무투크리슈난은 “모두가 참여하는 방식으로의 변화를 이끌어냈다. AI 데이에는 대부분 기술 분야 외의 사람이 참여한다. 6~8주마다 평균 1,200명이 4시간 이상 참여하고 있다. 변화와 모멘텀이 일어나고 있음을 느끼고 있다”라고 말했다.

내부 기능

얼라이는 자체 프라이빗 네트워크를 갖춘 전용 클라우드 인프라에 얼라이AI를 구축해 외부 접근이 불가능한 보안 환경을 조성했다. 이 플랫폼은 LLM이 작동하기 전에 개인 식별 정보(PII)를 제거하며 다른 사내 데이터도 비공개로 유지한다. 또한 보안을 강화하기 위해 데이터를 얼라이AI의 비공개 LLM으로 전송하기 전에 토큰화한다. 팀은 규제 기관과 정기적으로 소통하며, 데이터 유출을 방지하고 파운데이션 모델로부터 데이터를 보호하기 위해 애저 오픈AI와 AWS 등 서드파티 LLM과 협력하고 있다.

플랫폼 출시 직후, 얼라이는 통화 요약과 마케팅이라는 2가지 생성형 AI 사용 사례를 도입했다.

고객 관리 및 경험 그룹을 지원하기 위해 개발된 통화 요약 기능은 마이크로소프트 애저와 애저 오픈AI 서비스를 활용해 콜센터 직원의 통화에 대한 상세 문서를 작성한다. 이 기능은 주당 수만 건의 고객 서비스 통화 요약에 실시간으로 접근할 수 있게 해준다.

무투크리슈난은 “얼라이는 하루 평균 1만 건의 전화를 처리한다. 고객 관리 담당자들이 대화 내용을 기록하고 통화 종료 시 요약을 작성하는 대신 고객에게만 집중할 수 있게 되어 부담이 줄었다”라고 설명했다.

마케팅팀의 경우 얼라이AI의 LLM 채팅과 프롬프트 기능을 활용해 크리에이티브 캠페인을 제작 중이다. 얼라이는 연구, 초안 작성, 네이밍 작업과 같은 초기 단계 작업에서 AI를 사용하지 않을 때보다 평균 34%의 시간을 절약하고 있다. 결과적으로 크리에이티브 캠페인과 콘텐츠 제작에 필요한 시간이 최대 3주 단축된다.

무투크리슈난은 2가지 사용 사례의 성공 비결이 회사의 모든 부문을 참여시킨 데 있었다고 설명했다. 그는 “생성형 AI는 단순한 기술 혁신이 아니라 기업 전체의 혁신이다. 기술을 사용하고 발전시킬 뿐만 아니라 누가 어떻게 사용하고 변화를 주도할지도 고민해야 했다. AI 모델을 주도할 한 명만 외부에서 채용했고 나머지는 모두 내부 직원으로 구성했다”라고 언급했다.

더 넓은 범위로 확장

얼라이는 다양한 생성형 AI 사용 사례를 개발하고 있다. 예를 들어 감사팀은 얼라이AI를 사용해 감사하는 모든 대상에 리스크 요소를 할당하는 ‘리스크 감사 통제 지표’를 만들고 있다. 기존에는 며칠이 걸렸지만, 생성형 AI를 활용하면 몇 시간 만에 완료할 수 있다.

무투크리슈난은 생성형 AI를 비롯한 첨단 기술의 성패가 3가지 요소에 달려 있다고 설명했다.

1. 집중적이고 의도가 구체적인 기술 투자 및 구축
2. 새로운 기술을 실험할 용기와 조직 전체를 하나를 모을 수 있는 가치 제안
3. 회사 전체를 교육하는 데 필요한 인내심과 신중함

그는 “기술 부서 내에서만 실험하고 발명해선 안 된다. 기술의 가치를 전사적으로 알리고, 그들의 언어로 소통하며, 전체 조직을 교육하고 권한을 부여해 함께 나아가야 한다”라고 조언했다.
[email protected]