메인프레임부터 생성형AI까지··· 뱅크오브아메리카 기술 리더가 밝힌 균형 잡힌 투자 전략

금융기업 뱅크오브아메리카(Bank of America)는 올해 AI와 관련 기술 혁신에 40억 달러를 투자할 계획이다. 하지만 이 은행이 가장 큰 자부심을 느끼는 기술은 여전히 7년 전 자체 구축한 AI 에이전트 ‘에리카’다. 에리카는 고객 및 직원 경험의 핵심 축이자 투자 수익을 창출하는 주요 엔진으로 자리 잡고 있다.

2018년에는 ‘에이전트’라는 용어조차 일반적이지 않았고, ‘에이전틱 AI’라는 개념은 더더욱 생소했다. 그러나 뱅크오브아메리카는 소프트웨어 엔지니어, 언어학 전문가, 금융 전문가로 구성된 팀을 꾸려 소형 언어 모델을 개발했다. 이 모델은 이후 콜센터 고객 피드백 데이터를 기반으로 지속적으로 개선돼왔다.

뱅크오브아메리카 소비자·비즈니스·자산관리 기술 부문 총괄 하리 고팔크리슈난은 에리카의 성공 비결로 ‘모델의 소형화’를 꼽았다. 고팔크리슈난은 “우리는 에리카로 에세이를 쓰려는 것도, 소프트웨어를 작성하려는 것도 아니다”라며 “고객이 50개 항목이 빼곡히 뜬 화면에서 항목을 일일이 찾지 않고도 간단히 요청할 수 있도록, 고객이 ‘청구서를 납부하고 싶다’고 말할 때 실제로 무슨 의미인지 이해하고 번역하는 데 집중했다”고 설명했다.

고팔크리슈난은 이어 “고객이 전하고자 하는 짧은 대화를 이해하는 데 초점을 맞춰 모델을 훈련했다”고 언급했다. 에리카는 오픈소스 모델을 기반으로 개발됐으며, 시간이 지나면서 정확도는 80% 수준에서 85%, 이후 90% 이상으로 향상됐다. 고팔크리슈난은 “정확도가 높아지면서 모델의 예측력 또한 개선됐다”고 전했다.

또한 그는 팬데믹 기간 동안 에리카를 튜닝해 고객이 PPP(급여보호프로그램) 대출을 신청하고, 다양한 비즈니스 및 소비자 요구를 처리할 수 있도록 지원했다고 밝혔다. 고팔크리슈난 총괄은 “생성형AI나 에이전틱AI 기술이 발전하는 대로 이를 적극 도입할 계획이지만 대부분의 고객 요구는 자체 구축으로 충족할 수 있다”라고 말했다.

현재 에리카는 2,000만 명 이상의 뱅크오브아메리카 고객이 사용하고 있으며, 사내 버전인 ‘에리카 포 임플로이즈(Erica for Employees)’는 20만 명 이상의 임직원 중 90% 이상이 활용하고 있다. 고팔크리슈난 총괄은 “이를 통해 IT 헬프데스크로 걸려오는 문의 전화가 50% 이상 줄었다”고 설명했다.

은행 업무와 AI의 결합

2025년 뱅크오브아메리카는 4조 원 규모 AI 투자금 중 상당 부분을 활용해 직원, 은행 고객, 그리고 메릴린치 전용 가상 에이전트 ‘애스크 메릴(Ask Merrill)’을 위한 검색 및 지원 기능을 고도화할 예정이다.

고팔크리슈난 총괄은 “현재 뱅크오브아메리카는 생성형AI를 적용한 다양한 파일럿 프로젝트를 파일럿 단계를 넘어 본격 도입하고 있다”라며 “개발자들은 AI 기반 코딩 보조 도구를 활용해 개발 효율성을 20% 이상 높였다”라고 밝혔다.

또한 고객 자문업무 준비에도 생성형AI가 활용되고 있다. 고팔크리슈난 총괄은 “이 기술을 통해 매년 수만 시간의 고객 미팅 준비 시간을 절감하고 있으며, 고객 응대 및 사업 성장에도 기여하고 있다”라고 말했다. 콜센터 운영 최적화에도 생성형AI가 적용되고 있으나, 구체적으로 어떤 도구를 사용하는지는 공개하지 않았다.

뱅크오브아메리카는 자체 개발한 생성형AI 플랫폼을 통해 글로벌 마켓 영업 및 트레이딩 팀이 시장 조사 및 논평을 더 빠르고 효율적으로 검색, 요약, 종합할 수 있도록 지원하고 있다고 소개했다.

고팔크리슈난 총괄은 복잡한 에이전틱AI보다는 소비자 및 비즈니스 고객을 위한 실용적인 에이전트 및 오케스트레이션 기술 적용에 집중하고 있다고 밝혔다. 그는 메타버스나 증강현실과 같이 과장된 기대를 모았지만 금융업계에서 실질적 비즈니스 사례로 이어지지 못한 기술들을 예로 들며, 현실적인 접근의 중요성을 언급했다.

다만 컴퓨터 비전 기술과 파운데이션 모델의 멀티모달 기능에는 기대를 걸고 있다. 고팔크리슈난 총괄은 “고객 만족도를 높이기 위해 해당 기술 적용을 검토하고 있다”라고 밝혔다. 또한 그는 “향후 고객과 직원 경험의 핵심은 여전히 에리카가 담당할 것”이라며 “요구사항에 따라 보다 고도화된 추론 및 판단 기능을 백엔드에 지속 추가해나갈 계획”이라고 밝혔다.

하이브리드 클라우드로 만드는 혁신

뱅크오브아메리카는 연간 130억 달러(약 18조 원)를 기술에 투자하고 있으며, 독자적으로 선정한 여러 컨설팅 기업과 협력하고 있다. 은행 8개 사업부 중 6개 부문의 최고정보책임자(CIO) 역할을 맡고 있는 고팔크리슈난은 뱅크오브아메리카가 수년간 자체 운영해 온 가상 프라이빗 클라우드와 필요에 따라 퍼블릭 클라우드를 병행하는 하이브리드 ‘호스팅 전략’을 펼치고 있다고 설명했다.

뱅크오브아메리카는 마이크로소프트, AWS, 구글 및 기타 클라우드와 관계를 맺고 있지만, 많은 은행 CIO와 마찬가지로 고팔크리슈난은 비용 및 보안상의 이유로 워크로드를 자체 환경에서 유지하는 것을 선호한다. 고팔크리슈난은 “가상 프라이빗 클라우드를 효과적으로 확장해 급격한 트래픽 증가에도 추가 요금을 지불하지 않는 수준에 도달할 수 있었다”라며 “일부 조직이 클라우드 컴퓨팅에서 물리적 환경으로 복귀하려는 움직임을 보이는 것도 흥미롭게 지켜보고 있다”라고 말했다.

고팔크리슈난은 “뱅크오브아메리카는 기술과 관련해서 특정 방향으로 과도하게 치우치거나 흔들리지 않겠다고 항상 말해왔다”라며 “본질적으로 우리는 자체 호스팅 전략을 운영하고 있다”고 설명했다. 또한 그는 “가상 프라이빗 클라우드 내에 여러 가용 영역을 구축했으며, 이를 광범위하게 활용하고 있다”라며 “필요할 경우, 사용 사례에 따라 퍼블릭 클라우드로 확장할 수 있으며, 이는 외부 소프트웨어 공급업체를 위한 경우도 있고 내부 활용을 위한 경우도 있다”라고 말했다.

뱅크오브아메리카는 메인프레임에도 지속적으로 투자하고 있다. 고팔크리슈난 총괄은 “최근 주식시장 변동성이 심화하는 상황에서도 메인프레임은 매우 중요한 전략 플랫폼으로 기능했다”라고 말했다. 그는 “시간이 지나면서 메인프레임을 현대화하고, 어떤 워크로드가 분산 환경에, 어떤 워크로드는 여러 가용 영역을 넘나들며 수평적으로 확장하는 방식이 더 적합한지 분석했다”라며 “단지 새로 만들기 위해 무리하게 워크로드를 재작성하는 일은 지양하고 있다”고 밝혔다.

뱅크오브아메리카는 데이터 분석과 AI 고도화를 위해 데이터 집계 및 정제 작업에도 공을 들이고 있다. 고팔크리슈난은 하둡과 스노우플레이크 같은 데이터 플랫폼을 활용하고 있다고 암시했다. 그는 “우리는 데이터 분석과 관련해 상당히 방대한 작업을 진행 중이며, 데이터를 적절한 위치에서 수집하고, 정제하고, 거버넌스를 적용해 책임 있게 다루는 데 중점을 두고 있다”고 말했다.

또한 그는 “AI 관련 모든 작업은 편향성과 투명성 같은 16개 항목으로 구성된 거버넌스 프로세스를 거치고 있다”라고 덧붙였다.

생성형AI 도입 과정

뱅크오브아메리카는 생성형AI를 본격적으로 도입하면서, 기술 선택 기준으로 실용성을 최우선에 두고 있다. 고팔크리슈난 총괄은 “더 고도화된 파운데이션 모델을 사용할 가능성이 크지만, 항상 가장 간단하고 효과적인 솔루션을 우선 검토할 것”이라며 “특정 벤더에 얽매이지 않을 것”이라고 밝혔다.

그는 “업계 상황은 계속 변한다. 추론 기능이 발전하고, 토큰 가격이 바뀌며, 새로운 혁신이 등장한다”라며 “우리는 특정 모델에 집착하지 않는다. 사용 사례, 데이터 분류, 내부 역량을 종합적으로 고려해 최적의 솔루션을 선택한다”라고 설명했다.

고팔크리슈난 총괄은 “파운데이션 모델의 학습, 추론, 사고 혁신은 인상적이지만, 기존 검증된 솔루션과 상용 레시피를 계속 활용해 고객과 직원의 디지털 요구를 충족할 것”이라며 “완전한 플랫폼 교체를 추구하지는 않는다”라고 말했다. 그는 “AI 에이전트와 기본적인 오케스트레이션만으로도 해결할 수 있는 영역이 많기 때문에, 새로 발표된 기술을 무작정 쫓지 않을 예정”이라고 덧붙였다.

포레스터 애널리스트 브라이언 홉킨스는 뱅크오브아메리카의 기술 전략을 ‘실용적 정밀성(pragmatic precision)’이라고 평가했다. 그는 에리카(Erica)가 24억 건 이상의 고객 상호작용을 처리하며 98%에 달하는 문제 해결률을 기록한 사례를 들어 “신뢰를 훼손하지 않고 디지털 고객 접점을 확장한 모범 사례”라고 말했다.

홉킨스 애널리스트는 “뱅크오브아메리카는 생성형AI 도입에 신중한 접근을 택했지만, 장기적으로 보면 이 전략이 현명한 선택이 될 수 있다”고 전했다. 그는 “은행 비즈니스에서 신뢰는 핵심 통화다. 생성형AI는 환각이나 설명 불가능성, 보안 취약성과 같은 리스크를 여전히 안고 있다”라며 “이미 잘 작동하는 시스템이 있는데 굳이 위험을 감수할 이유가 없으며, 대형 은행 입장에서는 작은 실수도 치명적일 수 있다”라고 덧붙였다.

그는 “뱅크오브아메리카는 깨끗한 데이터, 명확한 비즈니스 목표, AI 운영 경험을 기반으로 생성형AI 시대에 진입하고 있다”라며 “한 번 투자하고 여러 번 재활용하는 전략은 시간이 지남에 따라 상당한 성과를 거둘 것”이라고 평가했다.

마지막으로 홉킨스 애널리스트는 “겉으로는 화려하지 않지만, 조용히 강력한 효과를 내고 있다”라며 “생성형AI 열풍이 가라앉으면 뱅크오브아메리카가 경쟁사를 앞설 가능성이 높다”고 전망했다.
[email protected]