인터뷰 | “내부 검증이 첫 단추” 보스턴컨설팅그룹 CIO가 말하는 AI 전환 로드맵

BCG의 CIO인 메림 베치로비치는 글로벌 기술 전략과 트랜스포메이션을 총괄하며, 조직 내부의 운영 과제와 기술적 난제를 해결해 고객사의 복잡한 문제를 더 효과적으로 지원할 수 있도록 기반을 마련하고 있다. 그는 컴퓨터월드 수석 기자 루카스 메어리언과의 인터뷰에서, 변화의 흐름 전반에 AI가 핵심적 역할을 하고 있다고 설명했다.

베치로비치는 “기업은 AI가 내부와 외부에서 어떻게 활용될 수 있는지 고민해야 한다”라며, “우리는 컨설팅 기업이기 때문에 어떤 기술이든 먼저 직접 증명하는 과정을 중요하게 여긴다. 복잡한 솔루션을 개발할 때 우리가 ‘첫번째 고객(client zero)’가 되는 경우가 많다”라고 말했다. 이어 “이를 통해 AI에 기반한 기업 운영이 어떤 모습이어야 하는지 스스로 경험하며, 무엇을 어떻게 구축할지 자신감을 얻는다”라고 말했다.

베치로비치는 최근 향후 5년을 내다보는 새로운 IT 전략 재편 작업을 시작했다. 그에 따르면 핵심은 BCG를 AI 기반 기업으로 전환하는 것이며, 그 과정에서 AI 중심 조직이 실제로 어떤 모습일지 스스로 배워 나가려는 목적도 담고 있다.

베치로비치는 이번 전략의 중심에 ‘업무 방식의 변화’가 있다고 설명했다. 그는 “이제 AI 도구를 활용해 여러 시스템에 흩어진 사용자 여정을 하나로 연결하기 시작했다”라며 “이렇게 연결되기 시작하면, 더 이상 찾기 어려운 애플리케이션이나 URL이 아니라 소비자 서비스처럼 자연스럽게 작동하는 환경이 만들어진다”고 말했다.

한편 그는 자신의 경력 전체를 돌아보며, 지금이 기술 분야에서 일하기에 가장 좋은 시기라고 언급했다. 그는 “예전에는 밤새 데이터를 검사하고, 스크립트를 테스트하며 코드를 올리고, 말 그대로 기계가 해야 할 일을 사람이 대신했다. 이제는 기계가 스스로 기계의 일을 할 수 있는 힘을 갖게 된 시점에 도달했다고 본다. 그 덕분에 사람은 무한한 혁신과 창의성, 문제를 해결하는 다양한 사고 등 가장 잘하는 일에 집중할 수 있게 됐다”라고 강조했다.

베치로비치는 이어 데이터 전략의 중요성과 인력 역량 강화, 그리고 AI 비용을 효과적으로 관리하는 방법에 대해 의견을 밝혔다. 다음은 그가 각 주제별로 전한 주요 내용이다.

AI 시대에 인재를 활용할 방법은?
지금 상황은 10여 년 전 클라우드가 등장했을 때와 매우 비슷하다고 본다. 당시 모든 기술이 갖춰지지는 않았지만, 한 가지 중요한 흐름이 있었다. 새로운 기술을 직접 다뤄보고 싶어 하는 사람들이 스스로 역량을 키우기 위해 적극적으로 투자했고, 그 덕분에 조직 전체의 기술 수준이 빠르게 올라갔다는 점이다.

AI도 크게 다르지 않다. 다만 속도는 훨씬 빠르다. 챗GPT가 공개된 지 이제 3년 정도밖에 지나지 않았는데, 그동안의 혁신을 보면 이미 LLM부터 RAG 모델, 그리고 지금의 에이전트까지 단계가 급격히 발전했다. 이 에이전트가 앞으로 많은 구조를 완전히 바꿔놓을 것이고, 결국 누구나 에이전트를 보유하게 될 가능성이 높다고 본다. 인력도 이 변화에 매우 큰 기대감을 갖고 있는 것으로 보인다. 우리 팀만 봐도 직원들이 무엇을 만들고 싶은지에 대한 아이디어가 끊이지 않는다. 결국 핵심은 산업이 어디로 움직이고 있는지를 정확히 이해하는 일이라고 생각한다.

데이터 준비는 어떤 의미를 갖는가?
AI의 작동 여부를 결정하는 핵심 요소는 결국 데이터다. 모든 조직이 데이터 문제로 어려움을 겪고 있고 우리도 예외는 아니다. 그래서 BCG는 어떤 지식을 보유하고 있는지, 그 지식을 어디에서 어떻게 드러낼지, 내부 지식과 외부 정보를 어떻게 결합할지, 그리고 이를 어떻게 고객 지원에 연결할지를 가장 중요한 과제로 보고 있다. 현재는 필요한 데이터 제품과 플랫폼이 무엇인지, 그리고 이런 정보들을 어떻게 표면화할지 계속 탐색하는 과정에 있다. 만약 데이터 전략이 없다면 먼저 해야 할 일은 전체 데이터를 목록화해 어떤 출처가 어디에 있는지 정확히 파악하는 것이다. 그 기반 위에서 각각을 어떻게 결합할지 판단할 수 있다.

AI에 필요한 역량은 어떻게 달라지고 있다고 보는가?
앞으로는 대학 졸업생들이 개인 비서처럼 활용해 온 에이전트를 그대로 가지고 회사에 입사하는 모습을 보게 될 것이다. 이미 현실로도 다가오고 있다. 이들은 직장에서 해당 에이전트를 어떻게 활용할 수 있는지 묻게 될 것이고, 그런 변화는 신입 직원에서부터 나타날 것으로 본다.

하지만 신입이라는 개념 자체도 달라질 가능성이 크다. 지금의 도구들은 기본적인 작업을 매우 빠르게 처리할 수 있기 때문에, 신입 인력이 가져오는 역량의 수준은 예전보다 훨씬 높아질 수밖에 없다. 그러면 대학 졸업자들은 다양한 에이전트 활용 능력을 포트폴리오의 일부로 갖춘 상태로 사회에 나오게 된다. 이 관점에서 앞으로의 저연차 인력을 바라봐야 한다고 생각한다. 반대로 고경력자와 리더에게는 이러한 기술을 이해하고 활용할 수 있는 능력이 필수가 된다. 실제로 이미 많은 리더가 해당 도구들을 사용하고 있다. BCG는 학습과 역량을 적극적으로 받아들이는 편이고, 사람들에게 새로운 기술을 시도할 수 있도록 문을 열어주고 자율성을 주는 것이 중요하다고 본다.

비용 관리도 중요한 과제가 되고 있다. 어떻게 접근하고 있나?
클라우드로 전환할 때 겪었던 상황과 상당히 비슷하다. 많은 기업이 클라우드를 기존 데이터센터처럼 운영하겠다고 말했지만, 실제로는 비용이 계속 증가하는 구조다. 과거에는 고정 비용으로 서버를 구매하는 방식이었으나 클라우드에서는 오히려 더 많은 비용을 초래한다. 그래서 기업들은 비용을 절감하기 위해 최적화, 스케줄링, 새로운 운영 방식 등을 새롭게 익혀야 했다.

AI 도구도 마찬가지다. 어떤 모델을 어디에 제공할지, 특히 애플리케이션에서 어떤 방식으로 사용할지 명확히 결정하는 것이 핵심이다. 우리는 상당한 기회가 있다고 보고 있다. 지금 구축 중인 프레임워크를 활용하면, 질문의 유형에 따라 더 저렴한 모델로 답변을 제공할지, 아니면 고객의 심층 연구가 필요한 경우 더 고도화된 역량을 투입할지를 구분할 수 있다. 이렇게 해야 불필요한 비용을 줄이면서도 필요한 품질을 유지할 수 있다. 다만 지금 AI 생태계 전체가 기업의 신원 확인 시스템과 제대로 통합되기를 기다리고 있는 상황이다. 통합이 이뤄져야 관리가 수월해지기 때문이다. 그렇지 않으면 각자가 제각각 사용하는 무질서한 환경이 될 수 있다.
dl-ciokorea@foundryco.com