AI 도입, 왜 실패할까? 사람의 판단력과 데이터 거버넌스가 필요한 때

AI를 도입하려 할 때 기업의 목표와 실제 실행 사이의 간극을 메우기 어려울 수 있다. 기업은 제품과 업무 흐름, 전략 전반에 AI를 녹여내려 하지만, 분산된 데이터와 불명확한 계획이라는 걸림돌에 가로막혀 실패하는 경우가 많다.

소프트웨어 개발 기업 아라스(Aras)의 CTO 롭 맥어베니는 “협력 중인 글로벌 제조기업에서 자주 마주하는 어려움이 바로 이 문제다”라고 말했다. 그는 “많은 기업이 AI가 필요하다고 막연히 생각한다. 실제 출발점은 AI가 지원해야 하는 의사결정을 먼저 정의하고, 이를 뒷받침할 적절한 데이터가 준비돼 있는지 확인하는 데 있다”라고 설명했다.

최근 맥킨지가 실시한 글로벌 조사에 따르면, 경영진의 약 3분의 2가 자사 조직이 AI를 비즈니스 전반에 확장하는 데 어려움을 겪고 있다고 답했다. 많은 기업이 파일럿 단계에서 더 나아가지 못하고, 특히 규모가 작은 조직일수록 한계가 더욱 뚜렷하게 나타난다. 파일럿이 성숙 단계로 발전하지 못하면 투자 결정을 정당화하기도 점점 어려워진다.

AI 도입에서 흔히 드러나는 문제는 데이터가 애초에 AI 적용에 적합한 상태가 아니라는 점이다. 기업은 분절된 출처나 정제되지 않은 데이터를 기반으로 복잡한 모델을 구축하려 시도하지만, 기술이 이 격차를 메워줄 것이라는 기대는 대부분 충족되지 않는다.

맥어베니는 “의미 있는 AI 성과를 가로막는 가장 큰 장애물은 데이터 품질, 데이터의 일관성, 그리고 데이터의 맥락이다. 데이터가 사일로에 갇혀 있거나 공통된 기준으로 관리되지 않으면, AI는 그 불일치를 그대로 반영해 신뢰하기 어렵거나 오해를 불러일으키는 결과를 내놓는다”라고 지적했다.

이 문제는 거의 모든 산업에 영향을 미친다. 기업은 새로운 AI 도구에 투자를 확대하기에 앞서, 더 강력한 데이터 거버넌스를 마련하고 품질 기준을 명확히 적용하며, 해당 시스템을 구동할 데이터의 실질적인 소유 주체가 누구인지 분명히 해야 한다.

AI가 주도권을 쥐지 않도록 하기

AI 도입을 서두르는 과정에서 기업은 해결해야 할 핵심 문제가 무엇인지 묻는 근본적인 질문을 놓치곤 한다. 이 질문이 명확하지 않으면 의미 있는 성과에 도달하기 어렵다.

바이스타 크레디트유니온(VyStar Credit Union)의 CTO 아누라그 샤르마는 AI가 특정 비즈니스 문제를 해결하기 위해 활용할 수 있는 도구에 지나지 않는다고 본다. 샤르마는 모든 AI 이니셔티브가 먼저 달성하려는 비즈니스 결과를 명확하고 간결하게 정의하는 데서 시작해야 한다고 강조했다. 그는 팀에 AI가 해결할 수 있는 문제를 분리해 식별하도록 독려하고, 어떤 변화가 발생할지, 누구에게 영향이 미칠지를 경영진이 충분히 이해한 뒤 프로젝트를 추진해야 한다고 조언했다.

샤르마는 “CIO와 CTO는 이런 원칙을 고수함으로써 AI 이니셔티브가 본질에서 벗어나지 않도록 할 수 있다. 화려한 기술과 전략적 목표를 구분할 수 있을 만큼 충분히 논의를 늦춰 현실적인 문제를 해결해야 한다”라고 설명했다.

기업에 AI CoE(Center of Excellence)나 실제 기회를 발굴하는 전담 팀이 있을 때 이런 구분이 훨씬 명확해진다. 이 팀들은 아이디어를 검토하고 우선순위를 설정하며, 프로젝트가 유행이 아닌 실질적 비즈니스 요구를 기반으로 추진되도록 돕는다.

이 팀에는 AI 도입으로 직접 영향을 받는 실무자뿐 아니라, 비즈니스 리더, 법무 및 컴플라이언스 담당자, 보안팀도 참여해야 한다. 이들은 협력해 AI 프로젝트가 충족해야 할 기본 요구사항을 정의할 수 있다.

보안·거버넌스 플랫폼 제니티(Zenity)의 AI 보안·정책 옹호 책임자 케일라 언더코플러는 “요구사항이 사전에 명확해지면, 겉보기에는 매력적이지만 실질적 비즈니스 기반이 부족한 AI 프로젝트에 불필요하게 매달리지 않을 수 있다”라고 설명했다.

언더코플러는 AI CoE에 현재의 AI 리스크 환경을 충분히 이해하는 담당자가 반드시 필요하다고 덧붙였다. 담당자는 각 이니셔티브가 실제로 운영되기 전에 해결해야 할 우려 사항을 파악하고, 중요한 질문에 답할 준비가 돼 있어야 한다.

그는 “팀이 인지하지 못하는 허점이 계획에 숨어있을 수 있다. 특히 보안은 프로젝트 초기부터 반드시 포함돼야 한다. 그래야 보호 장치와 리스크 평가가 사후에 덧붙여지는 것이 아니라, 처음부터 제대로 작동하도록 설계할 수 있다”라고 조언했다.

또한 AI 도입이 실질적 가치로 이어지려면, 명확하고 측정 가능한 비즈니스 성과가 반드시 정의돼야 한다. 클라우드 기반 품질 엔지니어링 플랫폼 람다테스트(LambdaTest)의 데브옵스 및 데브섹옵스 부문 부사장 아카시 아그라왈은 “모든 제안서가 성공 지표를 사전에 명확히 규정해야 한다. AI는 탐색하는 기술이 아니라 적용하는 기술”이라고 언급했다.

아그라왈은 기업이 30일 또는 45일 단위로 정기 점검을 진행해 프로젝트가 비즈니스 목표에 부합하는지 계속 확인해야 한다고 조언했다. 그는 기대에 미치지 못하는 결과가 나온다면 과감하게 재평가하고 현실적인 결정을 내려야 한다고 설명했다. 필요하다면 프로젝트를 중단하는 선택도 고려해야 한다.

아울러 기술이 유망해 보이는 상황에서도 사람의 역할은 반드시 유지돼야 한다. 지속가능 폐기물 솔루션 기업 리월드(Reworld)의 CIO 스리다르 카랄레는 “초기 AI 기반 리드 분류 파일럿에서 사람의 검토 과정을 생략했더니 비효율적인 분류가 발생했다. 즉시 사람의 피드백을 다시 모델에 반영하도록 조정했고, 시스템은 더 정교해지고 정확도가 높아졌다”라고 설명했다.

사람의 검증 없이 결정이 이뤄지면, 기업은 잘못된 가정이나 패턴에 기반해 움직일 위험이 커진다. 목표는 사람을 대체하는 것이 아니라, 사람과 기술이 서로를 강화하는 파트너십을 구축하는 데 있다.

데이터를 전략적 자산으로 다루기

AI가 의도한 대로 작동하도록 만들기 위해서는 효과적인 데이터 관리가 필수적이지만, 이 전제 조건은 종종 간과된다. 올바른 기반을 마련한다는 것은 데이터를 전략적 자산으로 취급해야 한다는 의미다. 즉 데이터를 체계화하고 정제하며, 시간이 지나도 신뢰성을 유지할 수 있도록 적절한 정책을 갖춰야 한다.

앰네스티 인터내셔널(Amnesty International)의 CIO 폴 스미스는 “CIO는 데이터 품질, 데이터의 무결성, 데이터의 적합성에 집중해야 한다”라고 설명했다. 이 단체는 매일 비정형 데이터를 다루는데, 대부분 외부에서 유입되며 품질 편차가 크다. 사내 분석가들은 서로 다른 형식과 조건에서 생성된 문서, 영상, 이미지, 보고서를 끊임없이 검토한다. 그는 방대하고 난해하며 때로는 불완전한 정보를 다뤄온 경험을 통해 철저한 데이터 관리의 중요성을 인식하게 됐다.

스미스는 “결국 비정형 데이터란 존재하지 않는다. 아직 구조가 적용되지 않은 데이터가 있을 뿐이다”라고 말했다. 그는 또한 기업이 강력한 데이터 거버넌스 원칙을 일상적으로 실천해야 한다고 강조했다. 다시 말해 기업은 데이터의 적합성을 점검하고, 완전성·정확성·일관성을 확보하며, 오래된 정보가 결과를 왜곡할 수 있다는 사실을 유념해야 한다.

스미스는 데이터 계보 검증의 중요성도 강조했다. 여기에는 데이터의 출처를 명확히 파악하고, 그 활용이 법적·윤리적 기준에 부합하는지 확인하는 과정이 포함된다. 또한 데이터가 어떻게 수집되거나 변환됐는지를 설명하는 문서를 검토하는 과정도 요구된다.

많은 기업에서 분산된 데이터는 기존 시스템이나 수작업 입력에서 발생한다. 람다테스트의 아그라왈은 “우리는 스키마 표준화, 데이터 계약 준수, 수집 단계 자동 품질 점검, 엔지니어링 전반의 관찰 가능성 통합을 통해 데이터의 신뢰성을 강화하고 있다”라고 설명했다.

데이터에 대한 신뢰가 확립되면 AI 결과 역시 개선된다. 샤르마는 “데이터가 어디서 왔는지, 얼마나 신뢰할 수 있는지 명확히 답하지 못한다면 AI 도입 준비가 되지 않은 것”이라며 “특히 신뢰가 핵심 가치인 금융 산업에서는 잘못된 인사이트를 쫓는 것보다 초기 단계에서 속도를 늦추는 것이 더 낫다”라고 말했다.

카랄레는 리월드에서 ‘단일 진실 공급원(single source of truth)’ 역할을 하는 데이터 패브릭을 구축하고, 각 도메인에 데이터 관리자를 배정했다고 언급했다. 또한 정의와 접근 정책을 쉽게 검색할 수 있는 ‘실시간 업데이트 데이터 사전(living data dictionary)’도 운영하고 있다. 카랄레는 “각 항목에는 계보와 소유권 정보가 포함돼 있어 모든 팀이 누가 책임자인지 명확히 알 수 있고, 활용하는 데이터를 신뢰할 수 있다”라고 말했다.

최우선 과제는 ‘자가 점검’

AI는 데이터에서 발견한 패턴을 증폭하는 특성이 있다. 유용한 패턴뿐 아니라 오래된 편향 역시 강화될 수 있다. 이런 함정을 피하려면 편향이 구조적 문제에서 비롯된다는 사실을 먼저 인식해야 한다.

문제가 뿌리내리는 것을 막기 위해 CIO가 취할 수 있는 조치도 있다. 언더코플러는 “훈련이나 파일럿 단계에서 사용되는 모든 데이터를 면밀히 검증하고, AI가 실제 업무 흐름에 투입되기 전에 기본적인 통제 장치가 마련돼 있는지 확인해야 한다”라고 조언했다.

또한 에이전틱 AI가 기존의 리스크 모델을 어떻게 변화시키는지 세밀하게 이해하는 것도 중요하다. 언더코플러는 “이런 시스템은 새로운 형태의 자율성, 의존성, 상호작용을 도입한다. 따라서 통제 체계도 이에 맞춰 발전해야 한다”라고 말했다.

언더코플러는 강력한 거버넌스 프레임워크가 기업의 모니터링, 리스크 관리, 보호장치 설정을 체계화하는 역할을 한다고 진단했다. 이 프레임워크는 누가 AI 시스템을 감독하는지, 의사결정은 어떻게 기록되는지, 언제 사람이 판단해야 하는지를 정의한다. 기술이 정책보다 더 빠르게 진화하는 환경에서 이 구조는 특히 중요하다.

카랄레는 AI를 감독하는 과정에서 공정성을 측정하는 지표가 중요한 역할을 한다고 설명했다. 이런 지표는 AI 시스템이 서로 다른 집단을 공정하게 대우하는지, 혹은 특정 집단을 의도치 않게 우대하거나 불리하게 만들고 있는지를 파악하는 데 도움을 준다. 그는 공정성 지표를 모델 검증 파이프라인에 포함시킬 수 있다고 덧붙였다.

도메인 전문가 역시 편향되거나 엉뚱한 결과를 내는 모델을 식별하고 재훈련하는 데 핵심적인 역할을 할 수 있다. 이들은 데이터의 맥락을 누구보다 잘 이해하기 때문에 이상 징후를 가장 먼저 발견하는 경우가 많다. 카랄레는 “지속적 학습은 기계에게도 사람에게도 똑같이 중요하다”라고 강조했다.

앰네스티의 스미스 역시 같은 견해를 밝히며, 잠재적 편향을 식별할 수 있도록 직원들을 지속적으로 교육해야 한다고 말했다. 그는 “리스크와 잠재적 피해에 대한 인식을 높여야 한다. 위험을 가장 먼저 차단하는 방어선은 결국 사람”이라고 진단했다.
dl-ciokorea@foundryco.com