기고 | 데이터의 바벨탑에서 부문 간 소통 살리기

오프사이트 워크숍, 아침 스탠드업, 영업 시작 회의, 1:1 미팅, 소규모 팀 주간 회의 등에서 전달되는 메시지의 근간은 동일하다. ‘우리는 같은 페이지에 있어야 하며, 같은 노래를 불러야 한다. 서로 눈높이를 맞추고, 동기화하고, 정렬해야 한다.’ 기업의 목표가 돈을 버는 것이 아니라 공통된 기반을 찾는 것인 것처럼 보일 정도다.

이 다소 과장된 표현은 중요한 진실을 품고 있다. 대규모 프로젝트에서는 명확한 커뮤니케이션이 그야말로 관건이다. 경영 전문가들이 상호 이해의 필요성을 끊임없이 강조하는 이유는 그것이 매우 중요하기 때문이며, 또 달성하기 어렵기 때문이다.

데이터의 바벨탑

SF 유머 작가 더글라스 애덤스는 ‘바벨 피시'(Babel Fish)라는 상상의 동물을 제시했다: 호스트의 귀 안쪽에 감겨 있는 작은 보편 번역기로, 낯선 언어를 이해할 수 있게 하는 장치다.

불행하게도 대규모 조직의 현실은 바벨 피시보다는 바벨탑에 가깝다. 기업은 명목상 같은 목표를 향해 나아가지만, 서로 다른 언어를 사용하는 여러 팀으로 구성되어 있다. 여기서 말하는 언어는 말 그대로 언어가 아니라 서로 다른 커뮤니케이션 방식이다. 그리고 오늘날 조직에서는 데이터와 관련한 커뮤니케이션이 점점 늘어나고 있다.

데이터는 종종 ‘새로운 석유’라고 불린다. 기업 결정 개선과 조직의 유연성 및 생산성 향상에 기여할 수 있는 귀중한 자원이다. 현대 비즈니스의 많은 부분은 데이터의 수집, 분석, 활용과 밀접하다. 기업들은 이를 위해 전략적, 기술적, 운영적 인재로 구성된 팀을 구성한다. 각 팀은 고유한 문화, 우선순위, 언어적 및 정량적 전문성 수준을 가지고 있으며, 따라서 선호하는 소통 방식도 다르다.

문제는 여기서 시작된다. 소통의 부재는 마찰을 초래하며, 마찰은 지연을 초래하고 지연은 비용을 초래한다. 해리스 폴(Harris Poll)의 연구 보고서에 따르면, 소통의 부재로 인해 미국 기업이 치르는 대가는 연간 1.2조 달러에 달한다.

저마다의 방식과 관심사

이유를 이해하려면 기업 내에서 데이터를 다루는 다양한 그룹을 자세히 살펴봐야 한다. 크게 4가지 카테고리로 나눠볼 수 있다.

경영진은 이메일, 대화, 프레젠테이션 등에서 자연어 텍스트로 데이터 요구사항과 아이디어를 전달한다. 그들의 관점은 시장 점유율, 성장, 부서 효율성, 판매 예측 등 비즈니스 개념에 뿌리를 둔다. 이들의 데이터 사용은 주로 순 계약 잔존율(Net Dollar Retention)과 계정 기반 이탈률(Account-based Churn), 마진과 총 마진 등 지표에 초점을 맞춘다. 그들은 데이터를 일종의 자원처럼 바라본다. 그들은 데이터가 어디에 저장되거나 어떻게 저장되는지, 또는 어떻게 정제되는지에 대해 그리 신경 쓰지 않는다. 단지 그것으로 해야 할 작업에만 신경을 쓴다.

애널리스트들은 데이터에 더 익숙하다. 경영진과 마찬가지로 그들은 주로 데이터 소비와 가치에 초점을 맞춘다. 하지만 경영진이 신경 쓰지 않는 세부 사항도 감안한다. 더러운 데이터나 최신 정보가 아닌 데이터 등이다. 또 그들은 기존 분석을 풍부하게 만들기 위해 새로운 데이터 소스를 찾는다.

그들은 또 데이터를 개념이 아닌 물리적 존재처럼 취급한다. 정리되고 합리화되어야 하는 대상이다. 그들은 공식적 또는 비공식적 요구사항 문서를 통해 데이터 요구사항을 전달한다. 필요한 데이터의 종류, 출처, 정리 요구사항, 사용 목적 등을 정의한다. 문서화, 구조, 역사에 관심을 기울인다. 특정 공급망 효율성 지표가 갑자기 다른 방식으로 계산되거나 다른 시스템에서 가져오게 되면, 이들은 변경의 역사와 영향력을 보여주는 문서 기록을 요구한다.

파워 유저는 기술에 능통한 분석가라고 볼 수 있는 이들이다. SQL 최적화 방법을 모르더라도 CUSTOMER_ID 필드를 사용하여 주문 데이터와 예측 데이터를 통합해야 한다는 것을 알고 있다. 그들은 데이터베이스에서 데이터를 액세스하는 방법을 고민한다. 그러나 관리, 저장, 클라우드 비용 급증과 같은 ‘기계적’ 데이터 문제와는 다소 동떨어져 있다. 그들은 다양한 데이터세트가 어떻게 처리되고 통합되어야 하는지를 설명하기 위해 시각적 디자인 도구를 자주 사용한다.

데이터 엔지니어는 데이터와 관련한 ‘물리학’을 고민한다. 데이터가 어디에 저장되는지, 어떻게 보호되는지, 누가 접근할 수 있는지, 데이터의 청결도(또는 오염도), 개인 식별 정보(PII) 포함 여부, 관리 비용은 등이다. 그들은 수백 개의 데이터 소스에서 데이터를 접근 가능하게 만드는 ‘중요한 작업’을 수행한다. 데이터의 물리적 이동을 주로 담당하기 때문에 그들의 ‘모국어’는 코드다 — 주로 SQL, 때로는 스파크, 파이썬이며, 이 외의 다른 언어를 사용하기도 한다. 코드는 데이터의 형식 변경부터 클라우드 비용을 최소화하기 위해 처리되는 위치까지 모든 것을 정밀하게 제어할 수 있게 한다.

현실 세계의 ‘바벨탑’

이제 모든 이해관계자가 공급망 전반의 재고 보유 비용을 이해하기 위해 협력하는 상황을 상상해 본다.

애널리스트는 새로운 지표, 계산 방법, 계산에 필요한 데이터를 설명하는 ‘요구사항 문서’를 작성한다. 분석팀의 파워 유저는 애널리스트가 표현한 개념(예: ‘모든 창고의 월말 재고 수준’)을 논리적으로 매핑하여 데이터 추출, 통합, 변환 단계를 설명하는 시각적 ‘워크플로우’를 설계한다. 해당 데이터는 다양한 형식으로 제공되거나 빈 기록이나 오류가 포함될 수 있기에 복잡한 단계일 수 있다. 파워 유저는 애널리스트가 요구하는 깨끗하고 신뢰할 수 있는 데이터를 제공하기 위해 다양한 도구를 활용하게 된다. 시각적 디자인은 구글 슬라이드, 파워포인트 프레젠테이션, 워크플로우 디자인 도구에서 생성된 다이어그램, 또는 데이터 개념과 물리적 데이터 액세스 간 시각적 연결을 제공하는 데이터 준비 도구 등에서 구현될 수 있다.

데이터 엔지니어는 시각적 워크플로우를 빠르고 확장 가능하며 비용 효율적인 코드로 변환하여 시각적 사양에 따라 데이터를 검색하고 전달한다. 많은 경우 데이터 엔지니어는 인벤토리 비용 최소화라는 비즈니스 목표를 그리 개의치 않는다. 그들의 관심사는 데이터 플랫폼의 활용도를 극대화하는 데 전적으로 집중되어 있다.

이렇듯 각 이해관계자가 데이터에 대해 서로 다른 언어를 사용하고 있다. 바벨탑과 마찬가지로 정보가 한 모드에서 다른 모드로 이동할 때마다 마찰이 발생하고 정확성이 손실된다.

그리고 오류는 상부로 전파된다. 엔지니어는 파워 유저가 의도와 다른 데이터를 전달한다. 파워 유저는 요구사항 문서에 명시된 지표의 핵심 요소를 누락한 결과를 애널리스트에게 전달한다. 애널리스트는 다른 사람들이 가져온 데이터를 사용할 수 없어 요구사항을 더 구체적으로 재진술한다. 결국 이 사이클은 다시 시작된다.

AI가 이 문제를 해결할 수 있을까?

구글 번역을 사용해 본 사람은 누구나 수십 개의 언어를 ‘말할’ 수 있는 짜릿한 ‘초능력’을 경험했을 터다. (웹 번역 서비스 중 하나가 바벨 피시라는 이름을 채택한 것은 우연이 아니다.) 최근 연구에 따르면 데이터 관리에 생성형 AI를 적용한 조직의 절반 이상이 31~50%의 생산성 향상을 달성했다. 그렇다면 AI를 사용해 이러한 다양한 그룹의 ‘데이터 언어’를 번역하면 되지 않을까?

불행히도, 그렇게 간단하지 않다.

AI는 번역에 능숙하다. 문제는 ‘데이터 소통’이 단순히 번역만의 문제가 아니라는 점이다. 물론 Text2SQL의 다양한 변형을 사용해 “Q1 지출별 상위 10개 고객”을 입력하면 자동 생성된 SQL로 유효한 응답을 얻을 수 있는 상황도 있다. 하지만 기업 데이터 요청은 데이터의 출처와 업데이트 시점(lineage)과 같은 요소를 고려해야 한다. 문서화, 테스트, 버전 관리, 거버넌스가 필요하며, 애널리스트, 비즈니스 사용자, 데이터 엔지니어가 협력해 올바른 데이터를 얻기 위해 여러 번의 반복이 필요하다. AI는 올바른 답변을 생성할 수 있지만, 모든 사람을 같은 페이지에 맞추는 것은 불가능하다.

단절 완화하기

AI가 온전한 해결책이 아니라면 무엇이 더 필요할까? 그룹 간의 격차를 메우기 위해 다양한 접근 방식을 적용해야 한다. 이는 각 그룹에게 상대방의 언어를 가르쳐야 한다는 의미는 아니다. 오히려 메시지를 받는 사람의 요구사항을 인식한 상태에서 커뮤니케이션을 설계하도록 하는 것이 더 중요하다. 최선의 실천 방법을 명확히 하고 커뮤니케이션을 일관성 있고 효과적으로 만드는 것이다.

예를 들어, 가능할 경우 애널리스트는 실제 데이터와 데이터 구조를 사용한 시각적 프로토타입을 개발해야 한다. 파워포인트 상의 근사치를 스케치하는 정도로는 부족하다. 가짜 코드는 실제 데이터베이스와 작업할 때 빠르게 드러나는 경계 사례를 드러내기 어렵다. 더 중요한 것은 엔지니어는 코드로 작업하며, 코드는 구체성을 요구한다는 점이다. 목표는 파워 유저가 시각적 매체를 포기하게 만드는 것이 아니다. 시각적 은유가 코드로 명확하게 번역될 수 있도록 충분한 맥락을 제공하는 것이다. 엔지니어가 추론해야 할 부분이 적을수록 결과의 정확도가 높아진다. 대부분의 현대적 도구는 데이터의 작은 대표 샘플만으로 이를 구현할 수 있다.

또 다른 유용한 실천 방법은 고가치 데이터 제품에 크로스-기능 팀을 배정하는 것이다. 예를 들어, 모든 활성 고객의 월별 총 매출을 보여주는 보고서 등이 해당된다. 그룹 간 사양을 전화 게임처럼 전달하며 각 단계에서 다른 ‘번역’을 하는 대신, 각 그룹의 구성원이 포함된 팀에 작업을 할당해본다. 이는 언어 불일치 문제를 완전히 제거하지는 않지만, 동일한 문제에 집중하는 전담 팀이 시간이 지나면서 효과를 발휘하게 한다.

이는 큰 과제이지만, 조직은 데이터 자산 전반에 걸친 공유된 시맨틱 레이어를 개발하는 데 시간을 투자함으로써 엄청난 이점을 얻을 수 있다. 시맨틱 레이어는 데이터가 어디에 존재하는지 보여주는 지도 역할을 수행하며 의미를 제공한다. 공유된 시맨틱 레이어가 있다면, 고객 수익성을 분석하려는 애널리스트는 이 레이어에서 정의된 수익성 계산에 맞는 적절한 소스 데이터와 계산식을 재사용할 가능성이 훨씬 높다. 고객 데이터를 찾아다니며 새로운 수익성 계산식을 수동으로 작성하는 대신 말이다.

그리고 그룹 간 데이터 리터러시 향상이 중요하다. 구체적으로는 서로의 언어로 서로를 교육하는 것이다. 이는 사소한 작업이 아니지만, 특히 현업 부서 사용자에게는 변혁적 효과를 창출할 수 있다. 콜게이트 팜올리브(Colgate Palmolive)는 데이터 및 애널리틱스와 관련해 수천 명의 직원을 재교육했다, 특히 데이터 기본 개념에 중점을 두었다. 이와 같은 프로젝트를 시작할 때 너무 많은 것을 시도하지 않는 것이 중요하다. 두 시간짜리 ‘SQL for analysts’ 워크숍으로도 많은 것을 달성할 수 있다. 목표는 유창함이 아니라 익숙함이다.

데이터 명확성 구축: 바벨탑을 넘어서기

어쩌면 우리는 바벨탑을 완전히 허물 수 없다. 결국 애널리스트는 지표로 생각하고, 파워 유저는 시각화로, 엔지니어는 코드로 생각한다. 하지만 신중하게 설계된 프로세스와 잘 설계된 시스템을 통해 데이터 전달을 크게 가속화하고 실제 비즈니스 영향을 창출할 수 있다.

Lance Walter는 기업 데이터 관리 및 분석 분야에서 20년 이상의 경험을 보유하고 있다. 그는 오라클, 비즈니스 오브젝트, 네오4j 등 기업에서 제품 관리, 제품 마케팅, 마케팅 리더십 등 다양한 역할을 맡아왔다. 현재 프로페시.io의 CMO로 재직 중인 Lance Walter는 대규모 조직과 협력해 인프라 현대화를 통해 데이터를 사용자에게 더 빠르게 전달하는 방법을 이해하는 업무를 담당하고 있다. 업무 외 시간에는 세 딸을 위해 테일러 스위프트의 곡을 커버하는 아빠이자 음악가다.
[email protected]