기고 | ‘데이터 중심 보험사’를 위한 설계도··· 델타 레이크하우스 도입법

2025년 현재 보험사는 다양한 서드파티 통합과 파트너십의 확대로 인해 방대한 데이터를 다뤄야 하는 상황에 직면해 있다. 그러나 여전히 많은 기업이 온프레미스 데이터 웨어하우스나 사일로화된 데이터 시스템과 같은 기존 플랫폼에 의존하고 있다. 이들 환경은 일반적으로 서로 분리된 복수의 시스템으로 구성돼 있으며, 각각 증권 관리, 청구 처리, 청구서 발행, 고객 관계 관리 등 고유의 기능을 수행하면서 기업 성장에 따라 기하급수적으로 데이터를 생성하고 있다. 이러한 구조는 재정적, 보안적 측면에서 상당한 부담을 야기한다. 일부 분석에 따르면 레거시 시스템 유지에 IT 예산의 최대 70%가 소모되며, 이는 혁신이나 디지털 전환에 투입할 수 있는 자원을 갉아먹는 결과를 낳는다.

필자 개인적인 관점에서 문제의 핵심은 단순히 시스템이 오래됐다는 데 있지 않다. 본질적으로 이러한 시스템은 사일로 기반, 배치 처리 중심, 스키마 고정형이며 종종 독점 기술에 기반하고 있다. 이는 현대 보험업계가 요구하는 민첩성과 데이터 중심성, AI 기반 혁신과는 맞지 않는 설계 철학이다. 이 같은 불일치는 운영 효율을 저해하고 비용을 증가시키며, 보안성을 약화시키고 혁신 역량을 제한하는 마찰로 이어진다.

이 지점에서 데이터브릭스의 델타 레이크하우스 아키텍처의 진가가 드러난다. 특히 데이터가 혁신과 운영 효율성의 핵심인 보험업계에서는, 이처럼 전환적인 아키텍처를 수용하는 것이 민첩성과 보안, 경쟁력을 유지하는 데 필수적이다.

접근 방법

Sid Dixit

레이크하우스 아키텍처 도입은 세 단계로 나뉘는 여정이며, 각 단계는 독립적으로 집중해야 한다.

1단계: 데이터 수집

• 데이터 소스 식별: 먼저 보험 관련 모든 데이터를 수집할 시스템을 정리한다. 기존 시스템(인수심사, 청구 처리, 청구서 발행 등)과 최신 소스(텔레매틱스, IoT 기기, 외부 API 등)를 모두 포함한다.
• 데이터 통합: 식별된 데이터를 중앙 저장소로 모은다. 통합된 데이터 뷰는 관리와 접근을 훨씬 수월하게 만든다.

2단계: 데이터 변환 (ELT 및 메달리온 아키텍처 기반)

• 브론즈 계층: 원본 그대로 저장. 수신한 데이터를 수정 없이 저장해 백업 역할을 하도록 한다. 이 데이터는 배치 또는 스트리밍 방식으로 수집할 수 있으며, 카프카(Kafka) 같은 메시지 브로커를 사용할 수 있다. 데이터브릭스 같은 플랫폼은 오토로더(Autoloader) 기능을 통해 수집 과정을 간소화한다.
• 실버 계층: 정제 및 표준화. 원시 데이터를 정리하고 일관된 형식으로 변환해 분석에 적합하도록 만든다. 이 단계에서 ACID 트랜잭션을 적용할 수 있다.
• 골드 계층: 비즈니스 인사이트 생성. 정제된 데이터를 활용해 인수심사, 리스크 분석, 규제 보고 등 핵심 보험 기능을 지원하는 인사이트로 발전시킨다.

3단계: 데이터 거버넌스

• 데이터 품질 유지: 모든 수신 데이터가 기대한 형식에 맞도록 스키마 기반의 규칙을 적용해 오류를 줄이고 신뢰도를 높인다.
• 신뢰성 확보: ACID 트랜잭션을 활용해 데이터 업데이트가 완전하게 이루어지거나, 오류 발생 시 원활하게 롤백되도록 보장한다. 타임 트래블 기능을 통해 감사나 규제 준수를 위한 이력 데이터를 확인할 수 있다.
• 처리 효율화: 실시간 업데이트와 배치 처리를 모두 지원하는 구조를 마련해 보험 증권 업데이트, 청구 처리, 분석 업무를 유연하게 수행할 수 있다.

델타 레이크, 보험 분야 AI 혁신의 기반

데이터를 중앙화하고 델타 레이크하우스 아키텍처를 구축하면 AI 모델 학습과 성능이 크게 향상된다. 그 결과, 더 정밀한 분석과 예측이 가능해진다. 델타 포맷의 타임 트래블 기능은 AI 시스템이 과거 데이터를 기반으로 학습과 테스트를 수행할 수 있도록 한다.

특히 엔터프라이즈 AI 플랫폼 구축 시 고려해야 할 핵심 요소가 있다. 최신 AI 모델, 특히 대규모 언어 모델은 실시간 데이터 처리 능력을 요구하는 경우가 많다. 머신러닝 모델은 특정 과제를 해결하도록 설계되지만, 생성형AI는 다양한 과제를 동시에 학습하고 해결할 수 있는 능력을 지닌다. 이때 델타 레이크는 다양한 데이터 요구를 효과적으로 처리할 수 있는 단일 데이터 플랫폼을 제공함으로써, 기업의 생성형AI 이니셔티브에 최적화된 환경을 마련한다. 데이터 품질, 버전 관리, 통합 측면의 근본적인 과제를 해결하고, 고성능 생성형AI 모델의 개발과 배포를 뒷받침한다.

이는 데이터 엔지니어링, 데이터 과학, 비즈니스 인텔리전스 워크플로우를 하나의 환경으로 통합함으로써, 이전처럼 서로 다른 시스템 간의 데이터 이동(예: 탐색용 데이터 레이크, BI용 데이터 웨어하우스, 별도 ML 플랫폼)을 요구하지 않는다. 레이크하우스는 시너지 기반의 생태계를 형성해 원시 데이터 수집부터 실제 AI 모델 배포까지의 시간을 대폭 단축시킨다. 그 결과, 보험사 입장에서는 사기 손실 감소, 청구 처리 속도 향상, 정확한 가격 책정, 고객 관계 강화와 같은 실질적 비즈니스 가치를 창출할 수 있다.

레거시는 과거로, 이제는 델타로 나아갈 때

요약하자면, 보험사가 장기적인 성장과 운영 우수성을 달성하기 위한 전략적 전환은 낡고 경직된 레거시 시스템에서 벗어나, 델타 레이크 기반의 현대적이고 회복탄력성 있는 레이크하우스 아키텍처로 전환하는 데 있다. 이는 단순히 신기술을 도입하는 차원을 넘어, 데이터의 기반 구조 자체를 재설계해 그 잠재력을 온전히 실현하는 일이다.

AI의 혁신적 가능성을 제대로 활용하려면, 데이터를 중앙화하고, ACID 트랜잭션이나 스키마 적용 같은 신뢰성 기능을 통해 데이터의 정확성과 일관성을 확보해야 한다. 또한, 다양한 데이터 유형을 통합 처리할 수 있어야 한다. 이러한 접근을 성공적으로 정착시키면 보험사는 더 빠르게 혁신하고, 더 효율적으로 운영하며, 리스크를 정교하게 통제하고, 고객 서비스를 향상시킬 수 있는 기반을 갖추게 된다.

*필자 시드 딕싯(Sid Dixit)은 보험 분야에서 15년 이상 디지털 전환과 IT 현대화 관련 실무를 이끌어온 전문가로 현재 메타에 소속돼있다.

**이번 기사는 비즈니스 기술 아키텍트를 위한 비영리 전문 단체 IASA(International Association of Software Architects) 산하 리더십 커뮤니티인 수석 아키텍트 포럼(Chief Architect Forum, CAF)과의 파트너십을 통해 제작됐다. CAF는 비즈니스 기술 아키텍처의 예술성과 과학적 접근을 실험하고 발전시키는 한편, 수석 아키텍트가 조직 안팎에서 리더십과 영향력을 발휘할 수 있도록 지원하는 것을 목표로 하는 포럼이다.
[email protected]