하코다랩스, 데이터팀에 투입한 AI 에이전트로 업무를 혁신하다

하코다랩스(Hakkoda Labs)가 실험적으로 시작한 AI 프로젝트를 실질적인 데이터팀의 지원 엔지니어 역할로 전환하며 주목받고 있다. 이 회사는 내부 업무를 스스로 대체하는 AI 에이전트를 직접 개발했고, 이를 통해 자사의 핵심 자산이라 할 수 있는 데이터 마이그레이션 지식재산(IP)을 개발자 누구나 활용할 수 있도록 개방했다.

해당 프로젝트는 원래 ‘AI 비즈니스 분석가’를 구축하는 사내 실험(skunkworks)으로 출발했다. 하코다랩스는 2023년 중반 이 실험을 정식 프로젝트로 전환하고, AI 엔지니어를 채용해 본격적으로 개발에 착수했다. 이 프로젝트는 ‘지원 엔지니어(support engineer)’ 모델로 명명됐으며, 오픈AI의 대형 언어 모델(LLM)을 활용해 데이터 소스 매핑, ETL(Extract, Transform, Load), ELT(Extract, Load, Transform) 등 데이터 과학자와 엔지니어가 수행하던 주요 마이그레이션 업무를 자동화하는 데 초점을 맞췄다.

하코다랩스의 공동 설립자이자 최고혁신책임자(Chief Innovation Officer)인 패트릭 뷰엘은 “우리는 오직 내부 비즈니스를 스스로 혁신하고, 확장 가능한 AI 에이전트를 구축하는 것을 목표로 삼았다”라고 설명했다. 그는 석유 및 가스 산업에서 ETL 엔지니어로 커리어를 시작했다며 “AI 에이전트는 우리 직원들이 수행하는 작업을 관찰하고, 그 업무를 더 강력하게 수행하기 위해 변환 스크립트를 자동 생성하는 방식으로 진화하고 있다”라고 밝혔다.

많은 기업이 자동화를 위해 AI를 활용하고 있지만, 하코다랩스처럼 ETL이나 스키마 매칭과 같은 개발자 중심의 전문적인 AI 에이전트를 구축한 사례는 흔치 않다. 문서 요약이나 콘텐츠 제작 같은 일반적인 생성형 AI 활용과는 뚜렷이 구분되는 지점이다.

데이터 정제, 준비, 통합 등은 고품질의 오류 없는 AI 에이전트를 만들기 위해 필수적이지만 매우 고된 작업으로 꼽힌다. 하코다랩스는 아마존웹서비스(AWS)와 스노우플레이크의 주요 파트너로 활동 중이기도 하다.

ETL은 엑셀 스프레드시트 수천 개나 파워BI 리포트 등 다양한 소스에서 데이터를 추출한 뒤 변환해 대상 저장소에 적재하는 과정을 포함한다. 반면 ELT는 데이터를 추출해 별도 변환 없이 직접 시스템에 적재하는 방식이다.

하코다랩스는 이 과정을 자동화할 수 있는 AI 에이전트를 ‘코파일럿(copilot)’이라 부르며, 이들이 방대한 양의 정보를 신속히 처리하고 이해할 수 있어 기업 차원에서 큰 시간 절감을 이끌어낼 수 있다고 강조했다. 단, 여전히 환각을 방지하기 위해 인간 전문가의 입력은 필요하다고 덧붙였다.

IDC의 엔터프라이즈 인텔리전스 서비스 리서치 매니저인 리드 셰러드는 “하코다랩스의 주요 강점은 집중력에 있다”라며 “레거시 시스템에서 벗어나기 위한 데이터 현대화 프로세스를 AI로 개선하는 데 특화돼 있다”라고 분석했다. 또한 그는 “기업의 최고정보책임자(CIO)는 하코다랩스의 산업 전문성과 함께, 데이터 현대화를 하나의 목표가 아닌 지속적인 방향성으로 정의하려는 접근에서 가치를 찾을 수 있을 것”이라고 말했다.

실험실 프로젝트에서 에이전틱 AI로

이 실험 프로젝트는 생성형 AI의 가능성을 탐색하고자 했던 몇몇 엔지니어들에 의해 처음 시작됐다. 이후 얼마 지나지 않아 AI 기반 데이터 마이그레이션 에이전트를 시범 운영하는 연구개발(R&D) 팀이 정식으로 꾸려졌다.

하코다랩스의 엘은 “현대적인 데이터 컨설팅 기업으로서, 다양한 목적에 맞게 확장 가능하고 사용자 친화적인 AI 에이전트를 사내에서 직접 개발하고자 했다”라며 “여러 설립자와 함께 일본의 유명 산맥 이름을 따 하코다라는 이름을 붙였다”라고 설명했다.

이 AI 에이전트는 지능적인 결정을 내리며, “엑셀에서 매핑을 자동 생성하거나 더 나아가 테이블을 채울 데이터 파이프라인을 실제로 구축하기도 한다”고 뷰엘은 말했다. 이후 데이터 엔지니어가 이를 검토해 제대로 학습됐는지를 확인하는데, “이는 AI 에이전트가 다음번엔 올바르게 작업할 수 있도록 학습을 보강하는 과정”이라고 밝혔다.

하코다랩스는 현재 에이전틱 아키텍처를 적용한 한층 진화된 모델을 설계하고 있다. 뷰엘은 “특정 작업을 수행하는 에이전트를 만들 수 있다면, 왜 다른 에이전트를 만들어내는 에이전트는 만들 수 없느냐는 생각이 들었다”고 설명했다.

기술 혁신과 변화 저항이라는 이중 과제

이처럼 급진적인 기술을 구현하는 과정에서 하코다랩스는 두 가지 주요 과제에 직면했다. 하나는 AI 시장 전반의 혁신 속도, 또 다른 하나는 개발자들의 변화에 대한 저항이다.

뷰엘은 “AI 혁신 속도 자체가 큰 도전 과제”라며 “기술이 너무 빠르게 진화하고 있어, 이 흐름을 따라가면서 동시에 시스템을 구축하는 것이 쉽지 않다”라고 설명했다. AI 모델 벤더가 지속적으로 새로운 기능을 출시하면서, 이는 끊임없는 재설계와 구조 조정을 요구한다고 전했다.

실제로 구글은 지난 4월 넥스트(NEXT) 콘퍼런스에서 ‘엔이전트2에이전트(Agent2Agent)’ 상호운용 프로토콜을 발표했는데, 이는 하코다랩스의 AI 에이전트 개발 방식에도 즉각적인 영향을 미쳤다. 그는 “이처럼 변화가 지속되지만, 개발자들은 중간에 구조를 완전히 바꾸지 않도록 AI 에이전트를 처음부터 유연하게 설계하고 있다”라고 설명했다.

더 큰 장애물은 내부와 외부 개발자 모두에게 AI 에이전트 실험에 참여하도록 설득하는 일이었다. 뷰엘은 “엔지니어는 새로운 기술을 받아들이는 데 매우 보수적”이라며 “기술적 역량을 자부하는 개발자에게 에이전트가 더 낫다고 제안하거나, 자기 자동화를 유도하는 것은 정체성에 대한 도전처럼 느껴질 수 있다”라고 말했다.

이에 따라 하코다랩스는 프로젝트 단위로 변화 관리 접근 방식을 취했다. 엔지니어가 R&D 팀과 CI/CD 피드백 루프를 형성해, 이 새로운 기술을 효과적으로 구현할 수 있도록 내부 프로세스를 구축했다고 회사 측은 밝혔다.

이 프로젝트는 하코다랩스에 ‘2025 CIO 100 어워드’를 안겨주며, IT 혁신과 리더십을 공식적으로 인정받았다.

인수 이후의 방향성

지난 3월 말 해당 수상 소식이 발표된 직후, IBM은 하코다를 인수해 IBM컨설팅의 데이터 전환 서비스 포트폴리오를 확대했다. IBM은 생성형 AI 기반 자산이 데이터 현대화 프로젝트를 가속할 수 있다는 점도 이번 인수의 주요 배경으로 언급했다.

뷰엘은 이번 인수로 인해 하코다랩스가 오픈소스를 지향하는 기존 전략을 유지하면서도, 개발자들이 방대한 연구 데이터를 활용할 수 있게 됐다고 전했다. 그는 “IBM과 그 기술이 오픈소스 전략을 따르는 점이 마음에 든다”라며 “이를 통해 에이전트를 아파치 환 방식으로 설계하고, 보안과 거버넌스를 보다 확실하게 보장할 수 있다. 오픈AI 방식보다 제어 측면에서도 훨씬 유리하다”라고 설명했다.

IDC의 리서치 디렉터 데이비드 매카시는 “IBM의 하코다 인수는 AI 시대의 개발자들에게 더 스마트하고 빠르며 품질 높은 데이터로 일할 수 있는 기반을 제공한다”라며 “AI와 머신러닝 프로젝트를 수행하는 개발자들은 이제 가장 시간이 많이 드는 데이터 준비 과정에서 더 효율적이고 자동화된 도구를 사용할 수 있게 됐다”리고 분석했다. 그는 “이는 수작업 데이터 정리에 쓰이는 시간을 줄이고, 모델 구축과 배포에 더 집중할 수 있게 해준다”라고 밝혔다.
dl-ciokorea@foundryco.com