칼럼 | 엔지니어 20명으로 포춘 500급 기업용 AI를 구축한 비결

3년여 전 필자가 아키로랩스(akirolabs)의 기술 부문 총괄을 맡았을 당시, 필자는 아직 초기 단계에 머물러 있던 조달 SaaS 플랫폼을 인수받았다. 당시 개발 업무는 전적으로 유럽 외 지역에 아웃소싱돼 있었다. 그러나 회사는 이미 초기 제품-시장 적합성(Product-Market Fit)을 확보한 상태였고, 첫 고객들도 관심을 보이기 시작했다. 이에 따라 제품 소유권 확보와 확장 가능한 개발 체계 구축이 점점 더 중요한 과제로 떠올랐다.

여러 방안을 검토한 끝에 필자는 남아시아에 있던 개발 조직을 유럽으로 완전히 이전하고, 엔지니어링과 제품 관리, 인프라, 개발 프로세스를 포함한 기술 조직 전반을 사내에서 직접 운영하는 체계로 재구축하기로 결정했다. 이는 분명 가장 위험 부담이 큰 선택이었지만, 동시에 장기적으로 가장 큰 성장 가능성을 지닌 전략이기도 했다.

이 결정을 실행하기에 앞서 필자는 한 가지 조언을 반복적으로 들었다. 글로벌 대기업을 위한 엔터프라이즈급 조달 SaaS 플랫폼을 구축하고 운영하려면 공격적으로 인력을 채용해야 한다는 것이었다. 대부분의 추산은 최소 50명 규모의 엔지니어 조직이 필요하다는 데서 출발했다.

당시에는 그 조언이 충분히 합리적으로 들렸다. 신뢰성, 보안성, 개발 속도에 대한 기대 수준이 매우 높았기 때문이다. 그러나 필자는 기존의 엔터프라이즈 확장 모델에 많은 기업이 간과하는 문제가 있다고 생각했다. 엔지니어링 조직은 규모가 커질수록 오히려 더 느려지는 경우가 많다는 점이다. 그래서 인력 증원이 아닌 조직 설계를 통해 확장하는 방식을 선택했다.

사내 첫 엔지니어를 채용한 날로부터 12개월이 채 지나지 않아 완전한 상용 수준의 첫 자체 플랫폼 버전을 출시했다. 당시 약 12명의 엔지니어로 전체 기능을 갖춘 플랫폼을 개발했으며, AI 코파일럿의 도움도 받지 않았다. 2023년과 2024년 초반만 해도 관련 도구가 충분히 성숙하지 않았기 때문이다. 이후 전담 데이터 과학팀을 구성하고, 플랫폼을 AI 기능이 결합된 시스템으로 발전시키는 한편 UI·UX도 전면 개편했다.

이러한 변화가 시작된 지 3년이 지난 현재, 아키로랩스는 해당 시장을 대표하는 기업으로 자리 잡았다. 고객 기반도 크게 확대돼 현재는 베르텔스만(Bertelsmann), 라이파이젠 국제은행(Raiffeisen Bank International), IFF, UCB 파마(UCB Pharma), 악스포(Axpo) 등 글로벌 기업의 전략적 조달 운영을 지원하고 있다.

이 같은 성과는 기업용 AI 분야에서 팀 규모보다 운영 모델이 더 중요하다는 사실을 보여준다.

왜 대규모 엔지니어링 조직은 느려지는가

필자가 엔터프라이즈 기술 업계에서 반복적으로 목격한 사실 중 하나는 커뮤니케이션 복잡성이 인력 증가 속도보다 더 빠르게 커진다는 점이다. 프레드 브룩스(Fred Brooks)는 수십 년 전 브룩스의 법칙(Brooks’s Law)을 통해 이미 이를 설명한 바 있다. 그는 일정이 지연된 소프트웨어 프로젝트에 인력을 추가하면 오히려 프로젝트가 더 늦어지는 경우가 많다고 지적했다.

그 이유는 단순히 신규 인력 온보딩에 드는 부담 때문만은 아니다. 조직 내부의 조율 경로가 기하급수적으로 증가하기 때문이다. 계산은 단순하다. 엔지니어가 12명일 경우 가능한 커뮤니케이션 경로는 66개지만, 50명으로 늘어나면 그 수는 1,225개에 달한다.

실제 현장에서는 이런 복잡성이 운영상의 부담으로 이어진다. 팀은 개발보다 의견 조율에 더 많은 시간을 쓰게 되고, 회의는 계속 늘어난다. 책임 소재는 불분명해지며, 인건비는 증가하지만 개발 속도는 오히려 떨어진다.

아키로랩스 CTO로서 필자는 처음부터 이러한 함정을 피하고자 했다. 조직 규모를 의도적으로 작게 유지하고, 높은 자율성을 가진 소규모 기능 조직 중심으로 운영했다. 특정 분야에만 국한된 경직된 전문 조직을 만드는 대신, 인접 영역까지 유연하게 수행할 수 있는 엔지니어를 채용했다. 이는 최근 업계 전반에서 확산되고 있는 크로스펑셔널(Cross-functional) 플랫폼 및 엔지니어링 팀 중심의 흐름과도 맞닿아 있다.

이 같은 유연성은 회사의 가장 큰 경쟁력 중 하나가 됐다. 백엔드 엔지니어는 인프라 자동화를 지원했고, QA 엔지니어는 보안 엔지니어와 긴밀하게 협업했다. 프론트엔드 개발자는 UX 구현 업무 일부를 직접 담당했으며, 데이터 과학팀은 MLOps 라이프사이클의 상당 부분을 책임졌다.

필자 역시 CTO로서 제품 관리 업무 일부를 직접 맡아 의사결정 지연을 최소화하고 실행 속도를 유지했다. 물론 이러한 운영 방식은 숙련된 엔지니어, 높은 수준의 신뢰, 강한 주인의식 문화가 뒷받침될 때만 가능하다.

개발 조직을 내재화한 것도 개발 속도에 근본적인 변화를 가져왔다. 이전의 아웃소싱 체제와 비교했을 때 제품 개발 속도는 두 배 이상 빨라졌다. 인프라와 지식재산권(IP), 아키텍처 설계, 보안 프로세스를 직접 통제할 수 있게 됐으며, 장기적인 기술 전략 수립도 가능해졌다.

무엇보다 엔지니어들이 플랫폼 요구사항을 충분히 이해한 상태에서 시스템을 설계하고 개발할 수 있게 됐다. 이러한 가시성 덕분에 클라우드 인프라 비용도 30% 이상 절감할 수 있었다.

또한 엔지니어링 조직 규모를 의도적으로 작게 유지한 덕분에 초기 단계부터 아키텍처 복잡성이 무분별하게 확산되는 현상도 방지할 수 있었다. 이는 흔히 콘웨이의 법칙(Conway’s Law)으로 설명되는 현상이다.

아키텍처를 설계하는 사람과 장기적인 확장성에 책임을 지는 사람이 동일할 경우 인프라 관련 의사결정은 훨씬 더 신중하고 전략적으로 이뤄진다. 이러한 접근 방식은 플랫폼의 안정적인 확장을 가능하게 했고, 아키로랩스는 2023년 IDC 조달 분야 혁신기업(IDC Innovator in Procurement)에 선정됐다. 이어 2024년에는 독일 AI 스타트업 톱 27에 이름을 올렸으며, 2025년에는 시프티드(Sifted)가 선정한 독일·오스트리아·스위스(DACH) 및 중동부 유럽(CEE) 지역 고성장 스타트업 100대 기업에도 포함됐다.

스크럼을 버리고 지속적 배포를 선택하다

아키로랩스가 내린 또 다른 중요한 결정은 스크럼(Scrum)을 포기한 것이었다. 이 이야기를 하면 대개 강한 반응이 돌아온다. 스크럼이 엔터프라이즈 IT 업계에서 매우 널리 활용되는 개발 방법론으로 자리 잡았기 때문이다.

하지만 아키로랩스의 경험은 달랐다. 전통적인 스프린트 기반 개발 방식은 회사가 수행하는 업무 특성에 비해 지나치게 많은 운영 부담을 초래했다. 기업용 AI 시스템은 끊임없이 변화한다. 데이터 파이프라인이 수정되고 모델은 지속적으로 재학습돼야 한다. 이런 환경을 고정된 스프린트 주기에 맞추려 하면 예측 가능성이 높아지기보다는 오히려 불필요한 계획 수립 마찰만 발생하는 경우가 많았다.

이에 따라 조직은 전면적으로 칸반(Kanban)과 지속적 배포(Continuous Delivery) 체계로 전환했다. 변화의 효과는 거의 즉시 나타났다.

로드맵은 더 이상 고정된 계획이 아니라 방향성을 제시하는 역할을 하게 됐다. 기능은 분기별 목표 일정에 맞춰 출시되는 것이 아니라, 실제 운영 환경에 적용할 준비가 끝나고 고객의 요구가 확인됐을 때 배포됐다.

조직은 진행 중인 작업(WIP)을 제한하고, 피드백 주기를 단축하며, 업무 간 전환 비용을 줄이는 데 집중했다. 이러한 프로세스 간소화는 생산성 향상으로 이어졌다. 내부 분석에 따르면 스크럼 관련 의식과 회의만 없애도 엔지니어링 역량의 약 10%를 회복할 수 있었다.

중간 규모 변경 작업의 리드타임은 며칠 또는 몇 주에서 수시간 수준으로 단축됐다. 배포 주기는 분기 단위에서 월 단위 운영 배포로 안정화됐으며, 긴급 수정과 개선 작업은 훨씬 더 빠르게 처리할 수 있게 됐다. 이러한 성과는 어떤 스프린트 의식보다 더 큰 가치를 제공했다.

커뮤니케이션 원칙 역시 중요한 역할을 했다.

회사는 대부분의 회의를 오전 시간대로 집중하고, 논의 대상 의사결정에 직접 관련된 인원만 참석하도록 했다. 단순 정보 공유나 사전 준비 성격의 내용은 회의 대신 구조화된 채팅 채널이나 내부 위키를 통해 비동기 방식으로 기록했다. 이메일 사용도 사실상 최소화했다.

회사는 원격 근무를 기본으로 운영했지만, 이를 보완하기 위해 유럽 주요 도시에서 연간 3~4차례 집중 대면 워크숍을 진행했다. 이러한 워크숍은 조직 전체의 전략적 방향성을 유지하는 데 도움을 줬으며, 일상적인 업무 수행은 높은 수준의 비동기 방식으로 유지할 수 있게 했다.

이 같은 변화가 결합되면서 전체 팀 생산성은 약 20~30% 향상된 것으로 추산됐다.

이후에는 AI 기반 개발 도구가 또 다른 생산성 향상 수단으로 자리 잡았다. 현재 아키로랩스는 코딩과 코드 리뷰, 업무 분석, 디버깅 전반에 걸쳐 AI 코파일럿을 적극 활용하고 있다.

내부 분석 결과에 따르면 성숙한 엔지니어링 프로세스 안에서 활용할 경우 이러한 도구는 추가로 20~25% 수준의 생산성 향상 효과를 제공했다.

다만 필자는 AI 도구만으로 엔터프라이즈 개발의 문제를 해결할 수 있다고 보지는 않는다. 명확한 책임 구조와 조직 규율이 갖춰지지 않은 상태에서 AI를 도입하면, 혼란을 줄이기보다 오히려 조직 내 복잡성과 비효율을 더욱 확대할 가능성이 크다.

작은 조직도 충분히 엔터프라이즈 거버넌스를 충족할 수 있다

기업 경영진과 대화할 때 가장 자주 듣는 주장 중 하나는 규모가 작은 엔지니어링 조직은 결국 규제와 컴플라이언스 요구를 감당하지 못하게 된다는 것이다. 하지만 아키로랩스의 경험은 정반대였다.

회사는 현재와 거의 동일한 소규모 조직 구조를 유지한 상태에서 외부 컨설팅이나 지원 없이 9개월 이내에 ISO 27001 인증을 획득했다. 또한 거버넌스 체계를 유럽연합(EU) AI법(AI Act) 요구사항에 맞춰 정비했고, 이를 기반으로 2024년 베를린투자은행(Investitionsbank Berlin)으로부터 혁신적인 AI 기술 개발을 위한 100만 유로(약 15억7,000만 원) 규모의 공공 지원금을 확보했다.

이 과정에서 별도의 대규모 거버넌스 조직을 신설하거나 복잡한 관료 체계를 구축할 필요는 없었다. 중요한 것은 시스템을 개발하는 사람과 운영하는 사람 사이의 명확한 책임 구분과 직접적인 책임 의식이었다.

우선순위 관리 역시 조직 문화의 핵심 요소로 자리 잡았다.

전사적으로 각 팀은 아이젠하워 매트릭스(Eisenhower Matrix)와 같은 원칙을 적극 활용해 긴급한 업무와 전략적으로 중요한 업무를 구분하고 있다. 단순한 접근처럼 보일 수 있지만, 빠르게 성장하는 기술 기업 환경에서는 이러한 우선순위 관리 역량이 확장 가능한 실행력과 만성적인 운영 과부하를 가르는 결정적인 차이가 된다.

아키로랩스 운영 모델의 효과를 가장 잘 보여주는 지표 중 하나는 인재 유지율이다.

필자가 아키로랩스를 이끈 지난 3년 동안 자발적으로 회사를 떠난 엔지니어는 단 한 명뿐이었다.

이는 오늘날 숙련된 엔지니어가 어떤 환경에서 일하기를 원하는지 보여주는 의미 있는 결과라고 생각한다. 엔지니어는 끝없는 승인 절차나 생산성이 낮은 회의에 시간을 낭비하고 싶어 하지 않는다. 대신 스스로 책임을 지고 자율적으로 일하며, 자신이 수행한 업무가 실제로 어떤 영향을 미치는지 확인할 수 있는 환경을 원한다.

특히 반복적인 개선 속도와 변화 대응 능력이 경쟁력을 좌우하는 기업용 AI 분야에서는 이러한 경향이 더욱 두드러진다.

오랫동안 엔터프라이즈 기술 업계는 조직 규모를 키워야만 사업을 확장할 수 있다고 믿어왔다. 그러나 기업용 AI 시스템을 구축해 온 필자의 경험은 오히려 그 반대일 수 있음을 보여준다.

때로는 더 빠르게 성장하는 가장 효과적인 방법이 의도적으로 작은 조직을 유지하는 것일 수 있다.
dl-ciokorea@foundryco.com