칼럼 | 직접 운영하며 깨달은 ‘중소기업 IT 전략 및 AI 도입이 어려운 이유’

몇 년 전, 필자는 25년이라는 시간을 보냈던 기업 IT 조직에서 벗어나게 됐다. 부동산 서비스와 엔지니어링 분야에 특화된 글로벌 전문 서비스·투자관리 기업에서 오랫동안 IT 책임자로 일해왔지만, 어느 날 갑자기 홀로서기를 하게 된 것이다.

디지털 트랜스포메이션과 고객 중심 디지털 솔루션 개발을 이끌어온 경력 덕분에 또 다른 글로벌 기업에서 리더 역할을 맡을 수도 있었지만, 다른 길을 택했다. 내부 전략위원회도 없고, 외부 비즈니스·기술 컨설턴트를 상시 고용할 여력도 부족한 중소기업에 역량을 쓰기로 결정했다. 조사 과정에서 알게 된 바에 따르면, 많은 중소기업이 3년 뒤를 내다보는 장기 계획을 세우지 않는 것으로 나타났다. 기술 투자 결정은 고객 전화를 받는 틈새, 밤늦게 떠오른 아이디어, 검색이나 믿을 만한 지역 IT 전문가의 조언을 바탕으로 즉석에서 이뤄지는 경우가 많았다.

중소기업 IT의 현주소

필자가 만난 많은 중소기업 경영자는 ‘데이터 거버넌스 프레임워크’나 ‘디지털 트랜스포메이션 전략’처럼 대기업 IT 회의에서 흔히 오르내리는 용어에 익숙하지 않았다. 조사 과정에서 확인한 사실은, 중소기업도 나름의 언어와 표현 체계를 갖고 있다는 점이다. 또한 그 안에서도 일정한 패턴은 존재했다. 이를 5단계로 나누면 다음과 같다.

• 생존 단계: 스프레드시트, 공유 이메일함, 임시방편 도구로 버티는 단계다. 당장은 돌아가지만 한계가 금방 드러난다.
• 혼란 확산: 비즈니스가 성장하면서 기존 도구가 더 이상 맞지 않는다. 경영진은 통제력을 잃어가는 느낌을 받는다.
• 도구 과부하: 팀별로 필요한 앱을 골라 쓰기 시작하면서 통합의 여지가 사라진다.
• 가시성 부족: 위험과 책임은 커지지만, 전체 상황을 한눈에 파악할 수 있는 관점이 부족하다.
• 전진 단계: 기본 운영 체계가 안정되면서, 조직의 관심이 혁신과 속도로 이동한다.

확인한 바로는, 많은 중소기업 관계자가 CIO가 누구인지, 어떤 역할을 맡는 자리인지 정확히 알지 못했다. 그럼에도 불구하고 대기업 IT 리더들이 밤잠 설치는 고민과 비슷한 문제는 분명 존재했다. 통제하기 어려운 혼란, 시간과 비용 낭비, 그리고 AI에 대한 부담이다. 여기서 말하는 AI는 대기업이 추진하는 거대한 프로젝트가 아니라, 더 적은 비용으로 맞춤형 애플리케이션을 만들 수 있게 해주는 실용적 수준을 의미한다.

명확한 IT 예산 항목이 없더라도, 중소기업은 이미 기술에 상당한 비용을 쓰고 있다. 애널리시스 메이슨(Analysys Mason) 조사에 따르면 전 세계 중소기업의 IT 지출은 2027년에 2조 달러를 넘어서고, 2029년에는 2조 3,400억 달러에 이를 전망이다. 그 증가 속도도 점차 빨라지고 있다. 따라서 문제의 본질은 자금이 아니다. 핵심은 명확성, 기업 용어로 말하면 ‘전략’이다. 분명한 방향이 없으면, 예산은 잘못된 도구에 쓰이거나 올바른 도구라도 잘못된 순서로 도입돼 효과를 거두기 어려워진다.

중소기업이 자본 지출에서 가장 크게 우려하는 부분 중 하나는 통합 문제다. 많은 기업이 자동화를 최우선 과제로 꼽고 있지만, 절반 가까이는 새로운 도구를 기존 시스템과 연결하는 일이 가장 어려운 기술 과제라고 말했다. 이제 중소기업은 이 문제를 해결하기 위해 투자하려 하고 있으며, 실제로 작동하는 커넥터를 제공할 것을 벤더에게 요구하고 있다. 이때 필요한 것은 복잡한 기술이 아니라 단순한 로드맵이다. 명확한 지도가 있다면 선택이 쉬워지고 혼란도 줄어든다. 로드맵을 공유하면 동일한 예산으로도 더 큰 효과를 낼 수 있고, 비즈니스 속도 역시 훨씬 빨라진다.

AI의 위험 인식하기

그렇다면 AI는 어떨까? 모든 문제를 해결해줄 것처럼 보이지만, AI는 단순한 도구가 아니다. AI는 업무 방식의 경제성, 변화의 속도, 리스크의 범위를 통째로 바꿔놓는 기술이다.

먼저 AI는 자동화와 데이터 분석의 진입 장벽을 크게 낮춘다. 미국 상공회의소 기술참여센터 보고서에 따르면 미국 중소기업의 40%가 생성형 AI를 사용하고 있다고 답했는데, 이는 2023년 대비 거의 2배 수준이다. AI 사용 분야는 주로 마케팅, 고객 인사이트 분석, 고객 커뮤니케이션 등이다. AI를 사용하는 중소기업 가운데 91%는 AI가 향후 성장에 도움이 될 것이라고 봤고, 86%는 업무 효율이 높아졌다고 답했다. 또한 89%는 AI 덕분에 비즈니스 운영 자체가 더 즐거워졌다고 밝혔다.

또한 AI는 통합 문제를 전면으로 끌어올린다. AI의 가치는 결국 그 기술이 연결되는 데이터와 프로세스의 품질에 달려있다. 도구가 과도하게 많은 상태에서는 AI가 잠깐은 도움될지 모르지만, 곧 상황이 더 악화될 수 있다. 중소기업 역시 통합이 가장 큰 걸림돌이라고 인정하며 이 문제 해결을 우선시하고 있다.

AI는 거버넌스의 중요성도 한층 높인다. AI 모델은 콘텐츠를 생성하고, 조언을 제공하고, 경우에 따라 직접 행동한다. 입력값과 프롬프트, 출력 결과를 제대로 통제하지 못하면 오류가 대규모로 퍼져나갈 수 있는 구조다. 많은 기업이 규제 준수 문제를 우려하고 있지만, 지역별로 제각각인 AI 규제 환경을 감당할 준비가 충분하지 않다. 새로운 규제에 ‘매우 잘 대비되어 있다’라고 답한 중소기업은 3분의 1 정도에 불과하며, 대부분은 현실적인 어려움이 클 것으로 예상하고 있다. 결국 AI는 도움이 되는 동시에 위험도 키운다. 쉽게 말하면, AI는 조직이 이미 갖고 있는 문제와 역량을 그대로 확대해 보여주는 기술이다.

리더십 공백 메우기

이 대목에서 자연스럽게 떠오르는 질문은 “그렇다면 이런 결정은 누가 내려야 하는가”다. 소유주나 규모가 큰 중소기업의 전문 경영인은 이미 여러 역할을 동시에 맡으며 바쁜 일상을 보내고 있다. 대부분의 경우 IT 운영은 관리형 서비스 업체(MSP)에 외주로 맡겨져 있으며, 전체 그림을 책임지는 사람은 없다. 젊은 구성원일수록 디지털 도구에 익숙하다는 점도 특징이다. CEO가 65세 이상인 중소기업의 45%는 명확한 디지털화 프로세스가 없는 반면, CEO가 25~34세인 기업에서는 이 비율이 11%에 불과했다.

OECD 보고서에 따르면 젊은 리더는 플랫폼 활용과 현장 중심의 실험 문화를 더 선호하는 경향이 있는 것으로 나타났다. 하지만 디지털 도구에 익숙하다고 해서 신뢰할 수 있는 시스템을 구축하는 역량이 자연스럽게 따라오는 것은 아니다. 어려운 부분은 여전히 프로세스 설계, 시스템 통합, 데이터 품질 확보, 변화 관리, 위험 관리다. 결국 이런 요소를 하나로 묶어 운영할 일관된 디지털 도입 전략이 필요하다는 점은 분명하다.

대기업은 운영을 위해 ITIL, COBIT, TOGAF, CMMI 등 수많은 프레임워크를 참고하고 있다. 그러나 중소기업이 이를 그대로 따라 할 필요는 없다. 중소기업 현실에 맞는 고유한 로드맵이 필요하다. 앞서 언급한 5단계는 직접 확인한 여러 현장에서 반복적으로 나타났다. 해결책은 더 많은 소프트웨어가 아니다. 올바른 순서로 도입하고, 더 명확한 선택을 내리는 것이 중요하다. AI는 성과를 키울 수 있지만, 잘못된 선택을 했을 때 돌아오는 손실 역시 더 커진다는 점을 기업이 명심해야 한다.

중소기업 리더라면 다음에 어떤 도구를 살지부터 고민할 필요는 없다. 지금 조직이 어떤 단계에 있고, 그다음에 밟아야 할 올바른 절차가 무엇인지부터 점검해야 한다. 조언하는 입장이라면 도구 소개에 집중하기보다, 상황을 명확하게 이해하도록 돕는 역할이 우선이다. 벤더 역시 자사 제품이 전략을 대신할 수 없다는 점을 인정하고, 고객이 기본 체계를 먼저 갖추도록 지원해야 한다. 기술은 비즈니스를 더 바쁘게 만드는 것이 아니라 더 나아지게 해야 한다. AI는 그 목표에 더 빨리 도달하도록 도울 수 있다. 하지만 전제는 명확하다. 조직이 향하고자 하는 ‘목표 지점’이 분명해야 한다.
dl-ciokorea@foundryco.com