120곳 넘어선 AI 프로세서 개발사 수··· 얼마나 성공할 수 있을까?

엣지 및 사물인터넷(IoT) 기기부터 대규모 데이터센터 가속기에 이르기까지 120여 곳의 기업이 AI 프로세서 개발에 나서거나 개발 의지를 드러내고 있다. 이들 기업이 현재까지 끌어모은 스타트업 투자금만 해도 135억 달러를 넘어섰으며, 지난해에만 1억 달러 이상을 조달한 기업이 수십 곳에 달했다.

AI 프로세서 시장에는 대규모 자금이 계속해서 몰리고 있다. 벤처 투자금 135억 달러 외에도 26개 상장사가 지금까지 투입한 R&D 비용만 600억 달러에 이른다. 이는 그래픽 시장 분석 전문 기관인 존페디리서치(JPR)가 2025년 3분기 AI 프로세서 시장 개발 보고서에서 제시한 수치다.

JPR 회장 존 페디는 성명을 통해 “AI 프로세서 시장은 1990년대 후반 3D 그래픽 붐과 2010년대 XR 열풍을 보는 듯하며, 마치 ‘캄브리아기 대폭발’ 같은 시기에 있다. 다만 현재 추적 중인 121개 기업은 2030년대가 되기 전 약 25곳만 살아남을 것으로 예상한다”라고 밝혔다.

페디는 이어 “이들 기업 대부분은 아직 실제 제품을 내놓지 못했고, 시장에 출시한 곳은 많아야 10% 수준이다. 대부분은 프레젠테이션 자료에 불과하다”라고 지적했다.

그는 가능성이 전혀 없는 기업도 있다고 언급했다. 실제로 121개 기업 중 49곳은 AI 학습용 프로세서를 개발하고 있는데, 이는 엔비디아(Nvidia)와 AMD 같은 업계 대기업과 정면으로 맞서는 구조다. 페디는 “이들을 ‘YANK(Yet Another Nvidia Killer)’라고 부를 수 있다. 실제로 해당 기업이 엔비디아를 대체할 가능성은 내가 복권에 당첨될 확률과 같다”라고 말했다.

페디는 또한 “심지어 엔비디아가 만드는 거의 모든 것을 구현할 수 있는 AMD조차 AI 시장에서는 존재감이 미미하다. 스타트업이 ‘더 빠르고, 더 저렴하며, 에너지를 덜 소모한다’는 실리콘 칩을 내놓는다고 해도, 델이나 슈퍼마이크로 같은 기업이 엔비디아나 AMD 대신 그 칩을 채택하도록 어떻게 설득할 수 있겠는가”라고 말했다.

현재 미국이 AI 하드웨어와 소프트웨어 분야에서 주도권을 잡고 있지만, 중국의 딥시크(DeepSeek)와 화웨이(Huawei) 역시 첨단 칩 개발을 이어가고 있다. 인도는 2029년 자체 GPU 생산을 목표로 한 국산화 프로그램을 발표했으며, 미국 정부의 정책 변화도 시장 판도를 흔들고 있다. 실제로 미국 정부는 지난 2분기에 수출 규제를 완화했으며, 이로 인해 엔비디아와 AMD가 사우디아라비아와 수십억 달러 규모의 거래를 체결할 수 있었다.

JPR은 현재 개발을 진행 중인 AI 프로세서 벤더를 5개 부문으로 구분했다. 이는 ▲초저전력 추론을 수행하는 마이크로컨트롤러나 소형 SoC를 포함하는 IoT 부문 ▲데이터센터 외부에서 활용되는 1~100W 범위의 온디바이스, 니어디바이스 추론을 수행하는 엣지 부문 ▲자동차 부문 ▲데이터센터 학습 부문 ▲데이터센터 추론 부문이다. 여러 벤더가 복수 부문에 동시에 진출하는 경우도 있어 일부 영역에는 중복이 있다.

5개 부문 중 가장 활발하게 제품이 개발되는 영역은 추론으로, 스타트업만 90곳에 이른다. 페디는 추론 적용 사례가 “엄청나게 방대하다”라고 표현했다. 그는 웨어러블 헬스 모니터와 스마트 차량 센서부터 가정용 기기, 각종 제조·생산 라인의 기계, 물류 로봇, 심지어 외과 수술 로봇까지 “상상할 수 있는 거의 모든 분야에 활용될 수 있다”라고 설명했다.

추론은 범용성 또한 뛰어나다. 과거 세탁기나 커피머신 같은 이른바 ‘스마트 기기’는 사실상 한 가지 기능만 수행할 수 있었고 변화에 대응하지 못했다. 이에 대해 페디는 “추론 기반 시스템은 실시간으로 상황에 맞춰 조정하고, 유연하게 대응하며, 대안을 신속히 찾아낼 수 있다”라고 말했다.

페디는 냉소적으로 접근하면서도 “지금은 매우 흥미로운 시기”라고 말했다. 그는 “아날로그 뉴런 프로세서나 메모리 내 프로세서와 같은 혁신적인 아이디어가 실제로 시도되고 있다”라고 덧붙였다.
dl-ciokorea@foundryco.com