인터뷰 | “AI의 ROI, 하드웨어 아우르는 인프라 전략이 필요하다” 윤석준 레노버ISG 부사장

많은 기업이 AI 도입을 논의할 때 먼저 LLM(대규모 언어 모델)이나 AI 소프트웨어에 주목하지만, 실제 비즈니스에 AI를 적용하기 위해서는 하드웨어에 대한 고민도 필요하다. 특히 수많은 데이터를 실시간으로 처리하고 고도화된 모델을 운영하려는 대기업일수록 고성능 GPU 서버나 전용 AI 인프라에 대한 수요가 크다.

AI를 단순히 도입하는 수준을 넘어, 실제로 구현하고 운영하기 위해서는 이러한 물리적 기반이 뒷받침돼야 하지만, 막대한 비용이 드는 장비 투자 때문에 기술의 잠재력을 인지하면서도 선뜻 도입을 결정하지 못하는 기업이 많다.

여러 기업에 AI 인프라 솔루션을 공급하고 있는 레노버는 AI 기술에 대한 국내 기업의 관심과 실제 도입률 사이의 격차에 주목하고 있다. AI 기술에 대한 관심은 높지만, 실제 도입 자체는 훨씬 더 느리게 이뤄지고 있다는 분석이다. 레노버 인프라 솔루션 부문을 이끄는 레노버 글로벌 테크놀로지(ISG) 코리아의 윤석준 부사장은 “PoC(개념 증명) 단계에서 벗어나 AI를 전사적으로 확대하고 실질적인 ROI를 내려면, 소프트웨어뿐만 아니라 하드웨어까지 아우르는 인프라 전략이 새롭게 짜여야 한다”라고 조언했다.

“국내 기업, AI 수용력 높지만 제약 많아”

레노버 ISG는 기업용 IT 인프라 전반을 담당하는 레노버 사업부로 AI 인프라에 대한 고민이 있는 기업을 가장 가까이에서 마주하고 있다. 전통적으로 서버, 스토리지, 네트워크 등 데이터센터 핵심 인프라를 공급해 온 레노버는 최근 고성능 컴퓨팅(HPC), 엣지, AI 인프라 분야로 제품군을 빠르게 확장하고 있다. 이는 급증하는 시장 수요에 발맞춘 전략적 행보다.

윤석준 부사장은 레노버가 지난 2월 발표한 보고서인 ‘CIO 플레이북 2025’에서 AI에 대한 국내 IT 리더의 관심을 엿볼 수 있다고 설명했다. ‘CIO 플레이북 2025’는 아태지역 12개 시장을 포함해 전 세계 IT 및 비즈니스 의사결정권자(ITBDM) 2,900여 명을 대상으로 진행한 조사 결과를 담고 있다. 보고서는 과거 일부 기업에 국한됐던 AI 인프라 수요가 이제는 ‘보편적인 요구사항’이라 부를 수 있을 만큼 광범위하게 확산되고 있다고 봤다. 실제로 국내 기업의 76%는 향후 12개월 내 AI를 도입할 계획이라고 답해, APAC(56%)이나 글로벌 평균(49%)보다도 빠른 속도로 준비하고 있는 것으로 나타났다.

윤석준 부사장은 “국내 기업은 새로운 기술에 대한 수용력이 매우 빠른 편이고, AI 분야에서도 얼리 어답터의 특성을 보이고 있다”라며 “기술 적용의 필요성을 인지하면 적극적으로 도입을 검토하고, 실행 속도 또한 빠르게 가져가려는 경향이 있다”고 설명했다.

그러나 다소 의외인 결과도 있었다. AI 도입 계획은 국내 기업이 글로벌 평균을 훨씬 선회했지만, AI를 전사에 체계적으로 도입한 비율은 약 4%에 불과했다. 이 둘 사이에 큰 격차가 나타난 이유는 무엇일까? 실제 도입 과정에서 마주하는 현실이 여전히 녹록지 않기 때문이다. AI 인프라 도입에는 여러 장벽이 동시에 존재하지만, 레노버에 따르면 국내 기업은 ‘투자 대비 수익(ROI)’의 불확실성에 특히 민감하게 반응하고 있다.

AI 인프라는 고가의 GPU, 서버, 냉각 설비, 전력 인프라까지 수반하는 복합 투자이기 때문에 초기 도입 비용이 상당히 높으며, 투자 이후 구체적인 수익이나 성과가 언제, 어떤 방식으로 회수될 수 있는지에 대해서는 아직 명확한 사례가 부족하다. 윤석준 부사장은 “이러한 이유로 PoC 단계에서 멈추거나, 구체적인 확산 계획 없이 초기 검토에만 머무르고 있는 경우가 많다”라고 말했다.

또한 ‘인재 부족’이나 ‘규제’와 같은 현실적인 문제도 있다. 특히 생성형 AI 도입에는 대용량 데이터의 처리 및 운영 과정이 필연적으로 요구되는데, 최근에는 데이터 주권과 지적 재산권을 둘러싼 법적, 정책적 요구 사항이 국내외 모두에서 강화되는 추세다. 윤석준 부사장은 “국내 기업은 데이터가 해외 클라우드로 유출될 가능성, 또는 기술적 소유권이 모호해지는 상황을 우려하고 있다. 반도체, 금융, 공공 등 보안 요구 사항이 높은 산업군일수록 클라우드 기반 인프라를 자유롭게 활용하기 어려운 경우가 많다. 이런 이유로 온프레미스 또는 하이브리드 클라우드에 대한 선호도가 뚜렷하다”라고 설명했다.

인프라 관점에서 구체적으로 살펴보면, 국내 기업의 67%가 AI 워크로드 운영에 온프레미스 또는 하이브리드 솔루션을 활용하는 것으로 나타났다. 이는 국내뿐만 아니라 글로벌 시장에서 보안 강화, 저지연 환경 구축, 운영 유연성에 대한 수요가 높아진 데 따른 결과로 해석된다. 다만 AI를 위해 퍼블릭 클라우드 대신 온프레미스나 하이브리드 솔루션을 활용하는 국내 기업의 비율은 아태지역(65%), 글로벌 시장(63%)보다 약간 더 높았다.

AI 인프라 구축, 기술만큼이나 운영 전략도 중요

레노버가 트루스케일(TrueScale) 솔루션을 기반으로 AI 인프라 구축을 지원하고 있는 이유도 여기에 있다. 레노버의 서비스형 인프라(Infrastucture as a Service) 제품군인 트루스케일은 지난해부터 기존 데이터센터 자원에 더해 GPU를 온디맨드 방식으로 제공하는 서비스형 GPU(GPU as a Service) 모델로 범위를 확장했다. 온프레미스 환경에 AI 컴퓨팅 자원을 제공하고 운영 서비스를 지원하는 트루스케일을 통해 초기 투자가 부담되는 기업에게 실사용 기반의 유연한 접근 방식을 제공하겠다는 것이다.

규제가 까다로운 산업에서는 AI 인프라의 초기 투자 비용보다도 높은 통제권과 유연한 확장성이 더 고민일 수 있다. 레노버는 씽크시스템(ThinkSystem) 시리즈를 중심으로 산업별 AI 요구 사항에 최적화된 확장형 서버 제품군을 제공하고 있다. 레노버는 금융, 제조, 공공 등 각기 다른 규제와 운영 환경을 가진 산업군에서도 AI 학습과 추론, 엣지 컴퓨팅 등의 워크로드가 안정적으로 운영될 수 있도록, 플랫폼 호환성과 물리적 구성의 유연성을 고려해 서버를 설계하고 있다고 설명했다. 기업이 기존 IT 자산과 무리 없이 연동할 수 있도록 가상화, 클라우드 플랫폼과의 호환성도 높였다.

이 같은 AI 인프라 솔루션은 전 세계 기업을 대상으로 하지만, 국내 데이터센터 환경에 특히 잘 맞는 기술도 있다. 수랭식 냉각 솔루션인 ‘넵튠(Neptune)’이 대표적인 예다. 전체 대지 면적이 좁은 국내 데이터센터 환경에는 ‘공간 효율성’이 매우 중요한 고려 요소다. 한정된 랙 안에 고성능 장비를 밀도 높게 구성하는 경우가 많아 전통적인 공랭 방식만으로는 발열을 감당할 수 없는 상황이 발생하기 쉽다. 윤석준 부사장은 “AI 서버 성능이 고도화하면서 발열과 전력 소모가 함께 증가하고 있다. 공간 효율성에 대한 요구가 높은 국내 고밀도 데이터센터 환경에서 앞으로는 수랭식 냉각 기술이 사실상 선택이 아닌 필수가 될 것”이라고 전망했다.

AI 인프라가 고도화되면 연산 성능뿐 아니라 에너지 효율, 공간 활용, 운영 안정성 등 종합적인 요소가 함께 고려돼야 한다. 물리적 제약과 규제, 비용 문제 등이 복합적으로 얽힌 AI 인프라 시장에서는 단일 제품이나 기술만으로 모든 해법을 제공하기 어렵다. 결국 다양한 기술 요소를 유기적으로 통합하고 고객의 개별 요구에 맞춰 최적의 솔루션을 제공하려면 폭넓은 파트너십이 필요할 가능성이 높다.

레노버 역시 점점 더 정교해지는 AI 인프라 수요에 대응하기 위해 핵심 기업과 협업해 현장 적용성을 높이는 기술 전략을 택하고 있다. 대표적인 사례가 바로 엔비디아와의 전략적 파트너십이다.

윤석준 부사장에 따르면 두 기업은 서버 설계부터 AI 최적화 플랫폼까지 긴밀하게 공동 개발을 진행해왔으며, MGX 기반 서버나 블랙웰(Blackwell) 아키텍처 적용 시스템 같은 최신 인프라를 현장에 빠르게 공급하고 있다. 대표적인 성과는 고집적 고성능 AI 서버인 SC777이다. 지난해 10월 출시된 SC777 V4 넵튠은 6세대 오픈 루프 및 직접 온수 냉각 기술을 탑재한 첨단 수냉식 서버로, 블랙웰 GPU를 비롯해 엔비디아의 CUDA 소프트웨어 스택까지 통합 설계되어 있다. 이를 통해 사용자가 복잡한 설정 없이 곧바로 AI 워크로드를 시작할 수 있도록 구성된다.

레노버와 엔비디아의 협업은 기술 결합을 넘어 다양한 활용 분야로 확장되고 있다. 특히 엣지 컴퓨팅, 로보틱스, 자율주행 등 고성능 연산이 요구되는 분야에서 긴밀한 기술 협업을 지속하고 있다. 윤석준 부사장은 “엣지와 자율주행, 로보틱스 같은 분야는 연산 성능뿐 아니라 공간 효율성, 전력 소비, 실시간 처리 성능 등 수많은 요소가 동시에 고려돼야 한다. 파트너와의 협업을 통해 복합적인 요구를 충족하는 기술 역량을 확보하는 것이 핵심”이라고 설명했다.

윤석준 부사장에 따르면 국내 AI 인프라 시장은 이제 막 도입의 문턱을 넘은 상태다. 국내 기업은 기술 수용 속도가 빠르고 추진력도 높지만, 이로 인해 충분한 검토 없이 속도 중심의 도입이 이뤄지는 경우도 적지 않다. 윤석준 부사장은 이러한 추진력을 명확한 성과로 연결하려면 복잡함을 줄이고 실현 가능성을 높이는 인프라 전략이 필수적이라고 강조하면서, “향후 시장의 성패는 단순한 기술 도입을 넘어, 운영 효율성, 데이터 통제력, 에너지 최적화, 그리고 산업별 맞춤화된 접근 방식을 얼마나 현실화할 수 있느냐에 달려있다”라고 조언했다.
yuseong.kim@foundryco.com