AI와 상생 궁합··· 2025년 CIO 의제로 ‘엣지 컴퓨팅’ 뜬다

엔터프라이즈 AI의 다음 단계가 사람의 개입을 최소화하는 에이전틱 시스템이라는 관측이 유력하다. 가트너의 최근 보고서에 따르면 올해 75%의 CIO가 AI 예산을 늘렸다. 생성형 AI가 더 다양한 기기에 적용하고 자율적인 의사 결정 기능을 부여하면 실시간 데이터 활용을 늘리고 과도한 클라우드 비용을 피할 수 있다. AI와 더불어 엣지 컴퓨팅이 부상하는 배경이다.

엣지 컴퓨팅은 데이터 소스 인근에서 데이터를 처리함으로써 더 빠른 의사결정을 가능하게 하고 데이터 전송을 최소화하여 비용을 절감할 수 있어 AI 활용 측면에서 매력적이다. 전 백악관 CIO이자 사이버 보안 회사 포탈리스 솔루션의 설립자인 테레사 페이튼은 “유망한 개념에 그쳤던 엣지 컴퓨팅이 이제 많은 산업에서 주요 도구로 진화하고 있다. 2025년이면 엣지 컴퓨팅은 AI와 IoT가 확장됨에 따라 더욱 널리 보급될 것”이라고 전망했다.

일례로, 위스콘신에 본사를 둔 전기 공급 회사인 데어리랜드 전력 협동조합은 현장 인프라 최적화를 위해 생성형 AI를 도입했다. 회사의 부사장 겸 CIO 네이트 멜비는 “AI로 인해 엣지 컴퓨팅의 의미가 커졌다. 엣지 컴퓨팅은 데이터 처리 지연을 줄이는 데 도움이 되기 때문이다. 실시간 처리가 필요한 상황에서 이는 큰 이점이 될 수 있다”라고 말했다.

엣지 처리의 증가가 AI의 전반적인 도입과 함께 이뤄진다는 전망에 동의하는 이들이 많다. “미션 크리티컬한 엔터프라이즈 사용 사례에서 AI가 확산되는 가운데, 이러한 AI 애플리케이션 중 일부는 엣지로 이동할 것이다. 엣지 컴퓨팅은 지연 시간을 줄이고 비용을 절감하며 데이터 노출 위험을 낮출 수 있다”라고 분산형 클라우드 컴퓨팅 플랫폼 기업 아카마이의 EVP 겸 CTO인 로버트 블루모페 말했다.

그러나 오늘날 비즈니스 현장에서 생성형 AI를 둘러싼 과장은 극심하며, 실제 가치를 창출하는 사용 사례는 소수에 그친다. AVOA의 CIO 전략 고문인 팀 크로포드는 리더들에게 현명한 투자를 해야 한다고 경고했다. 그러면서도 그는 생성형 AI와 어우러진 특정 엣지 애플리케이션에 많은 기회가 있어 이 분야를 탐색할 가치가 있다고 전했다.

엣지에 쏠리는 CIO의의 관심

최근 엣지 컴퓨팅에 쏠리는 관심은 크다. IDC의 추정에 따르면 2024년 엣지 컴퓨팅에 대한 전 세계 지출이 14% 증가할 것으로 예상된다. 이러한 관심의 주요 원동력은 AI를 실용화하려는 움직임이다. 엣지 컴퓨팅이 가지는 탁월한 저지연성과 개인정보 보호에 주목하는 배경이다.

블루모페는 “엣지 컴퓨팅 사용이 빠르게 확장되는 확인하고 있다. 우리 스스로도 자체 애플리케이션에 엣지 컴퓨팅을 사용하고 있으며, 고객들도 점점 더 많은 애플리케이션에 엣지 컴퓨팅을 도입하고 있다”라고 말했다. 2025년에는 더 많은 CIO가 엣지에서 AI를 구현할 계획이라고 그는 덧붙였다.

멜비 또한 “내년에 우리는 엣지 컴퓨팅을 활용하여 운영 의사 결정 인텔리전스를 향상하고 지능형 자산을 향한 궤도를 개선하고자 한다. AI와 엣지 컴퓨팅은 고도로 지능적인 차세대 산업 디지털 운영을 실현하는 데 필수적인 요소가 되고 있다. 이는 새롭고 네트워크화된 역동적인 에너지 생태계를 위한 기반”이라고 말했다.

포탈리스 솔루션의 페이튼에 따르면 데이터 근접 처리는 소매, 제조, 고객 경험 등 즉각적인 조치나 실시간 인사이트가 필요한 애플리케이션에 특히 유용하다. 그녀는 “실시간 의사 결정과 데이터 처리를 우선시하는 조직은 2025년 이후의 로드맵에 엣지 컴퓨팅을 도입할 계획을 세워야 할 것”이라고 그녀는 말했다.

AI와 엣지, ‘손에 손잡고’

엣지 컴퓨팅은 엔드포인트에서의 실시간 데이터 처리이며, AI는 확실한 지원군이라고 소프트웨어 회사 비자기의 CIO 안토니오 바스케스는 말하며, “AI는 데이터 전송, 확장성, 보안, 비용 측면에서 추가적인 효율성을 제공함으로써 과거에 기술 도입을 늦추었던 문제들을 해결하는 데 기여할 수 있다”라고 말했다.

운영상의 이점도 고려할 가치가 있다. 컴퓨팅 회사 매크로메타의 CEO이자 공동 설립자인 체탄 벤카티시는 “AI를 활용하면 네트워크 엣지에서 실시간 지능형 데이터 처리를 가능하다. 즉 AI는 엣지 컴퓨팅의 의미를 더한다”라고 말했다.

이 조합을 통해 성능 향상, 향상된 사용자 경험, 새로운 애플리케이션 전송 방법, 향상된 복원력을 실현할 수 있게 된다. 또한 AI 시스템에서 논란이 되는 주제인 데이터 프라이버시를 보호할 수 있다는 점도 추가적인 이점이다. “민감한 데이터를 로컬에서 처리하면 데이터 주권 및 규정 준수에 대한 우려에 대응할 수 있다”라고 그는 말했다.

데이터가 처리 방식과 위치의 개선은 긍정적인 비즈니스 성과로 이어진다. 페이튼은 “AI가 발전함에 따라 신속한 데이터 처리에의 필요성도 커지고 있다. 엣지 컴퓨팅은 비즈니스 경쟁 우위를 확보하는 데 필수적인 요소가 되었다”라고 말했다.

엣지에서의 AI 사용 사례

AI 추론 역량을 엣지에 배치하면 속도와 개인정보 보호가 중요한 수많은 시나리오에서 빛을 발한다. 벤카테시는 “엣지 AI를 사용하면 데이터 소스와 가까운 곳에서 가장 중요한 의사결정을 즉시 내릴 수 있다. 이를 통해 이전에는 불가능했던 사용 사례가 열린다”라고 말했다.

사용자를 대면하는 많은 상황이 그렇다. 페이튼은 안면 인식 기술, 반자율 주행 차량의 실시간 교통 업데이트, 커넥티드 디바이스 및 스마트폰의 데이터 기반 개선 사항을 가능한 분야로 언급했다. 그녀는 “소매업에서 AI는 스마트 기기를 통해 실시간으로 개인화된 경험을 제공할 수 있다. 의료 분야에서는 웨어러블의 엣지 기반 AI가 이상 징후를 감지하면 즉시 의료 전문가에게 알려 생명을 구할 수 있다”라고 설명했다.

그리고 AI와 엣지 컴퓨팅의 확실한 활용처는 스마트 시티라고 비사기의 바스케스는 말했다. 그는 엣지 AI 모델이 신호등을 제어하는 것 외에도 시민 안전, 자율 교통, 스마트 그리드, 자가 치유 인프라 등 다양한 방식으로 도움을 줄 수 있다고 전했다. 이미 바레인, 글래스고, 라스베이거스 등의 도시에서 도시 계획을 개선하고 교통 흐름을 원활하게 하며 공공 안전을 지원하기 위해 AI를 활용한 실험이 진행되고 있다.

에너지 업계에서도 AI를 사용하여 배출 목표를 달성하고 재생 에너지로 전환하며 전력망의 복원력을 높이기 위한 노력이 진행 중이다. 자체 관리형 지능형 인프라는 데어리랜드의 멜비에게 특히 중요한 분야다. “우리는 보다 유연한 에너지 교환을 수용하고, 에너지 생성을 분산하며, 실시간 운영에서 많은 자원을 혼합하려고 노력하고 있다. AI와 엣지 컴퓨팅을 활용하면 명확하고 예측 가능한 경계를 설정하여 기계 결정을 내림으로써 복잡한 운영 결정의 위험을 효과적으로 줄일 수 있다”라고 그는 말했다.

그에 따르면 한 가지 구체적인 활용처는 비용과 예측을 기반으로 풍력, 태양열, 배터리 스토리지와 같은 여러 에너지원을 선택하고 균형을 맞추고 양방향 전력 흐름을 자동으로 최적화하는 것이다.

또 다른 분야는 제조업이다. 아카마이의 블루모페는 제조사가 엣지에서 AI 알고리즘을 사용하여 생산 품질과 작업장 안전을 모니터링하고 생산 프로세스를 실시간으로 조정할 수 있는 시나리오를 제시했다. 여기에는 예측 유지보수 및 기계 자가 진단도 포함될 수 있다.

AVOA의 크로포드는 극장에 있는 군인과 같은 특수한 상황도 고려할 수 있다고 전했다. 하지만 그는 엣지 AI를 포괄적 기술이라기보다는 특수한 사용 사례로 보는 입장이다. “엣지에서의 AI는 여전히 틈새 시장”이라며, “모델 학습에 드는 높은 비용과 낮은 수익률 때문이다. 비용을 상쇄할 만한 상당한 가치가 있어야 한다”라고 말했다.

엣지와 비즈니스

CIO들은 엣지 AI가 비즈니스에 미칠 수 있는 영향에 대해 신뢰성 향상, 데이터 전송 감소, 개인화 강화, 데이터 노출 위험 감소 등을 기대한다.

한 가지 주요 이점은 엣지 인프라의 안정성 향상이다. 비자기의 바스케스는 “자가 복구 시스템은 안정성을 크게 높일 수 있다. 단 사건이 일어나는 곳과 가까워야 한다”라며, 로드 밸런싱, 내결함성 또는 예측적 이상 징후 탐지를 위한 AI 기반 구성 요소를 사용하여 구축될 수 있다고 설명했다.

멜비에 따르면 엣지에서의 자율적 AI는 기존의 보호 기능을 넘어 실시간 운영에 대한 전례 없는 대응력을 제공할 가능서을 가진다. 그는 “향상된 의사 결정 인텔리전스, 지속적이고 원활한 간소화된 자동화, 미래의 상호 운용성을 보장할 수 있는 디지털 에코시스템으로의 발전은 큰 이점”이라며, 특히 에너지 산업의 경우 예측적 접근 방식으로 전환함으로써 전력망 유지보수를 개선하는 데 도움이 될 수 있다고 설명했다.

운영상의 이점 외에도 개인화된 경험을 빠르게 제공함으로써 고객 경험을 향상시킬 수 있을 것으로는 기대도 있다. “오늘날의 사용자들은 즉각적이고 지능적이며 인사이트가 풍부한 온라인 경험을 기대한다. 그러나 상호 작용에는 일반적으로 멀리 떨어진 서버에 대한 API 요청 체인이 필요하기 때문에 지연 시간이 발생한다. 잘 설계되고 잘 배포된 엣지 AI는 최소한의 코드 변경으로 더 많은 기능을 통합하여 기업이 사용자가 원하는 실시간 대화형 경험을 제공할 수 있도록 지원한다”라고 매크로메타의 벤카테시는 말했다.

잠재적인 이점은 많지만, 기대치는 현실에 기반해야 한다고 크로포드는 강조했다. 또한 AI 학습 및 추론에 필요한 엄청난 전력 요구 사항으로 인해 물리적 한계가 있다는 점도 기억해야 한다. 그는 최근 아일랜드에서 발생한 전력망 장애로 인해 AI 처리와 같은 에너지 집약적인 계산이 제한되었던 사례를 지적했다.

올바른 엣지 AI 구현하기

열망보다는 신중한 낙관주의가 필요하다. 페이튼은 AI 전략을 비즈니스 성과와 연계하는 한편, ‘뛰지 말고 걷는’ 접근 방식을 취해야 한다고 조언했다. “나는 CIO에게 AI 및 엣지 컴퓨팅을 구현할 때 총 소유 비용, 보안 고려 사항, 비즈니스 복원력 계획을 완전히 이해할 수 있도록 파일럿 테스트-학습 접근 방식을 구현하라고 조언하고 싶다”라고 그녀는 말했다.

또한 CIO는 투자를 정당화하고 물리적 자산의 사용을 최적화해야 한다. 멜비는 조직이 해결하고자 하는 문제와 그 결과를 신중하게 고려할 것을 제안했다. “우리 업계에서 AI를 활용한 엣지 컴퓨팅은 이전에는 달성할 수 없었던 방식으로 우리를 도울 것이다”라면서도 CIO가 엣지에 모듈형 또는 소규모 데이터센터의 위치를 신중하게 계획해야 최대한의 가치를 얻을 수 있다고 덧붙였다.

또한 모든 AI 애플리케이션이 고성능 GPU에서 실행되는 LLM을 필요로 하지는 않으며, 따럿 현 애플리케이션에 적합한 모델을 선택하는 것도 중요하다고 블루모페는 강조했다. “사실 많은 엔터프라이즈 사용 사례에서는 일반 CPU에서 실행되도록 최적화된 작은 AI 모델이 훨씬 더 나은 솔루션이다. 이러한 최적화된 모델은 비용을 크게 낮출 수 있다”라고 말했다. 단 시장에 출시된 LLM의 수가 급증함에 따라 사용 가능한 옵션을 선택하는 작업도 점점 더 어려워지고 있다.

한편 플랫폼에 구애받지 않는 도구와 셀룰러 기술의 최첨단 발전을 활용하는 것이 엣지의 미래를 위해 중요하다는 진단이다. “AI 워크로드를 처리하고 엣지, 클라우드, 온프레미스 시스템을 원활하게 통합하는 하이브리드 클라우드 솔루션을 활용할 수 있는 확장 가능하고 분산된 아키텍처를 우선적으로 고려해야 한다. 또한 5G와 같은 기술은 더 빠른 데이터 전송을 지원하여 엣지 컴퓨팅을 더욱 실용적이고 효과적으로 만드는 데 중요한 역할을 할 것”이라고 페이튼은 말했다.

더 깨끗한 미래를 위한 준비

크로포드는 CIO들이 다양한 방향의 역풍이 다가올 가능성에 주의하라고 조언했다. 그 중 하나가 탄소 발자국이다. 예를 들어, 기업의 환경 영향에 대한 정확한 회계 처리를 요구하는 EU의 CSRD(기업 지속가능성 보고 지침)가 2025년 초에 시행될 예정이다.

이러한 규정은 AI 이니셔티브에 걸림돌일 수 있다. 따라서 CIO는 AI에 뛰어들기 전에 가치 사슬을 구상하고, 위험한 기술 부채에 대한 환경을 평가하고, 복원력을 강화할 필요가 있다고 크로포드는 권장했다. 페이튼도 “전반적으로 보안, 안전, 복원력, 투명성, 공정성, 책임성에 대한 모범 사례를 구현하여 편견, 보안 취약성, 윤리적 문제와 같은 위험을 해결하는 것이 중요할 것”이라고 말했다.

벤카테시는 “그러나 아무것도 하지 않을 수는 없다. 인프라를 개선하고자 하는 CIO에게 AI를 통한 엣지 컴퓨팅 도입은 단순한 트렌드가 아니라 경쟁력을 유지하기 위한 필수 요소다”라고 강조했다.
[email protected]