“기업 인프라 관리 관행 위험하다” 시카고상업거래소 중단 사태의 교훈

CME 그룹이 스스로를 ‘세계 최대 파생상품 거래소’라고 소개하는 만큼, 물리적 장애로 글로벌 금융 시스템이 수 시간 중단된 이번 사건은 IT 리더에게 여러 교훈을 남겼다.

블룸버그는 지난달 29일 미국 일리노이 오로라 지역에 위치한 사이러스원(CyrusOne) 데이터센터 단지의 냉각 시스템에서 문제가 발생해, CME의 거래가 수 시간 동안 중단됐다고 밝혔다. 보도에 따르면 해당 데이터센터는 매일 수조 달러 규모의 파생상품 거래를 처리하는 핵심 허브로 알려져 있다. 관계자는 사건 당시 강추위에도 불구하고 “데이터센터 내부 온도가 약 38도를 넘어섰다”라고 전했다.

사이러스원은 “일리노이 오로라에 있는 시카고원(Chicago 1) 데이터센터의 운영을 안정적인 상태로 복구했다. 연속성을 강화하기 위해 냉각 시스템에 추가 이중화 장치를 설치했다”라고 설명했다.

그레이하운드리서치의 수석 애널리스트 산치트 비르 고기아는 이번 사태에 대해 “CME 거래 중단 사태는 거버넌스, 페일오버 로직, 환경 공학이 현대 인프라가 요구하는 운영 현실과 부합하지 않을 때, 데이터센터 내부의 단일 물리적 고장이 어떻게 글로벌 시장 혼란으로 확산되는지를 보여주는 사례”라고 말했다.

고기아는 “이번 사건은 예상치 못한 일이 아니었다. 냉각 시스템의 물리적 특성, 현대 컴퓨팅 환경에서 증가하는 열 부하, 그리고 냉각 및 환경 설비를 핵심이 아닌 주변 요소로 여겨온 오래된 관행이 맞물리면서 예측 가능한 형태로 발생했다”라고 설명했다.

그는 단순히 냉각 플랜트 고장으로 여러 냉각기가 동시에 멈춘 것을 넘어, 해당 설비의 백업 시스템까지 작동하지 않았다는 점이 근본적인 문제라고 지적했다. 그는 “문제가 발생해도 단일 장비에만 영향을 끼치도록 설계되고 테스트됐어야 할 이중화 장비 전반에서 연쇄적으로 고장이 발생했다. 급격한 온도 상승으로 장비가 위험 수준에 도달하면서 CME가 엔진을 가동 상태로 유지하는 것이 사실상 불가능해졌고, 열 곡선이 일정 지점을 넘어선 뒤에는 사람의 판단 속도가 상황을 따라가지 못했다”라고 말했다.

이중화 전략 재점검할 때

고기아는 “더 큰 문제는 CME가 부하를 넘겨받을 수 있는 보조 데이터센터를 갖추고 있었다는 점이다. 그러나 페일오버(시스템 대체 작동) 기준이 지나치게 높게 설정됐고 전환 절차도 수동으로 제어됐다”라면서, “즉시 백업을 가동하지 않고 냉각 문제가 자연적으로 해결되기를 기다린 결정은 오늘날 시장의 운영 속도를 따라가지 못하는 거버넌스 모델을 그대로 드러낸 사례”라고 설명했다.

그는 “열 관련 장애는 기존 재해복구 매뉴얼이 가정하는 방식으로 나타나지 않는다. 이런 장애는 몇 분 내에 급격히 악화되며, 시설이 제때 복구될지 파악하기도 어렵다. 사람의 확신에 의존하지 않는 자동화된 대응이 필요하다”라고 강조했다.

무어 인사이트 앤 스트래티지의 부사장이자 수석 애널리스트인 매트 킴벌은 “이번 사건은 IT 임원과 데이터센터 담당자 사이에서 때때로 발생할 수 있는 소통 문제도 드러냈다. IT 임원은 주로 서버와 애플리케이션이 돌아가는 IT 서비스 계층에 초점을 맞추지만, 데이터센터 담당자는 냉각, 전력, 공조 등 물리 인프라를 중심으로 바라본다”라고 말했다.

그는 특히 데이터센터에서 냉각, 전력, 화재 위험, 물리적 보안 등 운영 요소가 IT 임원의 관심 밖에 있는 경우가 많다고 진단했다. 그는 “설령 업무 영역 내의 일이라 하더라도 주요 관심사가 되는 경우는 드물다. IT 조직에 몸담고 있을 때도 이런 경향이 분명했다”라고 설명했다.

킴벌은 이어 “이번 사건은 조직이 이중화와 복원력을 새로운 관점에서 재점검해야 한다는 점을 보여준다”라고 조언했다. 그에 따르면 IT 조직은 일반적으로 애플리케이션, 서버, 워크로드, 많아야 클러스터 수준에서만 복원력과 이중화에 집중하곤 한다. 그러나 데이터의 가치가 높아지고 ‘비즈니스 크리티컬’이나 ‘미션 크리티컬’이라는 개념이 실질적인 의미를 갖게 된 만큼, 보다 넓게 인프라 전체 관점에서 살펴볼 필요가 있다는 의견이다.

위기 관리 교훈

킴벌은 지멘스 DCIM 같은 데이터센터 관리 도구를 예로 들며, 랙과 서버에 전력과 냉각을 공급하는 장비에서 상당한 양의 원격 측정 데이터를 수집할 수 있다고 설명했다. 그는 “머신러닝을 활용한 심층 원격 측정을 통해 장애를 사전에 예측할 수 있다. 사이러스원 데이터센터에서 발생한 냉각기 고장 역시 충분히 예측 가능했어야 한다. 페일오버가 실제로 가능하려면 이중화 장비가 운영에 직접 투입돼야 한다”라고 말했다.

인포테크리서치그룹의 수석 기술 고문 존 애넌드는 이번 사태에서 얻어야 할 중요한 교훈이 있다고 언급했다. 그는 “아웃소싱 데이터센터 업체 문제 때문에 CME 같은 대규모 기업조차 심각한 비즈니스 중단을 겪었다는 점은, 비즈니스 연속성 문제의 핵심이 ‘발생 여부’가 아닌 ‘언제 발생하느냐’에 있다는 사실을 분명히 보여준다”라고 분석했다.

그는 “사이러스원이 에퀴닉스나 NTT데이터만큼 대규모 업체는 아니지만, 최근 AWS와 클라우드플레어 사례에서도 알 수 있듯 규모가 크다고 해서 안전한 것이 아니다. 이번 사건은 DNS 같은 복잡한 문제도 아니고 비교적 단순한 HVAC 장애였지만, 근본 원인이 무엇이든 모든 기업은 재해복구와 비즈니스 연속성 계획을 갖춰야 한다”라고 강조했다.

또한 애넌드는 준비 여부 자체가 아니라, 계획을 실제로 이행하는 과정에서의 리스크를 관리하는 것이 중요하다고 조언했다. 그는 “어느 시점에 CME 그룹의 사고 대응 책임자는 보조 데이터센터로 페일오버하는 대신 사이러스원이 문제를 직접 해결하도록 기다리는 쪽을 선택했다”라며, “이는 확실하지만 짧은 서비스 중단 대신, 길게는 10시간에 이르는 불확실한 장애로 이어졌다”라고 말했다.

그는 ‘최선을 바라되 최악에 대비하라’라는 원칙을 모든 조직이 받아들여야 한다면서, “이번 사례는 콜로케이션 업체의 전문성과 규모를 떠나, 결국 CME 그룹이 내린 선택에 대한 책임은 스스로에게 있다는 점을 보여준다”라고 평가했다.

이어 애넌드는 “페일오버는 데이터 손실이나 평판 훼손 같은 리스크를 동반하며, 사이트를 다시 복구할 때 비용과 복잡성도 따른다. 이때 IT 부서의 의무는 조직 리더가 판단해야 할 리스크 수준을 맥락에 맞게 제시하는 것이다. 구체적으로는 현재 운영 중인 환경에서 다음 1시간 또는 4시간 안에 문제를 해결할 수 있을 가능성이 얼마나 되는지, 보조 데이터센터를 가동할 때 발생할 30분, 1시간, 2시간짜리 중단과 비교해 어떤 선택이 더 합리적인지를 따져야 한다”라고 조언했다.

점점 더 ‘뜨거워지는’ 업계

킴벌은 IT 임원들과 논의할 때마다 IT 환경을 전체적으로 바라보는 관점의 중요성을 강조한다고 말했다. 이는 서버와 애플리케이션이 작동하는 ‘랙 내부’뿐 아니라, 전력 예산, 전력 품질, 냉각 등 ‘랙 외부’ 인프라까지 함께 살펴야 한다는 의미다. 그는 기술 스택의 모든 층위에서 이중화가 확보돼야 하며, 전력망 수준에서 발생할 수 있는 문제까지 고려해야 한다고 설명했다. 그는 “최근 전력 문제 사례가 점점 더 빈번해지고 있다”라고 지적했다.

고기아는 “CIO와 IT 임원이 반드시 인식해야 할 점은 복원력이 더 이상 전략 문서에 추상적으로 적어두는 개념이 아니라, 일상 운영의 책임이 됐다는 사실이다. 업계는 말 그대로도 비유적으로도 ‘그 어느 때보다 뜨거워지고 있다’”라고 말했다.

그에 따르면 서버는 더 많은 전력을 소모하고, 칩은 더 많은 열을 내며, 냉각 설비는 한계치 근처에서 운영되고 있다. 고기아는 “여유가 적어지고 있는 만큼, 냉각 장애 발생률이 적다거나 서서히 진행된다는 기존 가정은 더 이상 유효하지 않다”라고 경고했다.

고기아는 “환경 시스템은 이제 소프트웨어 버그, 전력 중단, 네트워크 장애와 같은 위험과 동일한 수준에 있다. 그만큼의 투자와 점검이 필요하다”라고 강조했다. 이는 과거에 냉각을 단순한 인프라로만 취급했더라도 이제는 가용성 논의의 일부로 다뤄야 한다는 주장이다. 그는 “컴퓨팅 자원 주변의 물리적 환경은 디지털 구성 요소만큼이나 기업 운영 중단에 큰 영향을 미칠 수 있다”라고 덧붙였다.
dl-ciokorea@foundryco.com