칼럼 | AI 도입이 제자리걸음이라면, 문제는 기술이 아니라 ‘맥락’이다

필자는 올해 지능형 코파일럿, 자동화 에이전트, 워크플로우 보조 도구 등 다양한 형태의 AI에 과감히 투자한 여러 CIO와 이야기를 나눴다. 이들이 한결같이 들려준 이야기가 있다. 초기에는 눈에 띄는 성과가 있었지만, 곧 정체되거나 실패로 돌아가는 경우가 발생했다는 것이다.

AI는 그 어느 때보다 정교하게 정보를 요약하고 예측하며, 자동화할 수 있는 수준에 도달했다. 하루가 다르게 발전하고 있지만, 여전히 한 가지는 할 수 없다. 바로 기업의 비즈니스가 실제로 어떻게 작동하는지를 ‘제대로 이해하는 것’이다.

대부분의 기업용 AI 시스템은 숫자를 처리하고 데이터를 다루도록 설계돼 있지만, 이들은 대체로 고립된 상태에서 작동한다. 무엇을, 왜, 누구를 위해 해결하는지에 대한 맥락을 알지 못한 채 계산만 수행하는 셈이다.

이처럼 데이터와 해석 사이의 간극이 벌어지면 잘 설계된 AI 프로젝트도 빠르게 동력을 잃을 수 있다. 결국 ‘스마트 어시스턴트’나 ‘에이전틱 워크플로우’로 불리는 시스템도 기대를 충족시키지 못한 채 최종 사용자와 IT 팀 모두를 좌절하게 만든다.

이 점 때문에 필자는 ‘조직적 맥락’이 지능형 AI 시스템의 다음 발전 단계가 될 것이라고 확신한다. 이는 사람, 프로세스, 시스템, 정책이 유기적으로 연결된 살아 있는 구조를 의미한다. 맥락이 없다면 AI는 자동화 수준을 조금씩 높이는 데 그칠 뿐, 근본적인 변화를 이끌어내지는 못할 것이다.

데이터에서 인텔리전스로, 그리고 인사이트로

지난 10년 동안 데이터를 다루고 구조화하는 기술은 정교하게 발전해 왔다. 이제는 데이터를 넘어, 그 이면의 ‘지능형 맥락’을 설계해 AI 시스템과 플랫폼에 반영해야 할 때다.

조직적 맥락은 기업 내부를 세밀하게 이해하고 지속적으로 업데이트되는 상호 연결 계층이다. 이는 사람, 자산, 프로세스, 서비스, 기술, 신뢰, 리스크, 애플리케이션, 플랫폼 간의 관계를 유기적으로 연결한다. 구체적으로는 다음과 같은 요소들이 맥락에 포함된다.

• 직원의 부서, 근무지, 직무, 관리자, 접근 권한 등 사용자 속성
• 지급된 노트북이나 모바일 기기의 구성, 자산 상태, 보안 준수 여부 등 장비 정보
• 서비스형 소프트웨어(SaaS) 라이선스, 권한, 온프레미스 애플리케이션의 사용 패턴
• 네트워크 장비, 서버, 스토리지 간의 IT 인프라 의존 관계
• 각 팀의 업무 흐름과 운영 정책을 바탕으로 구성된 비즈니스 프로세스

기존 데이터베이스가 이런 정보를 부분적으로만 담는 것과 달리, 조직적 맥락 계층은 동적으로 작동한다. 예를 들어 인사(HR) 시스템, IT 서비스 관리(ITSM) 프로세스, 신원 관리 시스템, 네트워크 모니터링, SaaS 플랫폼, 협업 도구 등에서 수집한 데이터를 하나의 통합된 계층으로 연결한다. 이 계층은 각 요소 간의 변화와 상호 의존 관계를 실시간으로 추적한다.

맥락 인식형 서비스 관리의 실제 작동 방식

에이전틱 AI 시스템에 깊이 있는 맥락이 결합되면, 사용자 지원은 대규모 환경에서도 훨씬 개인화되고 직관을 갖춘 방식이 될 수 있다.

예를 들어, 영업팀의 한 직원이 런던에서 근무하며 맥북으로 특정 버전의 줌(Zoom)을 사용하다가 잦은 오류를 보고했다고 가정해 보자. 맥락 인식형 AI 지원 시스템은 직원의 부서와 근무지, 사용 중인 운영체제(OS)와 줌 버전, 그리고 동일한 네트워크 구간에서 이미 3명의 사용자가 유사한 문제를 제기했다는 사실까지 모두 파악할 수 있다.

이런 실시간 맥락은 AI가 즉각적으로 상황을 추론하고 최적의 다음 조치를 제안할 수 있도록 한다. 기존 방식이라면 여러 차례의 질의응답과 확인 절차를 거쳐야만 얻을 수 있었던 정보가 즉시 활용 가능한 형태로 제공되는 것이다.

마찬가지로 한 직원이 특정 애플리케이션에 접근 권한을 요청했다고 가정해 보자. 맥락 인식형 AI는 해당 직원의 라이선스가 비활성화됐다는 사실뿐만 아니라, 소속 부서의 정책이 해당 도구를 고객 업무용으로 사전 승인했다는 점도 자동으로 확인한다. 이후 AI는 별도의 승인 절차 없이 기존 라이선스를 즉시 재활성화할 수 있다.

이는 기존의 ‘데이터 파이프라인’에서 ‘맥락 파이프라인’으로 전환되는 흐름을 보여준다. AI는 단순히 ‘무엇이 일어났는가’에 그치지 않고, ‘왜 일어났는지’와 ‘다음에 무엇을 해야 하는지’까지 스스로 판단할 수 있게 된다.

조직 전반에 걸쳐 맥락이 적용되면, 수천 건의 요청 처리 과정에서 시간과 라이선스 비용이 상당한 수준으로 절감될 수 있다. 결과적으로 문제 해결 속도는 빨라지고, 직원 만족도는 높아지며 운영 비용은 눈에 띄게 줄어든다.

신뢰를 높이는 맥락의 역할

많은 IT 리더가 AI 도입의 최대 장벽으로 기술적 한계나 일자리 감소에 대한 불안을 꼽지만, 경험상 실제 장벽은 ‘신뢰’다.

직원과 조직은 업무 맥락을 이해하지 못하는 시스템을 신뢰하지 않는다. 실제 연구 결과에서도 AI에 대한 신뢰 수준과 향후 투자 확대 가능성, AI 프로젝트의 투자 대비 수익(ROI) 사이에 뚜렷한 상관관계가 나타났다. 즉, AI 기반 IT 시스템에 대한 신뢰가 높을수록 사용 빈도와 투자 규모가 함께 증가하고, 이는 더 높은 ROI로 이어질 수 있다는 것이다.

반대로 AI가 반복적으로 엉뚱한 답변을 내놓거나 사용자의 요청 의도를 제대로 파악하지 못하면, 사람들은 점점 AI 사용을 꺼리게 되고 도입 속도는 둔화된다.

조직적 맥락은 이런 흐름을 바꾼다. ‘누가 요청하고 있는지’, ‘무엇을 시도하는지’, ‘그 일이 왜 중요한지’를 AI가 인식하게 되면, 사용자도 AI를 더 신뢰하고 적극적으로 활용할 수 있다. 신뢰가 쌓이면 업무 효율은 자연스럽게 높아진다.

가트너(Gartner)는 ‘맥락 엔지니어링(context engineering)’을 전략적 우선순위로 설정하면, 기업이 AI 시스템을 비즈니스 목표에 맞게 지속적으로 발전시키고 변화에 유연하게 대응할 수 있다고 분석했다.

이는 단순히 AI가 프롬프트에 ‘어떻게’ 반응하는지를 학습시키는 단계에서 벗어나, 사용자의 ‘의도’를 이해하도록 훈련하는 방향으로의 전환을 의미한다. 이런 전환을 통해 IT 운영은 단순 기능을 넘어 비즈니스를 능동적으로 지원하는 전략적 역량으로 진화할 수 있다.

CIO의 과제는 ‘맥락의 통합’

이러한 맥락 기반 지능형 AI를 구축하려면 CIO는 HR, ID 및 접근 관리(IAM), 디바이스 관리, 보안, ITSM 등 여러 데이터 레이어를 하나의 일관된 모델로 통합해야 한다. 각 플랫폼은 또한 AI가 안전하게 맥락을 활용할 수 있도록 명확한 의사결정 경로와 사용 이력을 갖춘 ‘AI 친화적 아키텍처’로 설계돼야 한다.

이는 기존 시스템을 폐기하거나 교체해야 한다는 의미가 아니다. 이미 보유한 기술들을 유기적으로 연결해, AI가 접근하고 이해할 수 있는 모델로 통합하는 과정이다. 기술 리더가 이러한 조직적 맥락 조율에 우선순위를 두면, 그 성과는 분명해진다. 직원 개입은 줄어들고 문제 해결 속도는 빨라지며, 자동화 수준은 한층 높아진다. 결과적으로 신뢰할 수 있고 확장 가능한 AI 도입 기반이 마련될 수 있다.
dl-ciokorea@foundryco.com