시스코, 사내 AI 비서로 ‘섀도 AI’ 차단…직원당 주 5~6시간 업무 절감

---

---

챗GPT의 등장 이후 기업들은 생성형 AI를 디지털 비서로 활용해 조직 전반의 생산성을 높이는 방안을 적극적으로 모색해 왔다. 이러한 흐름에서 네트워크 기업 시스코는 가장 앞선 행보를 보여온 기업 가운데 하나다.

시스코 최고 자동화 책임자(Chief Automation Officer, CAO) 스리니 나미네니(Srini Namineni)는 사내 AI 비서의 아이디어가 2022년 말과 2023년 초 챗GPT(ChatGPT)를 비롯한 소비자용 AI 서비스가 등장하면서 시작됐다고 설명했다. 당시 경영진은 직원들의 이러한 AI 도구 사용을 허용할지를 두고 논의를 이어갔다.

나미네니에 따르면 가장 핵심 질문은 ‘정말 차단해야 하는가’였다였다. 그는 “직원이 회사 데이터를 입력하면 다른 사람이 그 데이터를 볼 수 있다는 위험은 분명했다”라며 “우리는 차단하는 대신 직원들이 안심하고 사용할 수 있는 안전한 대안을 제공하기로 의도적으로 결정했다”라고 설명했다.

2023년 말 시작된 사내 AI 비서 프로젝트는 여러 AI 도구가 난립하는 사내 AI 환경을 하나의 플랫폼으로 통합하는 것도 중요한 목표였다. 동시에 직원들이 여러 AI 모델을 자유롭게 활용할 수 있는 유연성도 확보하고자 했다.

초기에는 애저 오픈AI와 구글 제미나이를 지원했지만, 현재는 직원의 요청이 있으면 약 2주 안에 새로운 AI 모델을 연동할 수 있다고 나미네니는 설명했다. 또한 이 AI 비서는 코파일럿, 코딩 지원 도구, HR 비서, 범용 업무 비서를 하나로 결합한 다기능 플랫폼으로 발전해 다양한 업무에 AI 기능을 제공하고 있다.

이 AI 비서는 IT 혁신과 리더십을 인정받아 CIO.com이 주최하는 ‘2026 CIO 100 어워드(CIO 100 Award)‘를 수상했다. 회사에 따르면 엔지니어는 이 도구를 통해 주당 평균 6시간, 그 밖의 직원은 평균 5시간의 업무 시간을 절약하고 있다.

나미네니는 “프로젝트의 핵심 목표는 보안과 유연성이었지만, 예상하지 못했던 또 하나의 장점도 확인했다”라고 말했다. 이어 “사내 AI 비서의 사용자당 월 운영 비용은 약 10달러(약 1만 5,000원)로, 여러 상용 AI 비서의 구독료보다 낮은 수준”이라고 밝혔다.

AI 위험 관리

2024년부터 직원들에게 제공된 이 AI 도구는 2026년 1분기 기준 9만 6,000명 이상이 사용하고 있으며, 직원 도입률은 90%에 달한다. 사내 설문조사 결과 직원들의 만족도도 높은 것으로 나타났다. 응답자의 79%는 사내 AI 비서가 업무 시간을 절약해 준다고 답했고, 72%는 생산성이 향상됐다고 평가했다. 또 71%는 업무 결과물의 품질이 개선됐다고 응답했다.

대표적인 사례로, 시스코는 이 도구가 개발자의 작은 버그 탐지와 단위 테스트(Unit Test) 생성 작업을 지원하면서 소프트웨어 개발 속도를 높이고 있다고 설명했다.

나미네니와 그의 팀은 새로운 기능을 지속적으로 추가해 직원들의 활용도를 높였다. 그 결과 이 AI 비서는 일부 상용 AI 비서보다 더 다양한 기능을 제공하게 됐다.

직원들은 AI 비서를 통해 프롬프트를 서로 공유할 수 있으며, 별도 서비스에 로그인하지 않고도 휴가 신청과 같은 HR 업무를 처리할 수 있다. 또한 보안이 적용된 원드라이브(OneDrive) 폴더에 자체 데이터셋을 업로드해 맞춤형 프로젝트를 수행할 수 있으며, 시스코 내부 문서와 메타데이터를 안전하게 검색할 수 있도록 서비스형 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기능도 제공한다.

시스코에 따르면 이 프로젝트는 마이크로서비스(Microservices) 아키텍처를 기반으로 구축돼 새로운 AI 애플리케이션을 신속하게 도입할 수 있다. 회사는 이 AI 비서를 ‘AI 팀원’으로 소개하며, 모든 직원이 자신만의 AI 에이전트 팀을 활용하는 환경을 구현하는 것을 목표로 하고 있다.

개인 맞춤형 AI 에이전트로 진화

나미네니는 앞으로 직원 개개인을 지속적으로 지원하는 개인 맞춤형 AI 에이전트 등 여러 기능을 추가할 계획이라고 밝혔다.

이들 에이전트는 직원의 이메일과 웹엑스 미팅(Webex Meetings) 계정에 연결돼, 사용자의 승인 아래 업무를 대신 수행할 수 있다. 예를 들어 이메일의 우선순위를 자동으로 분류하는 기능이 가능하다.

또한 앞으로는 HR와 재무 관련 업무까지 AI가 담당해 직원들이 보다 부가가치가 높은 업무에 집중할 수 있을 것으로 기대했다.

다만 최종 통제권은 직원에게 남겨둘 방침이다.

나미네니는 “AI는 실수를 하기 때문에, 실수를 감수할 수 있는 중요도가 낮은 업무가 아니라면 모든 권한을 AI에 맡길 준비는 아직 돼 있지 않다”라며 “과제는 AI가 최대한 많은 일을 수행할 수 있는 활용 사례를 찾으면서도, 항상 사람이 최종 의사결정 과정에 참여하도록 하는 것”이라고 말했다.

이 프로젝트는 2026 CIO 100 어워드 외에도 여러 상을 수상했다. IT 시장조사업체 IDC의 업무 환경 솔루션 그룹 부사장 에이미 루미스(Amy Loomis)는 이 AI 비서가 직원들의 안전한 AI 활용을 확대하려는 다른 대기업에도 좋은 모델이 될 수 있다고 평가했다.

핵심은 기술보다 접근 방식

루미스는 다른 기업들도 시스코의 구체적인 기술 스택을 그대로 도입할 필요는 없지만, 접근 방식 자체는 충분히 참고할 수 있다고 말했다.

그는 듀얼 모델 통합, 하이브리드 멀티클라우드 오케스트레이션, 서비스형 RAG, 마이크로서비스 아키텍처 등은 시스코의 규모와 엔지니어링 역량을 반영한 설계라고 설명했다.

루미스는 그보다 더 중요한 것은 이러한 설계의 기본 원칙이라고 강조했다. 기업은 섀도 AI가 확산되기 전에 통제 가능한 사내 AI 환경을 제공해야 하며, 여러 AI 도구를 하나의 지능형 인터페이스로 통합해야 한다. 또한 AI가 대신 수행한 작업에 대해 사람이 책임질 수 있도록 접근 제어 체계를 마련하고, AI를 사람을 대체하는 존재가 아니라 업무의 범위와 품질을 높여주는 도구로 인식시켜야 한다고 설명했다.

루미스는 시스코의 혁신은 개별 기술보다 각각의 요소를 하나의 시스템으로 통합한 데 있다고 평가했다.

RAG 파이프라인, GPT-4o 접근, 원드라이브 연동, 마이크로서비스 아키텍처 등 개별 기술은 다른 곳에서도 찾아볼 수 있지만, 시스코는 이를 하나의 통합 플랫폼으로 구현했다는 것이다.

루미스는 “보다 드문 사례는 민감한 데이터가 공개 학습 데이터셋으로 유입될 수 있는 외부 AI 서비스로 직원의 질의를 전달하는 대신, 기업이 직접 관리하는 환경 안에서 명확한 데이터 통제 체계를 갖춘 형태로 이들 기술을 통합한 것”이라고 말했다.

또한 직원들이 보안이 적용된 원드라이브 폴더에 자체 데이터셋을 업로드해 맞춤형 질의응답을 수행할 수 있는 ‘마이 프로젝트(My Projects)’ 기능도 높이 평가했다. 직원들이 승인되지 않은 외부 AI 도구를 사용할 필요성을 줄여준다는 점에서 의미가 크다는 설명이다.

루미스는 시스코가 AI를 인간의 역량을 확장하는 계층(amplification layer)으로 정의한 점도 긍정적으로 평가했다.

그는 “모든 직원에게 각자의 역할과 업무 환경에 맞춰 최적화된 AI 도구를 제공하는 것은 기술 전략인 동시에 변화 관리 전략이기도 하다”라며 “AI를 직원을 대체하는 기술이 아니라 직원의 역량을 더욱 강화하는 도구로 자리매김하는 기업일수록 조직의 저항을 줄여 더 높은 도입률을 달성하는 경향이 있다”라고 말했다.
dl-ciokorea@foundryco.com