칼럼 | 급변하는 환경에서 지속 가능한 AI 전략을 만드는 법

AI는 이제 기업 전반으로 지속적으로 확산되는 단계에 접어들고 있다. 기술이 빠르게 발전하면서 기업들은 개별적인 활용 사례나 단기적인 생산성 향상을 넘어, 앞으로 수년간 AI를 활용해 새로운 가치를 창출하고 변화하는 고객 기대에 대응하며 운영 모델을 어떻게 혁신할 것인지 다시 고민하고 있다.

이를 위해서는 명확한 목표를 설정하고 현재 역량을 냉정하게 진단하는 한편, 현재의 위치에서 목표에 도달하기 위한 현실적인 실행 로드맵을 마련해야 한다.

현재 이러한 전환을 이끄는 다섯 가지 핵심 트렌드가 빠르게 부상하고 있다.

LLM, 에이전틱OS 플랫폼으로 진화

앤트로픽과 같은 범용 LLM 기업과 하비(Harvey) 같은 산업 특화 AI 기업은 독립적인 AI 모델 제공을 넘어, 보다 포괄적인 엔터프라이즈 플랫폼 구축에 나서고 있다.

이들 플랫폼은 AI 모델을 워크플로우, 플레이북, 다양한 연동 기능, 거버넌스 도구와 하나의 환경으로 통합하며, 최근에는 이를 ‘에이전틱OS(AgenticOS)’ 라고 부르기 시작했다.

이러한 변화에 따라 기업들은 조달, 시스템 통합, 비용 관리, 데이터 프라이버시 규정 준수를 보다 효율적으로 지원하는 소수의 플랫폼 사업자로 점차 집중하는 추세를 보이고 있다.

컨텍스트 윈도우, 비약적으로 확대

최신 AI 모델은 불과 몇 년 전과 비교해 한 번에 처리할 수 있는 정보량이 크게 늘어났다. 단일 상호작용에서 분석 가능한 정보량은 2023년 이후 약 125배 증가했다.

이 같은 발전으로 대규모 계약서 검토, 전체 코드베이스 분석, 여러 문서를 종합하는 리서치와 같은 기업 규모의 복잡한 업무도 AI가 처리할 수 있게 됐다. 한때 최첨단 기능으로 여겨졌던 이러한 역량은 이제 기업이 AI에 기대하는 기본 기능으로 자리 잡고 있다.

프로덕션 환경에서 토큰 가격 안정화

2023년부터 2025년까지 빠르게 하락했던 주요 AI 모델의 사용 비용은 최근 안정세에 접어들었다. 현재 많은 엔터프라이즈급 AI 모델은 입력 토큰 100만 개당 약 2~3달러(약 3,000~4,600원), 출력 토큰 100만 개당 약 15달러(약 23,000원) 수준으로 형성되면서 비용을 보다 쉽게 예측하고 관리할 수 있게 됐다.

동시에 프롬프트 캐싱(Prompt Caching) 과 배치 API(Batch API) 같은 비용 절감 기능도 확산되고 있다. 프롬프트 캐싱은 최대 90%, 배치 API는 약 50%까지 비용을 줄일 수 있어 대규모 AI 운영 비용을 크게 낮춰준다.

이러한 변화는 기업이 AI 투자 비용을 다른 핵심 IT 투자와 마찬가지로 예산을 편성하고, 비용을 예측하며, 체계적으로 관리할 수 있도록 돕고 있다.

AI, 사람을 대체하기보다 생산성을 높이는 조력자

올해 열린 월스트리트저널(WSJ) ‘퓨처 오브 에브리싱(Future of Everything)’ 콘퍼런스에서 여러 기업의 경영진과 이야기를 나눌 기회가 있었다. 그 과정에서 공통적으로 확인한 점은 AI 에이전트에 대한 기대가 커지고 있음에도, 많은 기업이 AI를 사람을 대체하는 수단이 아니라 인간의 의사결정을 지원하는 도구로 활용하고 있다는 사실이다.

행사에서 한 주요 AI 기업 경영진이 공개한 자료에 따르면 현재 AI 에이전트가 사용하는 토큰은 전체의 5% 미만에 불과하며, 기업의 AI 활용 사례 가운데 84%는 생산성 향상보다 비즈니스 성장에 초점을 맞추고 있다.

이는 AI 워크플로우가 여전히 입력 데이터의 품질과 일관성에 크게 의존하기 때문이다. 다양한 예외 상황과 복잡한 업무가 존재하는 기업 환경에서는 사람의 판단과 프롬프트 개선, 반복적인 검토 과정이 여전히 필수적이다.

이 때문에 업무를 완전 자동화하는 경우는 드물며, 운영 모델 자체를 바꾸지 않는 한 자동화의 효과도 대규모 인력 감축보다는 점진적인 생산성 향상에 그치는 경우가 많다.

대신 많은 기업은 AI를 활용해 새로운 성장 동력을 발굴하고, 새로운 비즈니스 모델을 구축하며, 업무 운영 방식을 혁신하는 데 집중하고 있다.

소프트웨어 개발, 인간과 AI 협업의 최전선

인테그리온(Integreon)의 경험을 보면 ‘바이브 코딩(Vibe Coding)’은 일부 의미 있는 성공 사례를 만들어냈다. 그러나 엔터프라이즈 규모의 개발 환경에서는 시스템 아키텍처에 제약을 초래하거나 하드코딩 또는 준(準)하드코딩 방식의 우회 구현을 유도해 코드의 장기적인 유지보수성을 떨어뜨릴 수 있다.

이 때문에 인테그리온은 AI 코딩 도구를 소프트웨어 개발 전 과정을 맡기는 용도가 아니라, 특정 작업을 지원하는 개발자 보조 도구로 활용하고 있다.

이 같은 접근은 업계 전반의 흐름과도 맞닿아 있다. 대형 기술기업의 구조조정이 이어졌지만 전체 개발자 수요는 비교적 안정적으로 유지되고 있으며, AI 역량을 갖춘 개발자에 대한 수요는 오히려 증가하고 있다.

경쟁력은 AI가 아니라 전략에서 나온다

이 다섯 가지 트렌드를 관통하는 공통점은 AI의 역할이 기존 업무를 자동화하는 것에서 사람의 업무를 지원하는 방향으로 옮겨가고 있다는 점이다. 이는 기업 전반의 업무 수행 방식이 근본적으로 변화하고 있음을 의미한다.

AI 기술이 성숙해지고 산업 전반으로 확산될수록 경쟁 우위는 기술 자체보다 전략에서 결정될 가능성이 더욱 커질 것이다. 앞으로 많은 기업이 동일한 AI 플랫폼과 모델, 도구를 사용할 수 있게 된다. 결국 기업을 차별화하는 요소는 이러한 기술을 활용해 고객 경험과 운영 모델, 시장 포지셔닝을 어떻게 설계하느냐에 달려 있다.

이는 항공업계와도 닮아 있다. 대부분의 항공사는 비슷한 기종의 항공기를 운용하고 동일한 규제와 노동 환경에서 경쟁하지만, 시장 포지셔닝과 고객 경험, 운영 성과는 크게 다르다. 항공사의 경쟁력을 결정하는 것은 항공기 자체가 아니라, 그 항공기를 중심으로 어떤 비즈니스 전략을 구축했는지다.

CIO와 CTO가 던져야 할 핵심 질문

이제 CIO와 CTO에게 AI 플랫폼을 선택하는 일은 더 이상 가장 큰 과제가 아니다. 이제는 기업이 어디를 향해 나아갈 것인지, 그리고 AI가 그 전략을 어떻게 뒷받침할 것인지를 논의하는 것이 훨씬 중요해졌다.

이를 위해 기업의 리더는 다음과 같은 질문에 답할 수 있어야 한다.

• 우리는 어떤 기업이 되고자 하는가?
  대부분의 기업은 미션을 갖고 있지만, AI가 고객의 기대와 경쟁 환경, 수익 구조를 바꿔놓을 앞으로 3~5년 동안 기업을 어떤 방향으로 성장시킬 것인지 명확하게 정의한 곳은 많지 않다. 그 답은 실제 의사결정을 이끌 수 있을 만큼 구체적이어야 한다.
• 무엇을 하지 않을 것인가?
  전략에서는 무엇을 할지뿐 아니라 무엇을 하지 않을지를 결정하는 것도 중요하다. AI는 다양한 비용을 낮춰 여러 프로젝트를 동시에 추진하고 싶은 유혹을 키운다. 하지만 명확한 우선순위와 경계가 없으면 조직의 자원이 지나치게 분산될 위험이 있다.
• 현재 우리의 위치는 어디인가?
  앞으로 3~5년 안에 AI로 인해 축소되거나 근본적인 변화를 겪을 사업 영역이 무엇인지 냉정하게 평가해야 한다. 많은 기업은 해당 사업이 여전히 수익을 내고 있다는 이유로 현실을 직시하지 못한다. 때로는 내부에서는 보이지 않는 위험을 발견하기 위해 외부의 객관적인 시각이 필요하다.
• 3~5년 후 성공하기 위해 어떤 역량이 필요한가?
  많은 기업은 현재의 사업을 단순히 연장하는 방식으로 미래를 계획한다. 그러나 출발점은 현재가 아니라 기업이 도달하고자 하는 미래 모습이어야 한다. 결국 경쟁력을 좌우하는 것은 독점 데이터, 고객 신뢰, 유통망과 같은 핵심 차별화 요소와 이를 뒷받침하는 안정적이고 신뢰할 수 있는 역량이다.
• 업무는 어떻게 재설계할 것인가?
  기업은 업무 수행 방식을 근본적으로 다시 설계해야 한다. 현재 대부분의 운영 모델은 사람 중심으로 만들어졌다. 앞으로는 AI 시스템과 사람의 감독 및 판단이 함께 수행하는 워크플로우가 일반화될 가능성이 크다.
• 어떤 인재가 필요한가?
  오랜 역사와 기존 조직을 갖춘 기업일수록 어려운 과제다. 과거 기업의 성장을 이끌었던 인재가 앞으로 필요한 역할과 완전히 일치하지 않을 수도 있기 때문이다. 기업은 경험 많은 인력이 미래 경쟁력 구축에 어떻게 기여할 수 있을지 신중하게 고민해야 한다.
• 어디에서 워크플로우를 단순화할 수 있는가?
  많은 업무는 세 단계로 단순화할 수 있다. 첫 번째는 목표와 데이터, 제약 조건, 의사결정 기준을 정의하는 맥락(Context) 구축이다. 두 번째는 AI가 실제 업무를 수행하는 AI 실행 단계다. 마지막은 사람이 결과물을 검토하고 최종 판단을 내리는 과정이다.
• 정말 필요한 AI 플랫폼은 무엇인가?
  대부분의 기업은 수십 개의 AI 공급업체와 도구를 동시에 효과적으로 관리할 여력이 없다. 플랫폼이 하나 늘어날 때마다 시스템 통합, 거버넌스, 공급업체 관리, 보안 검토 부담도 함께 커진다. 따라서 최신 AI 도구를 끊임없이 도입하기보다 소수의 핵심 플랫폼에 집중적으로 투자하는 편이 장기적으로 더 효과적인 전략이 될 가능성이 높다.

마지막으로, 피해야 할 몇 가지

필자가 만난 훌륭한 멘토들은 항상 3~5년을 내다보는 관점에서 전략을 세우라고 조언했다. 좋은 전략은 그 기간 동안 큰 방향이 흔들리지 않아야 한다. 이러한 일관성이 없으면 조직은 전략을 반복해서 수정하게 되고, 결국 구성원과 시장의 신뢰를 잃게 된다.

현재 많은 기업이 두 가지 실수를 범하고 있다.

첫 번째는 과거의 방식에 지나치게 얽매이는 것이다. 보안이나 규제 준수, 조직의 저항 등을 이유로 새로운 시도를 처음부터 불가능한 일로 치부하는 경우가 여기에 해당한다.

두 번째는 그 반대다. 새로운 기술이라는 이유만으로 모든 기술을 무작정 도입하려는 것이다.

앞으로 수년 동안 대부분의 기업은 이 두 극단 사이에서 균형점을 찾아야 한다.

AI는 항공기이고, 전략은 비행 경로다.

앞으로 경쟁에서 앞서 나갈 기업은 AI에 가장 많은 비용을 투자하거나 가장 많은 AI 파일럿 프로젝트를 추진한 기업이 아닐 것이다. 어려운 질문에 답하고, 명확한 방향을 일관되게 유지하며, 시행착오를 통해 꾸준히 학습한 리더를 가진 기업이 결국 경쟁 우위를 확보하게 될 것이다.

기술은 앞으로도 계속 변화할 것이다. 그러나 그 기술을 얼마나 효과적으로 활용하는지는 결국 전략이 결정한다.
dl-ciokorea@foundryco.com