생성형 AI 프로그램 관리법··· ‘거버넌스, 교육, 중제’

생성형 AI는 급격하게 성장하면서 투자를 끌어모으며 개발자의 관심과 창의성을 촉진하고 있다. 기업은 생성형 AI를 혁신적인 서비스를 구축하고 산업에 혁명을 일으킬 수 있는 수단으로 여긴다.

개발자는 생성형 AI를 사용해 작업하기를 바라지만, 문제는 초기 테스트를 지나 대규모로 실행할 방법을 찾는 데 있다. 현재 개발자는 파일럿 체계를 프로덕션으로 옮길 수 있도록 프로젝트를 통합하고 관리하는 방법을 고민하고 있다. 이는 새로운 기술 프로젝트가 각기 떨어진 실험의 섬에서 조직 전반의 통합으로 전환되는 과정에서 흔히 일어나는 일이다. 이런 부분을 조기에 고려하지 않을 경우 거버넌스와 확장성 문제로 이어질 수 있다. 

거버넌스와 생성형 AI 

실험을 넘어 프로덕션으로 이동할 때는 거버넌스에 대한 적절한 접근 방식을 반드시 확보해야 한다. 생성형 AI가 가진 혁신적 잠재력을 포용하려면, 이 기술에 대한 열광적인 관심과 효과적인 거버넌스 사이에서 균형을 맞추는 것이 중요하다. 생성형 AI는 기업의 데이터와 지식 재산(intellectual property, IP)을 활용하지만, 빠른 성장은 정립된 기준 프로세스를 붕괴시킬 수 있다. 명확한 가이드라인, 지지자, 실행자가 없으면 혼란과 위험이 커질 수 있다. 

최선의 방법은 여러 부서를 아우르는 중앙팀을 만드는 것이다. CoE, 실천 공동체(community of practice, CoP) 등 명칭을 무엇으로 정하든 이 팀은 생성형 AI의 사용 방식에 대한 공통 규칙과 프로세스를 만드는 데 중요한 역할을 한다. 

이와 동시에, 팀이 비즈니스 요구 사항에 직접 연결될 수 있도록 여러 부서의 담당자가 참여하는 접근 방식이 필요하다. 이렇게 해야 비즈니스 문제를 해결하는 데 필요한 기술과 지원을 제공하고 팀이 개인정보 보호, 보안과 같은 특정 문제 하나에만 집중하는 현상을 방지할 수 있다. 생성형 AI CoE는 홀로 산 정상에서 명령을 내리는 부서가 아니라, 현장에 배치돼 비즈니스 성과를 달성하도록 돕는 팀이라고 생각하면 된다. 

CoE에는 감독, 교육, 심판 3가지 책임이 있다. 모든 행동과 선택이 같은 목표를 향하도록 이 3가지 영역은 모두가 필수적으로 이해해야 한다. 

감독 : 리더십, 집행, 자동화 

새로운 기술 이니셔티브를 감독하기 위해서는 참여하는 모든 팀에 적용되는 소수의 공통 표준 모음을 만들어야 한다. 생성형 AI 프로젝트의 경우 프롬프트 레시피 관리, 에이전트 개발 및 테스트, 개발자 툴과 통합에 대한 액세스에 적용되는 일관적인 접근 방법을 만드는 것이 포함될 수 있다. 규정 준수를 쉽게 달성할 수 있도록 이런 규칙은 간단하되 엄격한 집행이 필요하다. 이 접근 방식은 시간이 지나면서 표준에서 이탈하는 경우를 줄이고 관리 오버헤드와 기술 부채를 줄여준다. 

예를 들어, 프로젝트에서 데이터 사용을 관리하려면 이런 규칙이 필요하다. 생성형 AI 프로젝트의 경우 고객 데이터를 취급하고 배포하는 경우가 많은데, 이를 실무적으로 어떻게 구현해야 할까? 고객 개인 식별 정보(personally identifiable information, PII)와 회사 IP의 경우 이 데이터를 안전하게, 기반 LLM과 분리해 따로 보관하면서도 프로젝트 내에서 사용할 수 있도록 해야 한다. PII와 IP는 프롬프트 엔지니어링을 통해 유용한 부가적인 컨텍스트를 제공할 수 있지만 LLM이 재학습 또는 보존의 일부로 이런 데이터를 사용하지 못하도록 해야 한다. 

거버넌스를 위한 최선의 접근 방식은 실용적인 방식이다. 이를 위해서는 어느 부분에 집중할 것인지를 신중하게 선택해야 한다. 규칙을 억압적이거나 과도하게 강제하면 팀의 작업에 방해가 되고 규정 준수와 관련된 비용이 증가할 수 있기 때문이다. 또한 필요한 작업이지만 개인정보가 위험에 노출되거나 윤리적 데이터 사용이 위태로워지거나 시간이 지나면서 비용이 지나치게 커져 실험을 중단해야 하는 경우도 있다. 전체적인 목표는 거추장스러운 기준을 강제하거나 열정을 억제하는 상황을 피하고 베스트 프랙티스를 표준으로 장려할 방법에 집중하는 것이다. 

생성형 AI를 최대한 활용하려면 CoE는 회사 전체를 대상으로 CoE에 대한 접근성을 높이고 실험을 장려해야 한다. 시작하기 위한 가드레일을 제공하면 팀이 생성형 AI 서비스, 프롬프트 레시피, 또는 자동화된 에이전트 구축과 관련된 경험을 축적할 수 있다. 시간이 지나면 엄격한 통제 규칙 일부를 없앨 수 있다. 팀이 경험을 어느 정도 축적하면 자체 에이전트를 구축하고 프롬프트 레시피 아이디어를 제출하도록 도울 수 있다. 생성형 AI 애플리케이션은 모듈형으로 설계되는 경우가 많으므로 공통적인 구성요소 전반에 동일한 제어, 모니터링, 가치 평가 접근 방식을 적용할 수 있다. 

CoE의 목표는 프로젝트를 중간에 멈추게 하는 것이 아니라 더 쉽게 채택하고 구축할 수 있게 해주는 제어 계층을 제공하는 것이어야 한다. 

교육 : 베스트 프랙티스와 커뮤니티 

이상적으로는 CoE가 대부분 시간을 여기에 소비해야 한다. 생성형 AI 프로젝트에는 사용자의 다양한 상호작용 방법이 포함될 수 있다. LLM에서 좋은 결과를 제공할 수 있는 프롬프트 목록부터 전체 트랜잭션을 처리할 수 있는 완전한 기능을 갖춘 자율 에이전트에 이르기까지, 사용자에게 가장 적합한 방식으로 가치를 제공하기 위한 개념이다. 

이런 종류의 프로젝트를 효과적으로 추진하려면 기업은 먼저 서비스를 구축하고 이후 확장하기 위한 역량을 팀에 부여해야 한다. CoE는 표준을 정의하고 이를 시행하는 것 외에, 새로운 팀을 이끌고 지식 공유를 촉진하기 위한 베스트 프랙티스와 원칙을 만들어 공유해야 한다. 이 기술의 활용과 실험을 지원하기 위해서는 생성형 AI과 그 잠재력에 대한 교육이 필요하다. 

원칙은 표준이 아님을 이해하는 것이 중요하다. 표준은 활동을 위한 기준, 그리고 데이터와 같은 항목을 처리하는 방법을 제공하기 위해 존재하며, 원칙은 표준을 기반으로 구축하는 방법에 대한 가이드 프레임워크를 제공한다. 예를 들어, 고객 PII를 보호하기 위해 표준을 둘 수 있지만 이 PII 데이터를 사용해서 사용자와 비즈니스를 위한 가치를 창출하는 방법을 결정하는 것은 원칙이다. 원칙은 다양한 팀이 에이전트 개발에 대한 다양한 접근 방식을 실험할 수 있도록 한다. 

CoE는 생성형 AI의 잠재력을 탐색하고 베스트 프랙티스를 널리 공유하는 역할을 맡아야 한다. 생성형 AI 에반젤리스트 직책은 팀이 사용할 수 있는 에이전트와 툴을 이해하고 자신의 아이디어를 반복 실험하고 다른 팀의 지식을 공유하는 데 도움을 준다. 시간이 지나면서 이는 경험과 성공을 서로 공유하도록 촉진하는 강력한 내부 커뮤니티를 형성해서 프로젝트를 더 빠르게 진행하는 데 도움이 된다. 

심판 : 중재와 의사 결정 

모든 기술 영역에는 최종 결과 또는 비즈니스 목표를 달성하기 위한 여러 방법이 있다. 사용할 수 있는 모든 옵션 중에서 최선의 접근 방식이 무엇인지에 대한 의견의 불일치는 필연적으로 발생한다. 생성형 AI 분야에서는 RAG와 LLM 미세 조정 중에서, 또는 콘텐츠와 모델 조정 중에서 무엇이 좋은지를 두고 열띤 논쟁이 일어나곤 한다. 

CoE는 이 프로세스에서 필수적인 역할을 한다. 효과적인 생성형 AI 거버넌스를 위해서는 다양한 팀의 담당자가 참여해서 다양한 견해가 있는 상황에서도 의사 결정을 내릴 수 있어야 한다. 또한 특정 문제에 대한 최선의 접근 방식은 무엇인지, 또는 당사자들이 실험을 통해 더 많은 증명 자료를 가져오도록 해야 할 부분은 무엇인지에 대해 신속한 의사 결정을 내리도록 돕는다. 여기서 CoE의 주된 기준은 모두가 의사 결정을 존중하고 비즈니스 목표를 지원하기 위해 노력해야 한다는 것이다. 

모두가 이런 의사 결정을 존중하도록 하려면 여러 이해관계자를 설득해야 한다. CoE는 이런 일상적인 이니셔티브에 관여하지 않고 독단적으로 움직일 경우 현실과 동떨어진 존재로 인식될 수 있다. 이를 피하려면 실제 조치를 취하고 의사 결정의 일관성을 유지하는 데 집중해야 한다. 그래야 분쟁을 더 빠르게 해결하는 데 도움이 된다. 

생성형 AI에 대한 투자 

생성형 AI는 막대한 잠재력을 지녔다. 액센추어에 따르면, 미래에 생성형 AI는 전체 업무 시간 중 40%에 사용되고, 업무를 수행하는 방법에 근본적인 변화를 가져올 전망이다. 기업에서 이런 프로젝트를 구축하기 위해서는 지원, 거버넌스, 스킬 개발이 필요하다. 이 잠재력을 이해한 비즈니스 리더는 프로젝트를 성공으로 이끌기 위해 막대한 리소스를 투입한다. 그렇지 않으면 경쟁자들이 이렇게 하는 것을 지켜보면서 뒤처지는 수밖에 없다. 

생성형 AI를 효과적으로 관리하기 위해 CoE를 구성하면 모두의 성공 가능성이 더 높여진다. CoE는 생성형 AI 프로그램의 가치를 극대화하고 이러한 목표를 중심으로 참여를 의무화한다. 생성형 AI CoE는 생성형 AI 프로그램에 대한 감독과 교육, 심판으로 올바른 접근 방식을 취함으로써 IT와 비즈니스 이해관계자의 관점을 일치시키고 도입과 성장을 촉진할 수 있다.
[email protected]