저품질 AI 코드 범람에 깃허브 고민…풀 리퀘스트 제어 강화 검토

깃허브는 코파일럿을 통해 AI가 작성한 코드가 대거 유입되는 길을 열었다. 이제는 최소한 단기적으로는 그 문을 부분적으로 닫는 방안을 검토하고 있다.

깃허브는 이미 논란이 될 것으로 보이는 방안도 살펴보고 있다. 레포지터리나 프로젝트 유지관리자가 풀 리퀘스트(PR)를 삭제하거나, 아예 풀 리퀘스트를 받을 수 없도록 설정할 수 있게 해 저품질, 그리고 AI가 생성한 기여물이 대량으로 유입되는 문제를 완화하겠다는 구상이다. 많은 오픈소스 프로젝트가 이러한 기여물을 관리하는 데 어려움을 겪고 있다는 점이 배경이다.

지난주 깃허브 제품 관리자 카밀라 모라에스는 깃허브 커뮤니티 토론 스레드를 통해 의견 수렴에 나섰다. 오픈소스 프로젝트와 레포지터리 유지관리자에게 상당한 운영 부담을 주고 있는 ‘저품질 기여의 증가’ 문제를 해결하기 위해, 깃허브가 검토 중인 방안에 대한 피드백을 요청한 것이다.

모라에스는 “프로젝트 운영자가 품질 기준을 충족하지 못하는 기여물을 검토하는 데 상당한 시간을 들이고 있다는 이야기를 듣고 있다”라며 “이러한 기여물은 프로젝트 가이드라인을 따르지 않거나, 제출 직후 방치되는 경우가 많고, 상당수가 AI로 생성된 것”이라고 설명한 뒤, 준비 중인 해결책을 소개했다.

코드 리뷰의 신뢰 모델을 흔드는 AI

토론 스레드에 참여한 여러 사용자는 AI로 생성된 코드가 유지관리자에게 실질적인 부담을 주고 있다는 모라에스의 문제의식에 동의했다.

마이크로소프트(MS) 애저 컨테이너 업스트림 팀 소속 소프트웨어 엔지니어이자 컨테이너드의 런와시 프로젝트와 스핀큐브 유지관리자인 자샤오 저우는, AI가 생성한 코드로 인해 배포 대상 코드를 모두 줄 단위로 검토하는 방식이 더 이상 지속 가능하지 않다고 지적했다.

저우는 그 이유로 몇 가지를 들었다. 먼저 리뷰어가 기여자가 제출한 내용을 완전히 이해하고 있다는 전제 자체가 무너지고 있다는 점을 짚었다. 구조적으로는 문제가 없어 보이지만 논리적으로 결함이 있거나 안전하지 않은 AI 생성 풀 리퀘스트가 등장할 위험도 커지고 있다는 설명이다. 여기에 운영 환경에 반영되는 코드는 여전히 줄 단위 리뷰가 필수지만, AI의 도움을 받아 대규모로 변경된 코드에는 이 방식이 확장되지 않는다는 점도 문제로 꼽았다.

이러한 문제를 단기적으로 해결하기 위해 모라에스는 깃허브가 설정 가능한 풀 리퀘스트 권한 기능을 제공할 계획이라고 밝혔다. 협업자만 기여할 수 있도록 제한하거나, 미러 리포지터리와 같은 특정 용도에서는 풀 리퀘스트를 비활성화하는 등 보다 세밀한 수준에서 접근을 제어할 수 있도록 하겠다는 의미다.

모라에스는 “이러한 방식은 기여 관리를 위해 여러 오픈소스 프로젝트가 자체적으로 구축해 온 맞춤형 자동화의 필요성도 줄여줄 것”이라고 설명했다.

풀 리퀘스트 비활성화·삭제 방안에 커뮤니티 반발

다만 풀 리퀘스트를 비활성화하는 구체적인 제안에 대해서는 회의적인 반응이 나왔다.

ThiefMaster라는 아이디를 쓰는 한 깃허브 사용자는 이미 열려 있는 풀 리퀘스트에 대한 접근을 제한하는 방식은 콘텐츠나 접근 권한이 사라질 수 있다고 지적했다. 대신 직접 링크를 통해서는 기존 풀 리퀘스트에 접근할 수 있도록 해야 한다고 제안했다.

이에 대해 모라에스는 해당 의견에 공감하는 모습을 보이며, 깃허브가 이러한 제안을 포함할 가능성이 있다고 밝혔다.

이와 함께 깃허브는 리포지터리 정리를 개선하기 위해 유지관리자가 인터페이스에서 직접 스팸성 또는 저품질 풀 리퀘스트를 제거할 수 있도록 하는 방안도 검토하고 있다.

그러나 이 제안에 대해서는 더욱 강한 반발이 이어졌다.

ThiefMaster는 활동이 거의 없는 경우에 한해 제한된 기간 동안만 유지관리자가 풀 리퀘스트를 삭제할 수 있도록 해야 한다고 제안했지만, Tibor Digana, Hayden, Matthew Gamble 등의 아이디를 쓰는 다른 사용자들은 해당 방식에 자체에 강하게 반대 입장을 보였다.

AI 기반 도구를 활용해 유지관리자가 ‘불필요한’ 제출물을 걸러내고 가치 있는 기여에 집중하도록 돕겠다는 모라에스의 장기 구상 역시 적지 않은 비판을 받았다.

모라에스와 깃허브는 이러한 AI 기반 도구가 제출물 검토에 소요되는 시간을 줄여줄 것이라고 보고 있지만, 스티븐 로젠을 비롯한 일부 사용자는 정반대의 결과를 낳을 수 있다고 주장했다. AI 기반 도구가 환각 문제에 취약한 만큼, 결국 유지관리자가 모든 코드를 다시 한 줄씩 확인해야 하는 상황을 초래할 수 있다는 지적이다.

“AI는 잡음을 줄여야지 불확실성을 더해서는 안 된다”

에이전틱 AI 소프트웨어 스타트업 두저 AI(Doozer AI)의 공동 설립자 폴 차다는 AI 기반 리뷰 도구의 효용은 내부에 얼마나 강력한 가드레일과 필터가 구축돼 있느냐에 달려 있다고 설명했다.

차다는 이러한 통제 장치가 없다면, 프로젝트 맥락을 반영하지 못한 제출물이 유지관리자에게 쏟아져 검토 시간을 낭비하게 만들고, 의미 있는 신호를 희석시킬 위험이 있다고 지적했다.

차다는 “유지관리자는 또 하나의 의심해야 할 시스템을 원하지 않는다”라며 “AI는 권한을 가진 리뷰어가 아니라 스팸 필터나 보조 도구처럼 작동해야 한다”라고 전했다. 이어 “신중하게 사용하면 잡음을 줄일 수 있지만, 부주의하게 사용하면 불확실성을 제거하기는커녕 새로운 불확실성을 더하게 된다”라고 표현했다.

이와 함께 깃허브는 리뷰어의 인지 부담을 줄이기 위한 다른 장기적 방안도 제시했다. 풀 리퀘스트(PR) 생명주기 전반에서 AI 도구가 사용될 경우 이에 대한 가시성과 출처 표시를 강화하는 한편, 모든 사용자를 일괄 차단하거나 협업자로만 제한하는 방식에서 나아가 누가 PR을 생성하고 검토할 수 있는지를 보다 세밀하게 설정할 수 있는 권한 제어 기능도 검토하고 있다.
dl-ciokorea@foundryco.com