AI 생성 코드 여전히 못 믿는다···개발 리더가 밝힌 ‘코딩 어시스턴트의 현실’

AI가 생성한 코드를 신뢰하지 않는 개발자가 많다는 점은 놀랍지 않다. 다만 많은 이들이 코딩 어시스턴트가 만들어낸 코드에서 발생한 오류를 확인하기가 점점 더 어려워지고 있다고 언급했다.

여러 개발 리더에 따르면, AI 코딩 어시스턴트가 점점 더 많은 프로그래밍 작업을 맡게 되면서 사람으로 구성된 개발팀이 오류를 찾아낼 시간을 확보하는 데 어려움을 겪고 있다. 코딩 어시스턴트의 출력 품질은 개선되고 있지만, 문제를 해결하기 위해 더 많은 코드 줄을 작성하는 경향이 나타나면서 오류가 발생했을 때 식별하기가 오히려 더 어려워지고 있다는 것이다.

그 결과 AI가 생성한 코드의 또 다른 문제가 드러나고 있다. 개발자가 직접 코드를 작성했을 때보다, AI가 만들어낸 결과물을 검토하는 데 더 많은 시간을 쓰게 된다는 점이다.

딥페이크 탐지 플랫폼 리얼리티 디펜더의 CTO 알렉스 리슬은 AI 코딩 어시스턴트가 이미 보편화됐지만, 개발자가 이를 섣불리 신뢰해서는 안 된다고 지적했다.

리슬에 따르면 그와 함께 일하는 모든 소프트웨어 엔지니어는 어떤 형태로든 코딩 어시스턴트를 활용하고 있다. 다만 AI의 출력 결과를 매우 면밀하게 검토하고 있다. 그는 “사실 우리 개발자 대부분은 AI가 생성한 코드를 기본 틀이나 사소한 수정 작업 이상으로는 사용하지 않는다. AI가 생성한 코드는 거의 신뢰하지 않는다”라고 표현했다.

그는 코드 품질에 대한 최종 책임이 어디까지나 코딩 어시스턴트를 사용하는 개발자에게 있다고 덧붙였다.

코드를 쏟아내는 문제

리슬은 AI 도구가 생성하는 코드의 양 자체가 또 다른 문제를 만들어낸다고 지적했다.

그는 “아주 짧은 시간에 방대한 양의 코드를 작성할 수 있는 주니어 개발자를 둔 것과 비슷하다. 문제는 코드와 더 넓은 맥락을 이해하지 못한다는 점이고, 요청한 것과 정반대의 결과를 내놓는 경우도 적지 않다”라고 설명했다.

리슬은 AI가 생성한 코드에 과도하게 의존할 경우, 결국 이해하기 어려운 코드베이스를 낳게 될 수 있다고 지적했다.

그는 “이를 더 넓은 맥락에서 활용하기 시작하는 순간, 극도로 불안정하고 파악하기 힘든 코드가 생성된다. AI를 통해 수십만 줄의 코드를 생성할 수는 있지만, 유지보수가 매우 어렵고 이해하기도 힘들며, 실제 운영 환경에서는 전혀 적합하지 않다”라고 말했다.

코딩 전문 기업 키프레스 소프트웨어 개발그룹의 대표이자 수석 소프트웨어 아키텍트인 브라이언 오언스는 AI 코딩 어시스턴트의 결과물이 조건에 따라 서로 다르게 나타났다고 밝혔다.

오언스에 따르면 작은 단위의 독립적인 작업에서는 AI가 생성한 코드가 최소한의 검토만으로도 활용 가능한 경우가 많았다. 반면 실제 운영 환경에 적용되는 애플리케이션에서는 출력 결과가 일관되지 않거나 문제를 일으키는 사례가 나타났다.

오언스는 “AI 도구가 기존 코드베이스의 핵심 요소를 간과하거나, 이미 정해진 코딩 표준과 아키텍처 패턴을 따르지 않는 경우가 종종 있다. 이로 인해 코드가 운영 환경에 적합하도록 검토와 리팩터링, 재작업을 해야 하는 추가 업무가 발생한다”라고 설명했다.

그는 코딩 어시스턴트를 사용한다고 해서 반드시 시간이 절약된다고 할 수 없다고 언급했다. 그는 “경우에 따라서는 AI가 생성한 코드를 검증하고 수정할 때 상당한 비효율을 감수해야 하고, 때로는 AI 도움 없이 개발자가 직접 코드를 작성했을 때보다 더 많은 시간이 걸리기도 한다”라고 말했다.

여전한 신뢰 부족

코드 품질도구 개발 기업 소나르가 1,100명 이상의 IT 전문가를 대상으로 진행한 최근 설문조사는 일부 개발 리더가 제기한 신뢰 문제를 단적으로 보여준다. 응답자의 72%는 매일 코딩 어시스턴트를 사용하고 있다고 답했지만, 96%는 AI가 생성한 코드를 완전히 신뢰하지는 않는다고 밝혔다.

아울러 AI가 생성한 코드를 커밋하기 전에 항상 검토한다고 응답한 개발자는 절반 미만이었다. 응답자의 약 40%는 AI가 생성한 코드를 검토하는 데 사람이 작성한 코드보다 더 많은 노력이 필요하다고 답했다.

소나르의 기업 마케팅 담당 부사장인 크리스 그램스는 코딩 어시스턴트의 품질이 개선될수록 오류를 찾아내는 일은 더 어려워지고 있다고 설명하면서, 그 이유가 오류가 사라졌기 때문은 아니라고 지적했다.

그램스는 “코딩 모델이 점점 더 정교해질수록 마치 ‘모래밭에서 바늘 찾기‘ 같은 문제가 생긴다”라고 설명했다. 전체적인 오류 수는 줄어들 수 있지만, 대신 잘 드러나지 않는 중대한 보안 문제가 숨어있을 가능성이 커지고, 이런 문제가 애플리케이션 전체를 무너뜨리는 결정적 요인이 될 수 있다는 것이다.

다만 데이터 분석 솔루션 기업 dbt랩스의 CTO 마크 포터는 AI가 생성한 코드를 신뢰하지 않는다는 소프트웨어 개발 리더의 인식을 보다 복합적으로 볼 필요가 있다고 진단했다.

포터에 따르면 dbt랩스에서는 코딩 어시스턴트가 폭넓게 활용되고 있으며, 그 출력 결과를 신뢰할 수 있는지는 맥락에 따라 달라진다.

포터는 “AI가 작성한 코드를 신뢰하는 문제는 사람이 작성한 코드를 신뢰하는 것과 크게 다르지 않다. 대부분 AI가 생성한 코드에서도 다른 코드와 동일하게 신뢰할 만한 요소를 확인한다. 무결성이 높은 프로세스를 통해 만들어졌다면, 사람의 코드와 마찬가지로 신뢰한다”라고 말했다.

검토 병목

하지만 포터는 AI 생성 코드가 사람이 작성한 코드와는 다른 방식으로 문제를 일으킬 수 있다고 지적했다. AI가 불필요한 복잡성을 추가하거나 지나치게 단정적인 주석을 만들어내는 경우가 많기 때문에, 코드 신뢰에 대한 판단 기준 역시 이러한 특성을 반영해야 한다는 설명이다.

그는 AI 코드 검토 자체가 개발자로 하여금 시간을 더 쓰게 만드는 새로운 과제가 되고 있다고 언급했다. 그는 “출력되는 코드의 양이 많아지면서 병목 지점이 코드 작성에서 검토 단계로 이동하고 있다”라고 강조했다.

사람이 코드 리뷰를 진행하려면 항상 전문가 수준의 코드베이스 이해도를 유지해야 한다는 문제도 있지만, 포터는 소프트웨어 엔지니어링 모범 사례를 통해 이를 어느 정도 완화할 수 있다고 설명했다.

포터는 “AI가 작성한 코드를 검토하는 데에는 분명 고유한 어려움이 있다. AI 코드를 신뢰할 수 있느냐는 질문은 핵심에서 다소 벗어난 측면이 있다. 중요한 것은 AI를 활용해 효율적이고 정확하면서도 유지보수가 가능한 코드를 작성할 수 있도록 개발자를 지원하는 프로세스와 가이드라인, 교육을 어떻게 구축하느냐다. 그것이 코딩에서 AI의 미래라고 본다”라고 밝혔다.
dl-ciokorea@foundryco.com