“한계 있지만 유용”··· AI 코딩 도구에 대한 현직 개발자 평가는?

지난 12일 캘리포니아 산타클라라에서 디벨로퍼위크 컨퍼런스가 열렸다. 행사에 참석한 소프트웨어 개발자들은 AI 코딩 비서를 사용해 본 경험을 대체로 긍정적으로 평가했다. 먼저 소프트웨어 보안 기업 베라코드(Veracode)의 CTO이자 수석 아키텍트인 젠스 웨슬링은 깃허브 코파일럿(GitHub Copilot), 탭나인(Tabnine), 젯브레인 AI 어시스턴트(JetBrains AI Assistant)를 사용해 왔다고 밝히며, “이런 도구들이 소프트웨어 개발을 가속화할 기회를 제공한다. 장기적으로 보안과 정확성 같은 문제를 어떻게 해결할지 지켜보는 것이 흥미롭다. 흥미로운 방향으로 나아가는 단계”라고 설명했다.

라틴 아메리카에서 소프트웨어 개발 서비스를 제공하는 알토(Alto)의 CTO 후안 살라스는 AI 코딩 도구에 대해 “도구로서 훌륭하다”라고 평가했다. 살라스는 깃허브 코파일럿과 커서(Cursor)를 사용해 왔으며, 사용자가 이런 도구를 잘 활용할 줄 안다면 시간을 절약할 수 있다고 말했다. 대학생인 아스리타 엠도 비슷한 의견을 제시했다. 그는 깃허브 코파일럿이 “매우 멋진 확장 프로그램”이라는 데 동의하면서 코파일럿이 개발자의 현재 업무와 다음 할 일의 패턴을 인식하는 방식이 마음에 든다고 말했다. 그는 해당 도구가 거의 실수를 하지 않지만, 챗GPT가 코드의 오류를 찾는 데는 더 나은 성능을 보인다고 덧붙였다. 또한 미스트랄(Mistral)에 대해서는 챗GPT와 비슷한 수준의 유용한 도구라고 평가했다.

최근 래티스 세미컨덕터(Lattice Semiconductor)에서 인턴십을 마친 또 다른 대학생 사힐 샤는 깃허브 코파일럿이 “파이썬(Python) 스크립팅에 매우 유용하다”라고 말했다. 정보 서비스 기업 월터스 클루워(Wolters Cluwer)의 수석 제품 소프트웨어 엔지니어인 라트나 마하르잔도 깃허브 코파일럿과 챗GPT가 자신의 코드에 사용할 코드 스니펫을 제공하는 데 “매우 도움이 된다. 지금까지 본 것들은 매우 우수하다”라고 설명했다.

대체로 긍정적인 평가가 이어진 가운데 일부는 불만도 제기했다. 웨슬링은 AI 코딩 도구가 잘하는 것과 못하는 것이 뚜렷하게 나눠진다고 언급했다. 그는 “AI 코딩 도구는 상용구 코드와 잘 알려진 패턴이 반복되는 대량의 코드를 생성하는 데 좋은 성과를 보인다. 하지만 라이브러리와 라이브러리 버전에는 취약한 모습을 보이며, 특정 라이브러리를 불러오거나 해당 라이브러리의 메서드를 사용하는 데 있어 일관성을 유지하는 것이 어렵다”라고 지적했다. 웨슬링은 “이러한 도구들이 때때로 환각 현상을 보이며 무작위한 답변을 제공한다”라고 말했다.

샤는 깃허브 코파일럿이 제공하는 답변이 “때때로 모호하다”라고 지적했다. 그럼에도 업무 효율을 높이기 위해 AI 코딩 도구를 더 많이 사용할 계획이라고 전했다.

개발자이자 은퇴한 물리학자인 피터 루는 지난 13일 컨퍼런스에서 깃허브 코파일럿으로 4개의 수학 문제를 테스트했다고 밝혔다. 그는 “코파일럿이 4개 문제 모두에서 완전히 실패했다는 것을 알려드려야 할 것 같다”라고 언급했다. 하지만 코파일럿이 ‘환각’ 응답이 허용되는 일반적인 대화에는 괜찮을 것이라고 생각한다고 말했다.

살라스는 AI 코딩 도구가 빠르게 해결책을 찾을 수 있다는 착각을 불러일으킨다고 지적했다. 그는 AI와 인간의 지시가 결합되면 각각 독립적으로 작업하는 것보다 낫고 앞으로도 꾸준히 발전할 전망이라면서도, 현재로서는 사용자가 기술 이해도를 더 높이고 적절한 질문 방법을 터득해야 한다고 언급했다. 그는 “그렇지 않으면 코드가 야기하는 문제 때문에 자주 제자리걸음을 하게 될 것”이라고 말했다.
[email protected]