끝없이 수정하다 AI 성과 무너뜨린다··· ‘둠프롬프팅’의 함정

많은 사용자가 AI의 결과물에 대해 어느 정도 불신을 갖지만, 일부 전문가들은 이런 불신이 지나치게 확대되면서 결과물을 끝없이 수정하려는 현상으로 이어지고 있다고 분석했다.

최근 등장한 이 현상은 ‘둠프롬프팅(doomprompting)’라 불린다. 인터넷 사용자가 소셜미디어나 부정적인 뉴스에서 눈을 떼지 못하는 ‘둠스크롤링(doomscrolling)’과 행동 양식 측면에서 유사성이 있다.

다만 영향력에 차이가 있다. 둠스크롤링은 저녁 식사 후 잠들기 전까지 몇 시간을 허비하며 비관적 시각을 키우는 데 그치지만, 둠프롬프팅은 직원이 AI 출력물을 완벽하게 만들기 위해 시간과 자원을 낭비하는 과정에서 막대한 조직적 비용으로 이어질 수 있다.

끝없는 대화를 유도하는 AI 설계

IT 시스템이나 코드를 과도하게 수정하는 문제는 새로운 현상이 아니지만, 전문가들은 AI의 등장이 또 다른 차원의 도전 과제를 가져왔다고 지적한다. 일부 LLM은 답변이 새로운 프롬프트를 유도하도록 설계돼, 지속적인 대화 순환을 만들어내는 경향이 있다는 분석이다.

AI 보안 개발 기업 조주(Jozu)의 공동 설립자이자 CEO 브래드 미클레아는 “챗GPT 같은 AI는 프롬프트에 답변할 때 종종 다음에 무엇을 해야 할지 제안한다”라고 말했다.

미클레아는 “낙관적으로 보면 이는 챗GPT가 제한된 정보를 기반으로 더 나은 답변을 제공하려는 의도지만, 최악의 경우 사용자가 챗GPT에 중독되도록 설계된 것일 수도 있다. 사용자는 이를 무시할 수 있고 실제로 무시하는 것이 바람직할 때가 많지만, 둠스크롤링처럼 거부하기보다 받아들이기가 더 쉬워지는 경우가 많다”라고 설명했다.

에이전트 테스트 서비스 기업 리콜(Recall)의 공동 설립자이자 CTO인 카슨 파머는 “많은 엔지니어가 무언가를 계속 만지는 성향을 갖고 있기에 IT 팀 환경에서는 이 문제가 더 심각해진다”라고 말했다.

파머는 “엔지니어가 AI에 프롬프트를 입력하면 꽤 괜찮은 답변을 금방 얻는다. 그러면 머릿속에 ‘조금만 더 하면 완벽해질 수 있지 않을까’라는 생각이 자리 잡는다. 결국 ‘여기까지 시간을 쏟았으니, 분명히 프롬프트를 더 쓰면 문제를 해결할 수 있있을 것’이라는 전형적인 매몰비용 오류에 빠지게 된다”라고 설명했다.

파머는 프로젝트에서 좋은 결과가 무엇인지 명확히 정의되지 않았을 때 이런 문제가 자주 발생한다고 지적했다. 그는 “목표를 제대로 이해하지 못한 직원들은 언제 일을 끝내야 할지, 언제 멈춰야 할지 알지 못한 채 제자리에서 맴돈다. 좋은 것의 적은 완벽함이며, LLM은 ‘마지막 프롬프트만 조금 더 손보면 원하는 결과에 도달할 수 있다’는 착각을 심는다”라고 말했다.

둠프롬프팅의 두 얼굴

전문가들은 둠프롬프팅에 2가지 유형이 있다고 봤다. 하나는 개인이 LLM이나 AI 도구와 상호작용하는 과정에서 나타나는 유형이다. 이는 업무 외적인 상황에서도 발생할 수 있지만, 근무 시간 중에도 직원이 AI가 생성한 이메일, 코드, 연구 질의 결과물을 끊임없이 수정하는 방식으로 나타나기도 한다.

두 번째 둠프롬프팅 유형은 조직이 AI 에이전트를 도입하면서 나타나고 있다. 세일즈포스(Salesforce) AI 부문 EVP 제이예시 고빈다라잔은 “이 경우 IT 팀이 에이전트의 출력을 미세하게 개선하기 위해 끊임없이 조정하는 방식으로 나타난다”라고 말했다.

고빈다라잔은 AI 에이전트가 점점 정교해질수록 IT 팀이 더 나은 결과를 끊임없이 추구하려는 유혹에 빠진다고 진단했다. 그는 “AI가 내놓은 결과를 무조건 믿어서는 안 되지만, 동시에 ‘이 정도면 충분하다’고 인정하고 멈춰야 할 순간도 있다. 그런데 이 둘 사이의 경계가 모호하다”라고 지적했다.

그는 “1세대 생성형 AI 서비스와 시스템에서는 다양한 맥락에서 원하는 출력을 얻기 위해 적절한 프롬프트를 정교하게 작성하는 능력이 중요했다. 이후 에이전트 중심 접근법이 등장하면서 원래는 이메일 작성에 쓰이던 기술을 훨씬 강화해 복잡한 작업을 오케스트레이션하는 수준까지 발전시켰다”라고 말했다.

고빈다라잔은 일부 IT 팀이 출력 결과를 다듬기 위해 에이전트에 점점 더 많은 지시를 추가하다가 ‘둠 루프(doom loop)’에 빠지는 사례를 목격했다면서, “조직이 여러 개의 AI 에이전트를 도입하면 결과를 계속 수정하려다가 배포 속도가 늦어지고 인력 소모가 커진다”라고 말했다.

그는 이어 “둠프롬프팅의 본질은 지시를 계속 추가하면서 ‘이번에는 제대로 작동할 것’이라고 기대하는 데 있다. 하지만 이렇게 늘어난 지시 중 일부는 서로 충돌하고 결국 시스템 지능이 희생되는 결과를 낳는다”라고 설명했다.

명확한 목표 설정이 해법

리콜의 파머 역시 고빈다라잔과 마찬가지로, AI 출력물에 필요한 의심과 끝없는 수정 사이의 긴장 관계가 존재한다고 봤다. 파머는 이 문제를 해결하려면 사전에 적절한 기대치를 설정하고 가드레일을 마련해, IT 팀이 어느 시점에서 결과를 수긍할 수 있어야 한다고 말했다.

조주의 미클레아는 AI 프로젝트 요구사항 문서에 콘텐츠의 대상 독자가 누구인지, 목표가 무엇인지, 어떤 제약 조건이 있는지, 그리고 성공의 기준이 무엇인지 명확히 담겨야 한다고 설명했다.

그는 “명확한 계획이나 과제가 언제 끝난 것인지 정의하지 않고 AI를 사용하기 시작하면 사용자는 무엇을 해야 할지에 대한 챗GPT의 제안에 쉽게 끌려갈 수 있다. 하지만 그 제안은 사용자의 최종 목표를 이해한 상태에서 나온 것이 아니라 단지 가능한 다음 단계 중 하나일 뿐이라는 점을 잊지 말아야 한다”라고 조언했다.

파머의 IT 팀은 이 문제를 해결하기 위해 여러 개의 에이전트를 동시에 실행하는 방식으로 성과를 거뒀다. 이는 일종의 적자생존 실험이었다. 파머는 “문제를 해결하려고 둠프롬프팅에 매달리기보다 5개의 에이전트에게 각각 맡겨 결과를 합친 뒤 가장 나은 것을 고르는 편이 낫다. 둠프롬프팅의 문제는 비용이 더 들고 시간을 낭비한다는 것이기에, 어차피 토큰을 쓸 거라면 시간을 절약하는 방식으로 활용하는 게 좋다”라고 말했다.

파머는 IT 팀이 AI 에이전트를 저연차 직원처럼 대해야 한다고 조언했다. 그는 “명확한 목표와 제약 조건을 주고 일을 맡긴 뒤 나중에 결과를 평가하면 된다. 엔지니어링 관리자가 모든 단계에 개입하면 오히려 비효율적인 결과와 둠프롬프팅으로 이어진다”라고 설명했다.
dl-ciokorea@foundryco.com