오픈AI “AI 환각은 피할 수 있다···평가 방식 개선 필요”

오픈AI가 대화형 AI의 고질적 문제인 ‘환각(hallucination)’ 현상에 대한 심층 연구 결과를 공개했다. 환각이란 언어모델이 그럴듯하지만 사실이 아닌 답변을 확신에 찬 듯 생성하는 현상을 말한다.

오픈AI는 블로그에서 이 환각이 지속되는 주요 이유로 현행 AI 훈련·평가 방식을 지목했다. 현재의 평가 체계는 정확도만을 중시해, 모델이 불확실한 상황에서 “모르겠다”라고 답하기보다 추측하도록 유도한다는 것이다.

특히 연구진은 환각을 단순한 기술적 결함이나 불가피한 결과로 보지 않았다. 오히려 답을 모를 때 추측을 하는 것이 점수상 유리하기 때문에 발생하는 문제라고 설명했다. 예를 들어 생일을 묻는 질문에 “9월 10일”이라고 추측하면 365분의 1 확률로 맞을 수 있지만, “모르겠다”라고 답하면 0점을 받기 때문에 모델이 추측을 선택하게 된다.

“정확도를 높이면 환각이 사라진다”는 주장에 대해서도 선을 그었다. 현실에는 본질적으로 답할 수 없는 질문이 존재해 모델의 크기나 성능과 무관하게 정확도 100%는 불가능하다는 것이다. 또한 “환각은 불가피하다”는 통념에도 반대하며, 불확실할 때 답변을 보류(abstain)하는 방식으로 환각을 줄일 수 있다고 표현했다.

‘다음 단어 예측’ 학습이 환각의 뿌리

연구진은 환각의 근본 원인도 짚었다. 언어모델은 대규모 텍스트에서 ‘다음 단어 예측’으로 학습하는데, 옳고 그름을 명확히 구분하는 라벨이 없어 거짓 정보도 자연스러운 언어로 습득하게 된다.

특히 애완동물의 생일처럼 본질적으로 무작위인 정보는 패턴 예측이 불가능해 오류가 불가피하다고 오픈AI는 설명했다. 반면 철자나 괄호 짝 맞추기처럼 규칙성이 뚜렷한 영역은 학습 규모가 커질수록 오류가 줄어든다.

연구진은 해결책으로 평가 체계의 개편을 제안했다. 확신에 찬 오답에는 더 큰 감점을, 불확실성을 솔직히 표현한 답변에는 부분 점수를 주자는 것이다. 오픈AI는 “정확도만을 중시하는 기존 평가 방식을 바꿔야 한다”며 “현재의 순위표가 운 좋은 추측에 보상을 주는 한, 모델들은 계속 추측을 학습할 것”이라고 지적했다.

오픈AI는 “최신 모델의 환각률은 점차 낮아지고 있으며, 언어모델의 확신에 찬 오답을 줄이기 위해 지속적으로 연구를 이어가고 있다”고 덧붙였다.
jihyun.lee@foundryco.com