칼럼 | 비영어 생성형 AI의 데이터 격차, 투명성과 비용 절감 이끌어낼까?

영어에서 비영어 기반 대규모 언어 모델(LLM)로 전환할 때 품질이 급격히 저하된다는 사실이 더 분명해지고 있다. 비영어 모델은 정확도가 낮을 뿐만 아니라, 데이터 학습과 관련해 데이터 양과 품질 모두에서 투명성 부족 문제가 제기되고 있다. 이는 생성형 AI 도구와 플랫폼에서 꾸준히 언급돼 온 문제다.

하지만 기업들은 생산성이 낮은 비영어 모델에 대해서도 동일한 비용을 지불하고 있다. 왜 CIO는 가격 인하를 받지 못하고 있을까? 데이터 투명성이 부족해 더 낮은 성능에 더 많은 비용을 지불하고 있다는 사실을 거의 알지 못하기 때문이다.

모델 개발사가 자사의 데이터 학습 세부사항을 공개하지 않는 데는 여러 이유가 있다. 오픈AI(OpenAI)는 최근 딥시크(DeepSeek)가 자사 데이터를 무단으로 학습에 활용했다며 문제를 제기했는데, 이는 데이터 학습 권한에 대한 법적 문제를 다시 한번 수면 위로 떠오르게 했다. (오픈AI의 이런 주장은 그들 역시 유사한 방식으로 데이터를 수집했다는 점에서 다소 모순적이다.)

딥시크의 경우, 기본 모델의 저렴한 비용에 너무 큰 의미를 부여하지 않아야 한다. 딥시크는 오픈소스를 활용해 효율성을 높이고 가격을 낮추는 데 성공했지만, 중국 정부가 직간접적으로 딥시크에 얼마나 많은 자금을 지원했는지에 대해서는 거의 공개된 바가 없다.

그렇다 하더라도 딥시크가 생성형 AI 가격 인하 압박의 촉매제가 된다는 점은 환영할 소식이며, IT 임원진도 이를 지지할 만하다. 다만 의미 있는 가격 인하가 이뤄질 때까지 비영어 모델의 데이터 투명성 부족을 근거 삼아 모델 개발사의 터무니없이 높은 가격을 낮추도록 노력해야 한다.

비영어 모델의 문제는 사실 언어 자체의 문제가 아니다. 해당 언어에서 사용할 수 있는 학습 데이터와 관련된 문제다. 일부 추정에 따르면, 비영어 모델의 학습 데이터 세트는 영어 모델의 10분의 1, 심지어 100분의 1 수준에 불과할 수 있는 것으로 나타났다.

IBM의 다국어 자연어 처리 수석 연구 과학자인 한스 플로리안은 다양한 언어의 데이터 양을 추정하는 방법에 대해 “해당 언어의 위키피디아 페이지 수를 살펴보면 된다. 이는 해당 언어에서 사용 가능한 데이터의 양과 상당히 연관된다”라고 설명했다.

이 문제를 더욱 복잡하게 만드는 것은 단순히 언어나 해당 언어의 데이터양 문제뿐만 아니라 지역적인 맥락도 얽혀 있다는 점이다. 예를 들어, 특정 언어가 주로 사용되는 지역의 고유한 문화, 비즈니스 관행, 사회적 특성과 관련된 데이터 부족이 더 큰 문제일 수 있다.

모델 품질에 대해 우려하는 많은 기업이 의미 있는 가격 인하를 요구하기 시작하면, 모델 개발사가 취할 수 있는 방법은 2가지다. 일부 고객을 위해 비영어 모델 가격을 선별적으로, 그리고 비밀리에 협상하거나, 아니면 데이터 투명성을 진지하게 고려하는 것이다.

모델 개발사는 생성형 AI에 수십억 달러를 투자했기 때문에 가격 인하를 반기지 않을 가능성이 높다. 그렇다면 2번째 선택지, 즉 모든 고객에게 모델의 양과 질의 투명성을 완전히 제공하고, 그에 따라 제품 가격을 책정하는 방법이 있다.

품질을 수치로 표현하기란 거의 불가능하기 때문에, 개발사는 각 고객이 관심 있는 주제, 산업 분야, 지역에서의 품질을 직접 판단할 수 있도록 모든 학습 데이터 세부사항을 공개해야 한다.

현재 많은 CIO가 생성형 AI의 투자 대비 수익(ROI)를 얻는 데 어려움을 겪고 있다. 이런 상황에서 모델이 제공할 수 있는 역량과 기업이 지불해야 하는 비용 사이의 가격 격차는 문제를 가중시키는 핵심 요인이 됐다.

물론 가격 인하는 생성형 AI 투자의 ROI를 개선하는 가장 좋은 방법이지만, 당장 실현되기 어렵다면 데이터 투명성 확보가 차선책일 수 있다.

여기에는 함정도 있다. 모델 개발사는 데이터 학습의 완전한 투명성이 결국 가격 인하로 이어질 것이라는 점을 분명히 인식하고 있다. 데이터 품질이 얼마나 낮은지를 공개하게 되기 때문이다.

참고로, 데이터 품질이 낮다는 것은 분명한 사실이다. 만약 모델 개발사가 대량의 고품질 데이터를 활용하고 있다고 확신한다면 투명성을 거부하기는커녕 적극적으로 공개할 터다. 이는 판매 포인트가 될 수 있으며, 가격을 유지하는 데도 유용할 수 있다. 높은 품질은 그 자체로 판매력이 보장되기 때문이다.

데이터 학습의 투명성을 전혀 공개하지 않으려는 모델 개발사의 태도는 그들이 품질에 대해 어떻게 생각하는지, 그리고 현재 시장 상황이 어떠한지를 모두 말해준다.
[email protected]