AI 시대 더 중요해진 백과사전?···위키피디아, 아마존·미스트랄·퍼플렉시티 등 대규모 계약

위키미디어 재단이 개발한 위키미디어 엔터프라이즈는 대규모 콘텐츠 재사용 기업을 위한 상용 서비스다. 이 서비스는 세 가지 API 옵션을 제공한다.

온디맨드 API는 특정 문서의 최신 버전을 즉시 제공하며, 스냅샷 API는 모든 언어의 위키피디아를 매시간 업데이트되는 다운로드 가능한 파일 형태로 제공한다. 실시간 API는 업데이트가 발생하는 즉시 스트리밍한다.

이러한 API는 위키피디아뿐만 아니라 다른 위키미디어 프로젝트의 데이터에도 접근할 수 있다. 위키미디어 재단에 따르면, 이는 여행 정보 기반 지식 그래프나 교육 콘텐츠를 활용한 RAG(Retrieval-Augmented Generation) 모델 등 특정 분야의 활용 사례에도 적용 가능하다고 설명했다.

위키피디아는 공식 보도자료를 통해 위키백과가 현재 전 세계에서 가장 많이 방문되는 상위 10대 웹사이트 중 하나이며, 이 가운데 유일한 비영리 사이트라고 소개했다. 300개 이상의 언어로 제공되는 6,500만 개가 넘는 문서는 매달 약 150억 회 조회되고 있으며, 검색엔진과 음성 비서, 생성형 AI 챗봇 등 다양한 디지털 서비스의 핵심 지식 자원으로 활용되고 있다고 밝혔다. 특히 대규모 언어 모델(LLM)을 학습시키는 데 있어 위키백과는 인간이 직접 작성하고 검증한 고품질 데이터셋으로 높은 신뢰를 받고 있다고 설명했다.

이번에 새로 발표된 파트너 외에도 위키피디아는 이미 구글을 비롯해 검색엔진 플랫폼 에코시아(Ecosia), AI 데이터 시각화 플랫폼 노믹(Nomic), 오픈 지식 기반 AI 개발사 플레아스(Pleias), 콘텐츠 수익 배분 플랫폼 프로라타(ProRata), 디지털 콘텐츠 유통 기업 리프 미디어(Reef Media) 등 다양한 기업에 위키미디어 데이터를 제공하고 있다.
jihyun.lee@foundryco.com