칼럼 | 끊임없이 쏟아지는 AI 모델, 혁신인가 낭비인가?

며칠 전, 한 벤더로부터 받은 또 하나의 캘린더 초대장을 바라보며 한숨이 나왔다. 그들은 ‘획기적인’ 대규모 언어 모델 또는 LLM을 소개하고 싶다며 회의를 요청했다. 불과 몇 주 전, 같은 기업이 자사의 환경 보호 노력과 환경·사회·지배구조(ESG) 점수를 자랑스럽게 공개한 게 생각났다. 그런데 이제는 이미 포화 상태인 시장에 또 하나의 자원 집약적인 AI 모델을 내놓으려 한다.

화상회의에 접속하자 익숙한 마케팅 문구가 쏟아졌다. ‘혁신적인 기능’, ‘최첨단 성능’, ‘경쟁력 확보’라는 말이 화면 너머로 들려왔다. 하지만 내 머릿속에는 대규모 데이터센터에서 수천 개의 GPU가 돌아가며 막대한 전력을 소모하고 있을 모습만 그려졌다. 결국 기존 기술을 조금 바꾼 또 하나의 모델을 학습시키기 위한 작업일 뿐이었다.

필자는 계속해서 의문이 들었다. 과연 이 기업은 지속가능성을 강조하면서 동시에 AI 개발로 인한 탄소 배출을 어떻게 정당화할까? 마치 나무를 심으면서 동시에 숲을 태우는 것처럼 보였다.

지금 전 세계에는 수백 개의 LLM이 존재한다. GPT-4나 팜(PaLM)처럼 상업적으로 운영되는 모델부터, 라마(Llama)나 팔콘(Falcon) 같은 오픈소스 모델까지 다양하다. 오픈소스 접근성과 기업의 적극적인 투자로 인해 AI 생태계는 어느 때보다도 붐을 이루고 있다. 각 조직이 자신만의 AI를 갖고 싶어 하면서 경쟁이 과열되고 있지만, 이로 인해 발생하는 비용은 상상 이상이다.

현재 강력한 LLM은 누구나 손쉽게 이용할 수 있게 되었다. GPT-4처럼 일부 고급 모델은 접근이 제한되지만, 대부분의 강력한 대안은 무료이거나 거의 비용이 들지 않는다. 오픈소스 진영은 이 속도를 더 빠르게 만들고 있다. 라마, 미스트랄(Mistral) 등 여러 모델은 누구나 다운로드하고 수정해 활용할 수 있도록 공개돼 있다.

환경과 경제에 미치는 부담

수많은 LLM이 존재한다는 그래픽을 보며, 점점 고갈돼 가는 자원을 떠올리지 않을 수 없었다. 대표적인 모델을 하나 학습시키는 데 많은 경우 500만 달러가 들며, 운영비도 매달 수백만 달러 수준이라는 보도도 나왔다.

많은 사람과 조직은 아직 AI가 환경에 얼마나 큰 영향을 미치는지 실감하지 못하고 있다. LLM 하나를 학습하는 데는 수천 가구의 1년치 전력에 해당하는 계산 자원이 필요하다. 전통적인 전력망을 사용할 경우, 대형 모델 하나를 학습시키는 데 배출되는 탄소는 연간 자동차 40대 분량, 즉 이산화탄소 약 200톤에 이른다. 모델이 실제로 결과를 생성하는 추론 단계는 학습보다는 자원이 적게 들지만, 사용량이 늘면서 결국 연간 수백만 달러의 비용과 기가와트급 전력 소비를 야기하게 된다.

상황은 더욱 심각해지고 있다. 최신 LLM은 학습에 수천억 개의 파라미터를 사용한다. GPT-3는 1,750억 개, 블룸(BLOOM)은 1,760억 개, 구글의 팜(PaLM)은 5,000억 개를 활용한다. 이들 모델을 학습하려면 수십만 시간의 GPU 사용이 필요하며, 이를 위해 막대한 전기와 특수 하드웨어 인프라가 요구된다.

이처럼 계산 자원이 크면 클수록 에너지 소비가 늘어나고, 이는 곧 탄소 배출로 이어진다. 모델을 학습하는 장소 또한 중요한데, 석탄이나 천연가스 같은 화석 연료에 의존하는 지역에서 모델을 학습할 경우, 재생 에너지로 학습한 모델보다 최대 50배 많은 탄소를 배출할 수 있다.

중복된 비슷한 모델, 과연 필요할까

어느 정도의 경쟁과 병렬적 개발은 혁신에 필요하지만, 현재는 점점 낭비로 보인다. 여러 조직이 비슷한 기능을 가진 모델을 만들며, 각각이 막대한 탄소 배출을 유발하고 있다. 특히 많은 모델이 벤치마크나 실제 업무에서 유사한 성능을 보이기 때문에, 이런 중복은 더욱 의문을 자아낸다.

대부분 LLM은 언어 생성, 요약, 코딩 등 비슷한 작업에서 뛰어난 성능을 보인다. GPT-4나 클로드 같은 모델이 약간 더 높은 점수를 받을 수도 있지만, 대부분의 차이는 미세한 수준이며 근본적으로 획기적인 차이는 아니다.

이처럼 LLM은 위키피디아, 커먼 크롤(Common Crawl), 책, 온라인 커뮤니티, 뉴스 등 공개된 인터넷 데이터를 중심으로 학습되기 때문에, 모델 간 지식과 성능의 중복이 불가피하다. 일부 모델은 독자적인 데이터셋으로 미세 조정되거나 아키텍처에서 약간 차별화를 시도하지만, 기본적인 정보와 언어 패턴, 편향 등은 대부분 동일하다.

결국 생성되는 결과물도 비슷한 정보 틀 안에서 반복되며, 특히 일반적인 질문에 대한 응답에서는 모델 간 차별성이 거의 없다. 그렇다면 비슷한 방식으로 학습된 LLM을 이렇게 많이 만들 필요가 있을까? 더구나 모델 간 성능 향상도 점점 미미해지고 있다. 이미 사용할 수 있는 데이터는 대부분 소진된 상태이며, 새로운 데이터를 만들어내는 역량도 획기적인 변화를 이끌기는 어렵다.

속도를 늦출 때다

LLM 개발에 좀 더 협력적인 접근이 도입된다면, 환경 부담은 줄이면서도 혁신은 계속할 수 있다. 모든 조직이 매번 처음부터 모델을 만드는 대신, 기존 오픈소스 모델을 기반으로 공동 자원을 활용하면 비슷한 성과를 훨씬 적은 비용과 에너지로 달성할 수 있다.

이를 위한 실질적인 방안은 다음과 같다. 

• 조직이 공통으로 활용할 수 있는 표준 모델 아키텍처를 만들기 

• 재생 에너지를 사용하는 공동 학습 인프라 구축 

• 계산 자원을 덜 사용하는 효율적인 학습 기법 개발 

• 새로운 모델을 개발하기 전, 탄소 영향 평가 절차 도입 

필자 역시 매일 LLM을 활용하고 있다. 이 기사를 쓰는 데도 많은 도움을 받았다. 문제는, 지금 너무 많은 모델이 생겨나고 있고, 그 대부분이 비슷한 일을 한다는 점이다. 과연 우리는 어느 시점에서 더 나은 길을 고민하게 될까?
[email protected]