‘잘 설계된 프롬프트라도 이식성 떨어져’···IBM, 프로그래밍하는 ‘생성형 컴퓨팅’이 대안

IBM이 AI의 다음 단계는 ‘생성형 컴퓨팅(Generative Computing)’이 될 것이라고 전망했다. 지금처럼 프롬프트 엔지니어링을 기반으로 하는 대규모 언어 모델 사용 방식으로는 생성형 AI와 소통하는 것이 한계가 있기 때문이다. 프롬프트는 잘 설계된 것이라도 특정 모델용으로 만들어졌기 때문에 이식성이 떨어지고, 모델과 상호작용을 하는데 취약하다는 것이 IBM의 설명이다.

IBM AI 연구 부사장인 스리람 라가반은 ‘싱크 2025(Think 2025)’ 컨퍼런스에서 “우리 업계에 새로운 컴퓨팅 요소가 등장하는 것이 흔한 일은 아니다. 생성형 컴퓨팅은 프롬프트에서 실제 프로그래밍으로 나아가는 방법이다. 대규모 언어 모델(LLM)이 근본적으로 새로운 컴퓨팅 환경이라는 인식이 필요하다”라고 밝혔다.

지금은 생성형 AI 모델과 상호 작용은 토큰(Token)을 사용해 API를 통해 이루어진다. 즉, 사용자가 요청하는 내용을 토큰으로 잘게 나누어 주고받는 방법을 사용한다. 이를 사람에 비유하면 말 또는 글을 주고 받는 대화를 통해 상호작용을 하는 것과 비슷하다.

하지만 생성형 컴퓨팅은 코드를 통해 통신하는 런타임을 통해 대규모 언어 모델과 상호작용을 한다. 구조화되고 정형화된 프로그램을 통해 상호작용을 한다는 뜻이다. 자연어가 아닌 명령어를 사용한 프로그래밍된 요구 사항은, 원하는 것을 구조화해서 전달할 수 있기 때문에 더 정확하고 일관성 있는 응답이 가능하다는 것이 IBM의 설명이다.

라가반은 “LLM이 근본적으로 새로운 컴퓨팅 환경이라는 인식이 필요하다. 챗봇에서 어시스턴트, 에이전트에 이르기까지 애플리케이션 프레임워크의 발전과 함께 이들과 상호 작용하는 새로운 방식이 필요하게 되었다”라며 “이제 우리는 모델에게 검색 증강 생성(RAG)과 오케스트레이션을 수행하는 등 더 많은 일을 하도록 요구하고 있으며, 데이터 역시 텍스트 문서에서 음성, 표 형식의 데이터, JSON 파일 등으로 급증했다”라고 말했다.

그러면서 “토큰 기반으로 상호작용하는 프롬프트 엔지니어링이 아니라, 생성형 컴퓨팅을 통해 API를 프로그래밍 추상화를 갖춘 런타임으로 대체해야 한다. 이렇게 하면 프롬프트를 사용할 때 보다 훨씬 더 작은 모델을 사용하여 동일한 수준의 정확도를 달성할 수 있을 것”이라고 밝혔다.
[email protected]