챗GPT 운영엔 왜 큰 돈이 들까 (feat. AI 던전)

챗GPT 붐이 일어나기 한참 전인 2019년 초, GPT 모델을 기반으로 하는 'AI 던전(AI Dungeon)'이라는 텍스트 생성형 던전 어드벤처 게임이 있었습니다. 이 게임은 2021년 경 전성기를 맞았지만 GPT 기술 덕에(?) 자본잠식에 빠질 뻔 했다는데요. 무슨 일이 있었던 걸까요?

 

 

 

 

AI 던전이란?

AI 던전은 플레이어가 텍스트로 어떤 요청 또는 이야기를 입력하면 인공지능이 학습한 데이터를 바탕으로 그 다음에 나올 스토리를 창작하여 출력해내면서 계속 던전 이야기를 만들고 즐기는 게임입니다. 플레이어는 아래 네 가지 옵션으로 게임을 이어나갈 수 있습니다. 화면 하단의 'Do' 버튼을 클릭하면 다른 옵션을 선택할 수 있습니다.

• Do / What do you do? : 플레이어가 취할 행동을 적습니다. 
• Say / What do you say? : 플레이어가 할 말을 적습니다.
• Story / What happens next? : 다음 스토리를 이어나갑니다.
• See / What do you see? : 플레이어가 본 것을 적습니다.

 

 

 

위와 같이 플레이어가 처음부터 스토리를 만들어갈 수도 있지만, 다른 플레이어가 만든 시나리오 또는 AI 던전 안에 이미 제작되어 있는 세계관에서 시작할 수도 있습니다. 이들 스토리는 홈페이지 상에 Worlds (세계관), Popular Scenarios (가장 많이 플레이된 시나리오), Trending Scenarios (막 뜨고 있는 시나리오) 등 카테고리로 구분되어 있으며 그중 마음에 드는 시나리오를 클릭하면 해당 시나리오로 시작할 수 있게 됩니다. 예시는 다음과 같습니다.

• Alarathos: 인간이 상상할 수 없는 공포와 제정신인 사람을 미치게 만들 수 있는 끔찍한 생물로 가득 차 있는 세계
• Gorgon: 어둡고 위험한 언데드의 세계
• Kedar: 용과 악마, 괴물들의 세계
• Xaxas: 모든 인종이 함께 조화롭게 살아가는 평화와 번영의 세계
• Winterbloom: 파이의 달콤한 향기, 핫초코, 그리고 푸른 상록수로 가득 찬 이상한 곳

 

 

AI 던전은 무료로 플레이할 수 있지만 유료 구독을 통해 좀 더 빠른 스토리 진행이 가능하며, Dall-E나 Midjourney처럼 사용자의 설명을 기반으로 이미지를 만들어내주는 'Stable Diffusion' 서비스도 이용할 수 있어 스토리를 진행하면서 즉석에서 본인의 스토리를 이미지화하는 것도 가능합니다.

 

대규모 언어 모델의 높은 유지비

AI 던전의 개발사인 Latitude에 따르면 AI 던전이 대중화되면서 더욱 많은 플레이어가 게임을 플레이할수록 게임 유지비도 비례 상승했습니다. AI 던전의 텍스트 생성을 가능케 하는 것은 GPT 기술이었고, AI 던전이 글자를 한 자 한 자 생성할 때마다 GPT 기술을 보유한 Open AI사에 비용을 지불하는 구조이기 때문입니다. 어느 시점부터는 예상하지 못한 비용도 발생했습니다. 일부 유저가 AI 던전을 마케팅 프로모션 카피 생성에 쓰고 있었던 것입니다. 챗GPT가 처음 대중에 공개되었을 때 전세계의 유저들이 본인 담당업무에 대해 챗GPT의 도움을 얼마나 받을 수 있을지 탐색해보는 과정을 거쳤는데, AI 던전을 통해 프로모션 카피를 만들었던 그 유저들은 이미 수 년 전 GPT 기술의 가능성을 파악했던 것입니다.

 

Latitude사에 따르면 AI 던전이 가장 활성화되었던 2021년 기준으로, 이렇게 플레이어(및 마케터들)의 시나리오를 생성하는 것에 있어 Open AI사 및 아마존 서버에 지출한 비용은 매 달 약 $200,000 수준, 한화로 약 2.5억 원 수준이었다고 합니다. 구글이나 마이크로소프트와 같은 대기업도 아닌, 이제 막 비즈니스를 시작한 신생 기업인 Latitude 입장에서는 굉장히 막대한 비용이 매 달 발생하고 있었던 것입니다.

 

당시 AI 던전의 업데이트 로그에는 실제로 금전적 문제와 관련한 푸념이 많이 섞여있기도 했습니다. 이후 Latitude는 유지비를 줄이고자 기존에 Open AI의 GPT를 이용했던 것에서 스타트업인 AI21 Labs가 제공하는 비교적 저렴한 모델로 전환했고 각종 오픈 소스와 무료 언어 모델도 서비스에 통합했다고 합니다. 이를 통해 월 지출비를 $100,000 수준까지 줄였습니다. 그리고 조금 더 부담을 덜고자 그 시점부터 플레이어들에게 위에서 설명한 유료 구독 옵션도 제공하기 시작했습니다. 

 

이렇게 대규모 언어 기반 기술 또는 생성형(generative) 기술을 이용하는 비즈니스는 뒷단에서 막대한 유지비를 필요로 합니다. 이러한 비즈니스는 소프트웨어를 구축하고 상용화한 이후에도 해당 소프트웨어를 지탱해주는 대규모 언어 모델을 지속적으로 '학습' 시켜야 하는데 이때마다 비용이 발생합니다. 올해 초 Meta에서 발표한 대규모 언어 모델 LLaMA의 경우 AWS 비용 기준으로만 240만 달러, 한화로 약 31억 원이 들었다고 합니다. LLaMA는 GPT-3 모델보다 규모가 작은 것으로 알려져 있습니다. 전문가들에 따르면 LLaMA보다 큰 GPT-3 수준의 모델을 훈련시키는 데에는 최소 400만 달러, 한화로 약 52억 원은 투입되었을 거라고 합니다. 이러한 대규모 언어 모델이 매일 지속적으로 훈련되지 않는데는 이유가 있는 것입니다. 챗GPT의 훈련 데이터 역시 2021년에 멈추어 있습니다.

 

또한, 대규모 언어 기반 모델은 사용자의 요청에 응답을 할 때마다 '추론'을 하는데 이때마다 수십억 개의 방대한 데이터를 토대로 계산을 수행해야 합니다. 이 계산 작업을 할때마다 지출이 발생하는데, 챗GPT 수준의 이용도를 가진 제품의 경우 사용자의 프롬프트를 처리하는 데에만 매 월 4천만 달러의 비용이 든다고 유추되고 있습니다. 한화로는 520억 정도 됩니다.  AI 던전의 경우에도 AI 던전이 플레이어의 요청에 대응할 때마다 추론 비용으로 약 0.5센트 정도가 발생했습니다. 매일 수백만 건의 요청이 발생했으니 매일 막대한 유지비가 지출되었을 겁니다.

 

그리고 이러한 추론을 위해서는 그만큼의 데이터 처리를 소화할 수 있는 하드웨어도 필요합니다. 마이크로소프트의 Bing AI 챗봇의 경우에도 프롬프트 대응을 위한 인프라 구축(GPU 서버 구매비 등)에만 최소 40억 달러, 한화로 5조 이상이 투입되었을 거라고 추정되고 있습니다.구글, 마이크로소프트, 메타와 같이 상당한 자본을 기반으로 움직일 수 있는 것이 아니라면, 또는 수익 모델이 명확하지 않아 SaaS 지출비보다 수익이 턱없이 부족하다면 굉장히 빠른시간 안에 사업에 제동이 걸릴 수도 있는 것입니다.

 

관련사들의 행보와 업계의 움직임

위와 같은 이유로 인공지능, 특히 대규모 언어 모델(LLM)을 기반으로 하는 사업체들은 운영에 막대한 자금을 필요로 합니다. 이들을 위해 일부 IT 대기업들은 이러한 AI 기술과 관련한 스타트업을 지원하며 AI 새싹들에게 물을 주고 있기도 합니다. 마이크로소프트는 OpenAI사와 파트너십을 체결하던 2019년 당시 10억 달러를 투자했는데 얼마 전 100억 달러를 추가 투자하기로 했습니다. 슬랙과 태블로 등으로 유명한 세일즈포스의 경우 생성형 AI 기술을 보유한 스타트업을 지원하고자 2억 5천만 달러 규모의 펀드를 출시했습니다. 얼마 전까지 배달 서비스에 눈독을 들이던 벤처 캐피탈들도 이제는 LLM과 생성형 AI 쪽으로 눈을 돌리고 있다고 합니다. 생성형 AI 기반 비즈니스를 운영하려면 막대한 투자금이 반드시 뒷받침되어야만 한다는 것도 있지만, 이제는 그만큼 이 분야에 먹거리가 보인다는 뜻이 되기도 하겠습니다.

 

LLM 기술이 추론에 있어 막대한 비용을 소진한다는 지점에서 비즈니스 기회를 찾는 회사들도 생겨났습니다. d-Matrix라는 하드웨어 스타트업은 비싼 GPU 없이도 SRAM(정적 램, Static Random Access Memory)에서 데이터 처리를 원활하게 하고 그만큼 추론 비용을 절감할 수 있는 시스템을 만들고 있습니다. 지금까지 알려진 것에 따르면 현재 가장 많이 쓰이고 있는 GPU 제품 대비 추론 워크로드에 있어 10배 가량 효율적이라고 합니다. 참고로 이 회사도 투자비로 운영되고 있으며 M12(마이크로소프트 벤처펀드)와 우리나라의 SK하이닉스가 시리즈 A에 참여했습니다. 관련 칩렛 개발은 TSMC와 함께 진행하고 있습니다. 올해 하반기 정도에 Corsair라는 제품을 시중에 공개하는 것이 목표라고 합니다.

 

한편 Open AI 측에서도 GPT 모델을 이용하는 회사들의 부담을 덜어주고자 GPT 기술 이용비를 낮추어주겠다고 발표했습니다. Latitude와 같이 GPT 모델을 기반으로 사업을 유지하는 회사들이 많이 반겼을 소식입니다. 막상 자사 기술을 기반으로 챗GPT 등을 직접 운영하고 있는 Open AI사도 마찬가지로 GPU 서버 구매 등 유지비에 어마어마한 비용이 나갈텐데 이렇게 수익을 줄이면 어떻게 되는건지, 투자비만으로도 충당이 가능할지 의문입니다. 물론 대부분의 기술이 그렇듯 GPT 관련 기술도 점점 짧은 시간 안에 더욱 빠르게 발전하여 추론에 들어가는 비용도 점차 낮아지지 않을까 합니다. 관련 모델을 만드는 회사나 반도체 제조사에서도 점차 비용 효율화를 가능케 하는 기술을 탄생시키며 다양한 사업 기회를 만들어내게 될겁니다. 유지비가 점점 낮아지고 앞으로 더욱 다양한 비즈니스에서 LLM 기술에 접근할 수 있는 시점이 되면 이 기술이 어떤 쓰임새를 갖게 될지 앞으로 2~3년, 빠르면 1년 후의 미래가 궁금해집니다.