챗GPT의 한계점 및 단점 정리, 답변 오류, 대응 부족

챗GPT는 자연어 처리가 가능한 서비스 중 현 시점에서 가장 전세계적으로 널리 쓰이고 인지도가 높은 서비스이지 않을까 합니다. 최대한 인류에 유용하게 쓰이고자 개발되고 설계된 것도 맞겠지만, 한계와 제한 사항 역시 이미 분명하게 보이는 것 같습니다. 현재의 기술로는 극복할 수 없는 문제일까요? 이번 글에서는 챗GPT의 다양한 한계점들을 살펴보는 시간을 마련해 보겠습니다.

 

---

챗GPT가 작성한 컨텐츠를 구별할 수 있을까, 챗GPT 답변 템플릿, 패턴 인지, 필터링하는 이유

 

확률적 답변 채택 방식으로 인한 답변 오류

사람 간의 대화에는 언어적인 요소와 비언어적인 요소가 함께 포함되어 있는 반면 챗GPT와의 대화는 언어적 요소 즉 텍스트로만 이루어진 정보만을 토대로 답변을 하기에 이런 상황에서는 사용자가 하려는 말을 100% 이해하는 데에 한계가 있을 수밖에 없습니다. 이런 상황에서 챗GPT는 사용자가 입력한 문장에 담긴 맥락을 최대한 파악한 후 답변으로서 가능해보이는 후보 몇 가지를 생성하고, 각 후보에 대한 사용자의 만족 확률을 계산한 뒤 그 후보들 중에서 확률이 가장 높아보이는 답변을 최종 선택하여 답변으로 내놓고 있습니다. 이 방식을 '확률적 방식'이라고 부릅니다. 그리고 바로 이 '확률적 방식'으로 인해 챗GPT의 답변이 때로는 잘못된 방향으로 흘러가거나, 사용자가 생각하지 않았던 방향으로 일관성 없게 흘러가기도 합니다. 말 그대로 확률이기 때문입니다. 

 

또한 챗GPT는 사용자가 입력한 문장 속 정보 및 과거에 챗GPT와 오간 대화에서 챗GPT가 어떤 답변을 내놓았을 때 사용자가 어떤 반응을 보였는지에 대한 정보를 함께 고려하여 각 답변 후보의 확률을 계산하고 있습니다. 그렇기에 사용자의 문장에 어떤 표현이 들어갔는지에 따라, 사용자가 기존에 어떤 답변에 어떻게 반응했냐에 따라, 그리고 챗GPT가 판단한 각 답변 후보들의 확률이 이번에는 어떤 방식으로 매겨졌느냐에 따라, 매 번 답변의 방향이 달라지는 것입니다.

 

한편으로는 사람 간의 대화에서도 비슷한 일은 일어나는 것 같습니다. 상대방으로부터 질문을 받았는데 그 질문이 굉장히 직관적이었다면 답변을 바로 내놓는 데 전혀 거리낌이 없지요. 하지만 여러 방면으로 해석될 수 있겠다 싶은 경우에는 상대방이 진짜 하고싶었던 말이 무엇이었을지 요리조리 생각해보고 가장 적절하겠다 싶은 방향으로 답변하게 되기도 합니다. 웬만해선 이 방법이 통하지만 맥락을 잘못 파악한 경우엔 잘못된 답변을 하거나 때로는 말실수로 이어지기도 하죠. 사람 간대화에도 이렇게 오류가 일어나는데 사람과 기계 간의 대화이니 어쩌면 (아직까지는) 당연한 게 아닐까 싶기도 합니다.

 

들리는 소문에 따르면 현재 챗GPT에 적용되어 있는 GPT-3의 다음 버전인 GPT-4 모델이 올해 중 새로 나온다고 합니다. 지금까지의 GPT 시리즈들이 그랬듯 다음 모델은 현재의 GPT-3 모델보다 더욱 많은 파라미터를 토대로 학습하게 될테니 사용자의 문장 속 미세한 맥락 차이를 지금보다 더욱 잘 파악하게 될것은 당연합니다. 다만, 기술이 꾸준히 개발되는 것과 동시에 인간의 언어 또한 꾸준히 진화하고 있고 해마다 다양한 신조어와 표현법이 새로 나오고 있으니 GPT 모델이 이러한 언어의 진화를 실시간으로 따라잡는 날이 오기 전까지 위의 문제는 계속되지 않을까 합니다.

 

정보 부족으로 인한 답변 오류

챗GPT에 적용되어 있는 GPT-3 모델은 제공되는 데이터에 대해 학습을 진행하고, 학습해놓은 데이터를 기반으로 다양한 임무를 수행하거나 사용자의 질문에 답변하고 있습니다. 이런 데이터 학습 방식으로 인해 자연어 처리가 가능해진 것도 맞지만 한편으로는 오롯이 데이터 학습에만 의존하기 때문에 제공받은 적 없는 데이터에 대해서는 알 리가 없습니다. 알려져있는 바로는 2023년 초인 현재 챗GPT는 2021년의 데이터까지만 학습되어 있다고 합니다. 그러니 챗GPT에게 올해 일어난 각종 이슈에 대해 아무리 물어보아도 답변을 받을 수 없습니다. 즉 언어 모델이 학습한 데이터의 양이 그 모델의 성능을 좌우할 수 있다는 것입니다.

 

또한 챗GPT와 같이 데이터 학습에 의존하는 AI 언어 모델은 제공받는 데이터의 퀄리티와 다양성에 따라서도 답변의 퀄리티가 달라질 수밖에 없습니다. 모델의 정보성이 데이터의 질에도 좌우된다는 뜻입니다. 신뢰할 수 있는 정보를 학습한 경우에는 답변 역시 신뢰할 수 있겠지만 그렇지 않은 경우에는 답변이 의미없어지거나 심한 경우 가치가 없어질 수도 있는 것입니다. 

 

한편으로는 이렇게 챗GPT가 학습하는 데이터의 질과 양으로 인해 발생하는 오류는 앞으로도 당분간 계속되지 않을까 합니다. 추후 개발될 GPT 모델이 인류의 모든 지식을 실시간으로 데이터화하여 파악하고 학습하는 날이 오기 전까지는 말입니다.

 

 

'생각'하지 않는 데서 기인하는 대응 부족

챗GPT와 같은 인공지능 언어 모델이 데이터를 학습할 땐 방대한 데이터셋 내의 각 문장속 단어들의 관계를 파악하고 그 속에서 일종의 패턴을 감지하게 됩니다. 그리고 그 패턴을 토대로 사용자의 질문이나 요청을 파악하고, 패턴에 기반한 답변을 생성해 냅니다. 다른 말로 하면, 학습한 패턴과 관계를 기반으로한 답변은 생성이 가능하지만 이를 벗어나는 것은 불가하다는 뜻이 됩니다. AI 언어 모델들은 단지 학습한 데이터 속 패턴을 기반으로 사용자의 문맥에 가장 어울리거나 적절해보이는 답변을 생성해내는 것이기에, 알고있는 패턴 중 어떤 패턴도 적용할 수 없는 새로운 문제나 상황에 직면하게 되면 어떻게 대응하는 게 적절한 것인지 알 수 없는 것입니다.

 

챗GPT는 자연어로 된 질문에 자연어로 된 답변을 생성해낼 수 있는, 자연어 처리에 특화된 AI 언어 모델인 건 분명합니다. 하지만 챗GPT가 자연어를 잘 이해하고 인간의 언어 처리 능력을 모방할 수 있다고 해서 챗GPT가 '생각'하는 기계라고 할 수는 없어 보입니다. 위에 설명한 것과 같이 학습한 패턴 속에서만 움직일 수 있기 때문입니다. 인간과 다르게 챗GPT와 같은 인공 지능은 (아직까지는) 독립적으로 사고하거나 판단을 내리는 것은 불가하기에 특히 창의성이나 혁신성을 필요로하는 영역에 있어서는 당분간 만족할만한 답변을 기대하는 것이 쉽지 않을 것으로 보입니다.

 

---

챗GPT와 같은 AI 언어 모델은 오늘날의 기술이 허락하는 범위 안에서는 다양한 임무를 수행할 수 있지만 아직까지는 현재의 기술로는 극복할 수 없는 다양한 한계지점이 존재하는 것으로 보입니다.

 

물론 GPT 관련 기술은 앞으로 굉장히 빠른 속도로 발전해갈 것이고 위에서 서술한 내용들은 조만간 과거가 되겠지요. 어쩌면 저와 같은 일반인들에게 주어진 과제는, 이러한 기술들의 발전 속도를 얼마나 빠르게 쫓아가느냐가 될 수도 있겠습니다.

 

 

 

챗GPT가 불러올 각종 변화, 웹 및 블로그 생태계 변화, 컨텐츠 평준화, AI 작가, 데이터 중립성