챗GPT 논문 요약 분석 가능한가 (feat. 빙 AI)

챗GPT가 수행할 수 있는 다양한 기능중에는 글 요약과 분석도 있습니다. 아무리 복잡하고 어려운 글이라도 몇 초만에 척척이죠. 그렇다면 논문 요약도 가능하지 않을까요? Arxiv 등 온라인으로 확인 가능한 논문이라면 어떨까요? 아래에서 확인해 보도록 하겠습니다.

 

Arxiv란?

arxiv는 물리학, 수학, 컴퓨터 과학, 생물학, 금융, 통계학, 전기 공학과 시스템 과학, 경제학 등 분야에 대한 학술 논문을 무료로 배포하고 오픈 액세스로 보관해주는 서비스입니다. 1991년에 물리학자 폴 긴스파르그(Paul Ginsparg)가 만들었고 현재는 코넬 대학교(Cornell University)에서 운영하고 있습니다. arxiv는 학술지에 게재되기 전에 연구자들이 자신의 논문을 사전 인쇄(preprint) 형태로 공개하여 학술지에 게재하기 전에 미리 피드백을 받을 수 있도록 하는 플랫폼으로 사용되고 있으며 약 220만 건 정도의 논문이 올라가 있습니다.

 

arxiv는 대수 기하학(Algebraic Geometry), 해석적 PDE(Analysis of PDEs), 조합론(Combinatorics), 복소 변수(Complex Variables), 미분 기하학(Differential Geometry), 동적 시스템(Dynamical Systems) 등 다양한 수학 분야의 논문을 보관하고 있습니다. 최신 논문, 이번 달에 올라온 논문 등을 구분하여 확인하는 것도 가능하며 특정 논문을 검색하거나 연도별 통계 등을 확인할 수도 있습니다.

arxiv를 이용하기 위해선 공식 홈페이지인 arxiv.org에 방문하면 됩니다. arxiv에 논문을 제출하거나 업데이트하려면 계정 등록이 필요하지만, 그냥 보기만 하는 것은 로그인 없이도 가능합니다.

 

챗GPT로 Arxiv의 논문을 요약할 수 있을까

결론부터 말씀드리면 챗GPT로는 한계가 있습니다. 2021년 9월의 정보까지만 알고 있기 때문입니다. 대신 빙 채팅으로는 논문 요약이 가능합니다. 대화 스타일은 '정확함'으로 설정해 놓고 아래와 같이 arxiv에 있는 논문 링크를 알려주면서 해당 논문을 요약해달라는 프롬프트를 이용하시면 됩니다. 참고로 아래 논문은 구글의 바드와 스패로우를 비교하는 글을 적으면서 참고했던 논문입니다. 심지어 전 페이지가 모두 영어로 되어있는데, 친절하게도 즉석에서 내용을 번역까지 해준 모습입니다. 답변 하단의 '자세한 정보' 영역을 보면 답변 내용에 대한 출처 링크를 표시하고 있고, 답변의 아래를 보면 빙 채팅에게 좀 더 물어볼 수 있는 질문들을 몇 가지 제안하고 있습니다.

 

혹시 pdf 파일로 되어있는 논문에 대해서도 요약이 가능할까요? 위와 동일한 논문에 대해 pdf 파일의 위치를 링크로 알려주고 내용을 요약해달라고 하니 아래와 같이 요약을 해주고 있습니다. 동일한 논문에 대한 것이어서겠지만 요약 내용은 위와 동일하며, 위와 마찬가지로 유저가 조금 더 질문해볼 수 있는 것들을 제안해주고 있습니다. 다만 제가 전달한 링크가 pdf여서인지 답변에 대한 출처 표기는 따로 하지 않고 있습니다.

 

이번에는 확인을 위해 빙 채팅이 제안하고 있는 질문 중 하나를 클릭해 보았습니다. 학술적인 내용이어서인지 동일하게 arxiv의 논문으로부터 정보를 얻어온 것으로 보이고 하단 '자세한 정보' 영역에 arxiv 등을 출처로 걸어놓은 모습입니다. 이렇게 빙 채팅은 챗GPT와는 다르게 인터넷 검색을 실시간으로 수행하여 가장 최신의 정보를 취합하고 답변으로 제공하고 있기에 답변의 정확도가 챗GPT보다 많이 향상되어 있습니다.

 

Arxiv 논문 분석 작업은 어떨까

그러면 논문 내용을 요약하는 것이 아닌, 좀 더 고도의 작업인 '분석'을 요청해보면 어떨까요. 아래 보시는 것과 같이 앞단에서는 먼저 논문의 내용을 요약해주고 있습니다. 위에서 논문 요약을 요청했을 때 받았던 답변과 비교해보면 흐름이 전반적으로 동일합니다. 그리고 답변의 뒷단에서는 논문에 대한 약간의 분석을 해준 모습입니다. 다만 내용을 실제로 뜯어보니 요약 내용과 큰 차이는 없는 것으로 확인되어, 이 점은 조금 아쉽습니다.

 

이번엔 특정 주제를 알려주면 그 주제와 관련된 논문을 찾는 것도 가능한지 확인해 보았습니다. 아래와 같이 생성형 AI와 관련된 최신 논문을 알려달라는 요청에 대해 빙이 새로운 논문 두 가지를 알려주고 있습니다. 각 논문에 대한 간단한 요약본도 함께 제공하고 있습니다. 두 논문 모두 arxiv에 올라가있는 논문으로, 빙이 답변 하단에 출처 링크를 함께 제공하고 있습니다. 물론 arxiv 웹사이트에서 키워드 검색을 통해 논문을 찾아보는 것도 가능은 합니다. 하지만 이렇게 빙 AI에게 논문 검색을 요청하는 경우, 인간의 언어를 이해할 수 있는 빙이 검색 결과에 나오는 수십에서 수백 건에 해당하는 논문의 맥락을 단 몇 초만에 파악하고 가장 연관도가 높아보이는 논문을 빠르게 찾아주니, 검색 결과를 일일이 하나 하나 눈으로 훑는 것보다 시간을 많이 단축시킬 수 있을 것으로 보입니다. 특히 다소 복잡한 검색을 해야 하는 경우에는 더더욱 빙이 유용하게 쓰이지 않을까 합니다. 게다가 우리말로 바로 번역해주고 있기도 하고요.

 

이번엔 두 개의 서로 다른 논문의 공통점 등을 파악하는 것도 가능한지 확인해 보았습니다. 아래와 같이 논문 두 개의 링크를 제공하면서 공통으로 담긴 내용을 알려달라고 해본 결과, 간단히 답변을 받아낼 수 있었습니다.

위에서 공통점 파악을 요청한 논문 두 개는 실제로 공통점이 있는 논문이었는데, 이번에는 상황을 바꾸어서 공통점이 별로 없어보이는 논문을 제시해 보았습니다. 첫 번째 논문은 위에서 계속 실험에 이용한, NLP 관련 논문이고 두 번째 논문은 유튜브의 영상 추천 알고리즘에 대한 논문입니다. 결과는 어땠을까요? 아래 보시는 것과 같이, 공통점이 없는 논문이라는 결론을 정확하게 낸 모습입니다. 챗GPT는 점점 겉만 번지르르한 거짓말쟁이(a.k.a. 말빨 좋은 사기꾼)라는 느낌을 주고있는 반면 빙은 왠지 모르지만 기술 업데이트도 빠른 것 같고, 요즘들어 점점 더 믿음을 주고 있네요. 결론적으로 빙 AI를 이용한다면 arxiv에 올라온 논문에 대해 본 글에서 보신 것과 같은 수준의 간단한 요약이나 분석이 가능하다는 점 밝히며, 본 글을 마치겠습니다.