본문 바로가기
Bing 101

Bing이 책 요약을 해준다고요? 챗GPT보다 잘할까요?

by -Joy- 2023. 3. 21.

지난 글에서 챗GPT에게 책 요약을 요청해보았을 땐 챗GPT가 조금은 당황스러운 결과물을 보여주었던 점이 아쉬움으로 남았습니다. 챗GPT는 오픈AI사 측에서 제공하는 정보를 기준으로만 학습되어 있고, 학습하지 않은 정보에 대한 질문을 받는 경우 그 정보를 '모른다'는 인지나 안내 없이 답변을 새로 랜덤하게 창작해서 제공하고 있기 때문이었습니다.
 

 

 
그런데 마이크로소프트의 검색 엔진인 Bing은 Bing 측에서 실시간 수집하고 있는 전 세계의 웹문서를 기준으로 한 답변을 제시하고 있다고 하니, 그럼 Bing은 최근에 출간 된 책에 대한 요약도 가능하지 않을까 합니다. 웹 어딘가에 그 책에 대한 정보만 있다면 가능하다는 뜻이 될테니까요. 그럼 바로 확인해 보겠습니다.
 
챗GPT의 결과물을 확인할 땐 '네이버 도서'의 3월 1주차 종합 베스트셀러를 따로 검색하고 그 리스트를 기준으로 질문했었는데 이번엔 Bing에게 최근 베스트셀러 목록을 아는지부터 물어보았습니다.

 

 

Bing은 역시 알고 있었습니다. 지난번 '네이버 도서' 기준으로 확인한 리스트와는 조금 다르지만 위의 리스트를 기준으로 하고, 리스트 내 1위 도서부터 시작하여 하나씩 질문해 보았습니다. 마침 1위 책에 대해서는 제가 궁금해할 것을 예측해서 '1위 책의 내용을 알려주세요.'라는 명령어를 미리 짜놓아 주었네요. 이 명령어를 그대로 클릭해 보았습니다. 그리고 이어서 몇 가지 질문을 이어나갔습니다.
 

Q. 1위 책의 내용을 알려주세요.

A. 1위 책인 나는 나로 살기로 했다는 김수현 작가의 일러스트 에세이입니다. 냉담한 현실에서 어른 살이를 위한 to do list라는 부제가 있습니다. 작가는 자신의 경험과 생각을 바탕으로 진짜 나로 살기 위한 뜨거운 조언과 어른이 처음인 어른들을 위한 위로를 담았습니다12. 공감 가는 글과 그림이 함께하여 많은 독자들의 사랑을 받고 있습니다.

책에 대해 더 알고 싶으신가요? 📚

자세한 정보: 1. yes24.com 2. kyobobook.co.kr 3. yes24.com

 

Q. '나는 나로 살기로 했다'를 요약해 주세요.

A. 『나는 나로 살기로 했다』는 김수현 작가가 우리가 온전한 '나’로 살아가기 위해 무엇이 필요한지 말해주는 에세이 책입니다. 이 책은 세상에 맞춰 사는 것이 아니라 스스로에게 변명하고 모두에게 이해받으려 애쓰지 말고 진짜 '나’를 찾아가라고 이야기합니다1. 또한 어른이 되면서 마주하게 되는 냉담한 현실에 대해서 고민하고 아픔도 겪으면서 느껴온 것들을 친구나 형제처럼 솔직하게 건네줍니다2. 이 책은 작가의 따뜻하면서도 날카로운 시선과 실제 삶에 적용할 수 있는 속 시원한 솔루션으로 전 세계 170만 독자의 공감을 얻었습니다3.

자세한 정보: 1. happycampus.com 2. blog.naver.com 3. brunch.co.kr +2 더 보기

 

Q. '죽고 싶지만 떡볶이는 먹고 싶어'를 요약해 주세요.

A. 『죽고 싶지만 떡볶이는 먹고 싶어』는 백세희 작가가 자신의 우울증과 기분부전 장애를 극복하기 위해 쓴 수필 책입니다. 이 책은 전반부는 상담 녹취록, 후반부는 일기장 스타일로 구성되어 있으며, 작가의 솔직하고 성찰적인 이야기를 담고 있습니다1. 이 책은 우리가 겪는 고민과 감정에 대해 공감하고 위로해주며, 삶에 힘을 내라고 말해줍니다23. 이 책은 2018년 텀블벅 크라우드 펀딩으로 출간되었으며, 웹툰으로도 만화화되었습니다45.

자세한 정보: 1. bing.com 2. blog.naver.com 3. blog.naver.com 4. yes24.com +1 더 보기

 
챗GPT, 빙에게 유료 이용자 많이 빼앗기겠는데요?

 

SMALL

 

이번에는 혹시라도 '없는 책'에 대한 질문을 하는 경우 빙이 어떻게 반응할지도 확인해 보았습니다.

Q. '죽고 싶지만 쭈삼은 먹고 싶어'를 요약해 주세요.

A. 제 실수로 지금은 답변을 드릴 수 없습니다. 다른 주제를 시도해 보세요.

 
존재하지 않는 책에 대해 물어서 그런 것인지, 정확한 이유는 알 수 없지만 답변은 제공하지 않고 있습니다. 참고로 같은 질문을 챗GPT에게 하니 아래와 같이 새로운 책을 창작해 내었습니다. 확실히 빙 쪽이 조금 더 신뢰가 갑니다. 물론 챗GPT의 크리에이티브함도 인정은 합니다.

Q. '죽고 싶지만 쭈삼은 먹고 싶어'를 요약해 주세요.

A. '죽고 싶지만 쭈삼은 먹고 싶어'는 정신적으로 고통받거나 어려운 상황에 처한 사람들이 가지는 복잡한 감정을 표현한 말입니다. 이 말은 죽음보다는 해결하기 어려운 문제를 마주하고 있지만 그럼에도 불구하고 삶의 일부를 즐기고 싶어하는 욕구를 나타냅니다. 이는 마치 죽고 싶지만 그동안 즐겨왔던 것들을 포기하고 싶지 않은 마음과 비슷합니다. 이러한 감정을 느끼는 사람들은 심리적인 지원과 도움을 받아 문제를 극복하고 삶을 더욱 의미있게 살아갈 수 있습니다.

 

이번에는 위 리스트엔 없지만 지난번 챗GPT로 책 요약실험을 해보았을 때 실패했던 도서들에 대해서도 확인해 보았습니다.

Q. '불편한 편의점'을 요약해 주세요.

A. 『불편한 편의점』은 김호연 작가의 다섯 번째 장편소설로서 청파동 골목에 있는 작은 편의점을 배경으로 한 이야기입니다1. 주인공 독고는 편의점에서 야간 알바를 하면서 다양한 손님들과 만나게 되고 그들의 삶과 고민을 듣게 됩니다2. 독고는 자신의 과거도 숨기고 있으며 이를 풀어가는 과정도 그려집니다3. 이 소설은 현대 사회와 인간관계에 대한 따뜻하고 유머러스한 시각을 제시하는 작품입니다.

자세한 정보: 1. yes24.com 2. blog.naver.com 3. blog.naver.com

 
답변의 정확도도 그렇지만 커버 이미지까지 함께 찾아주고, 찾던 책이 맞는지 한 번 더 확인하게 해준 부분은 더욱 마음에 듭니다.

 
그럼 만화책은 어떨까요? 챗GPT 실험 때에는 완벽히 실패했었는데 빙의 답변은 어떨지 확인해 보겠습니다.

 

Q. 아래 책을 요약해 주세요.

- 제목: 슬램덩크 4: 첫 시합 능남전
- 저자: 이노우에 타케히코
- ISBN: 9791133487547

A. 『슬램덩크 4: 첫 시합 능남전』은 이노우에 타케히코 작가의 인기 만화 『슬램덩크』의 네 번째 권입니다1. 이 책에서는 새로운 농구부원인 사쿠라기 한미치가 고교 농구부의 첫 시합인 능남고와의 경기에 출전하게 됩니다2. 사쿠라기는 자신의 재능을 발휘하고 싶어하지만 팀워크와 기본기가 부족하여 곤란한 상황에 처하게 됩니다3. 그러나 그는 자신만의 방식으로 팀을 돕고 능남고와의 격렬한 대결을 벌이게 됩니다. 이 책은 스포츠 만화로서 재미와 감동을 선사하는 작품입니다.

자세한 정보: 1. ypbooks.co.kr 2. chatgptjoy.tistory.com 3. aladin.co.kr

 
아, 그런데 제가 지난 번 챗GPT 실험 실패 때 올렸던 글(챗GPT가 얼마나 잘못된 답변을 제시할 수 있는지를 알리기 위해 챗GPT의 엉터리 답변을 있는 그대로 실었던 글)이 두 번째 출처로 적용되어 있네요.
 
이 지점에서 빙의 단점이 이렇게 발견되어 버립니다. 빙은 실시간 웹문서를 검색하여 수집한 정보를 기준으로 답변을 생성해냅니다. '실시간 웹문서'에는 실제 도서에 대한 공식 설명이 담긴 사이트 뿐아니라 이렇게 개개인이 올리는 블로그 글 등도 모두 포함 됩니다. 문제는 빙이 참고하는 정보 중에는 이렇게 정확하지 않은 정보도 언제든 포함될 수 있다는 점입니다. 제가 당시 챗GPT에게서 받았던 엉터리 답변을 빙에서 그대로 갖다 써버리면 빙의 답변도 엉터리가 되는 것입니다.
 
물론 기존에 네이버나 구글 등 검색엔진에서 키워드 검색을 할 때에도 잘못된 정보나 편향된 정보 등을 사용자의 판단에 따라 알아서 걸러내야 했던 건 맞습니다. 다만 빙이나 챗GPT와 같은 채팅형 검색 서비스의 경우 1개의 질문에 대해 1개의 답변을 제시하는데, 이때 이 단일의 답변이 마치 가장 신뢰할 수 있는 최후의 답변인 것처럼 잘 못 오인될 여지가 있습니다. 빙이 챗GPT보다는 상대적으로 정확도가 높은 답변을 제시하고 있는 것은 맞지만, 빙의 답변에 대해서도 팩트 체크는 필수여야 하겠습니다.

 
이어서 질문을 계속해 보았습니다. 이번에는 수험서입니다. 

Q. 아래 책을 요약해 주세요.

- 제목: SQL 자격검정 실전문제
- 저자: 한국데이터진흥원
- ISBN: 9788988474846

A. 이 책은 SQL 전문가 및 개발자 자격시험을 준비하는 수험서입니다. 데이터 모델링, SQL 기본 및 활용, SQL 고급 활용 및 튜닝 등의 내용을 문제와 해설로 구성하였습니다1. 이 책은 실전문제집으로서 이미 SQL 언어에 대한 개념이 잡혀 있는 분들에게 추천합니다2. 네이버 카페나 카카오톡 오픈 채팅 등에서도 SQLD 합격 후기나 공부 방법을 찾아보실 수 있습니다3.

자세한 정보: 1. yes24.com 2. blog.naver.com 3. velog.io

 
'자세한 정보' 영역에서 제공하고 있는 출처 링크를 클릭해 보니 지난 번 챗GPT 실험에 실패했던 그 수험서가 맞습니다. 비슷한 제목의 도서가 많이 있을 것으로 보이는 수험서와 같은 도서에 있어서는 특히 ISBN을 함께 적어 질문하는 것이 좋겠습니다.
 
빙의 답변을 보면 서점 웹사이트에 기재되어 있는 정보 뿐아니라 본 수험서를 통한 합격 후기까지 함께 찾아주고 있습니다. 실제 이 수험서에 대한 정보를 찾고자하는 사람들에게 유익할만 한 정보를 예측하여 제공하고 있는 점이 마음에 듭니다. 
 


 
적어도 책 요약 분야에 있어서만큼은 빙의 답변이 확실히 챗GPT의 답변보다는 신뢰할 수 있어 보입니다. 챗GPT는 오픈AI사 측에서 주기적으로 제공하는 데이터에 한해서만 학습하고 있기에 없는 정보가 꽤 있는 반면 빙은 실시간 웹 크롤링 데이터를 기준으로한 답변을 제시하고 있기 때문입니다. 물론 빙이 어느 웹문서에서 확인한 정보를 토대로 답변을 했느냐에 따라 답변의 정확도는 달라질 수 있겠습니다. 그러니 빙의 답변에 대해서도 사실 확인 절차는 필수이겠습니다.
 

 

 

 

댓글