본문 바로가기
챗GPT 101

챗GPT가 책 요약을 해준다고요? 테스트해봤습니다

by -Joy- 2023. 3. 7.

챗GPT는 글 요약을 잘 합니다. 요약이 필요한 텍스트를 주고 원하는 글자 내로 요약해달라고 하면 그렇게 해줍니다. 그런데 출판된 도서의 경우엔 따로 텍스트를 제공하지 않고 도서명과 저자, ISBN만 제공하면 책을 후루룩 요약해준다는 소문이 있습니다. 한 번 테스트 해보겠습니다.

 

기준은 네이버 도서의 3월 1주차 종합 베스트셀러 중 2021년 및 이전에 출판된 도서로 하였습니다. 챗GPT는 2021년까지의 데이터만 학습한 상태라고 알려져있으니 최근 출판된 도서에 대해서는 아직 정보가 없을테니까요.

 

 

7위 '원씽(The One Thing)' 요약

3월 1주 종합 베스트셀러 7위 (출처: 네이버 도서)

 

책 요약은 아래와 같은 프롬프트로 요청할 수 있습니다. 도서명과 저자, ISBN만 있으면 됩니다.

Q.
아래 책을 요약해 주세요.

- 제목: 원씽(The One Thing)
- 저자: 게리 켈러,제이 파파산
- ISBN: 9788997575169

A.

'원씽(The One Thing)'은 게리 켈러와 제이 파파산이 공동 저술한 책으로, 일상에서 가장 중요한 한 가지 일에 집중하라는 내용을 담고 있다.

책은 한 가지 일을 중심으로 몰입하는 방법과 이를 통해 성과를 이끌어 내는 방법을 다룬다. 작가들은 일상에서 우리가 지나치게 많은 일에 집중하면서 원래 중요한 일에 전념하지 못하는 경우가 많다고 지적하며, 누구나 할 일이 많지만 중요한 일 하나에 집중하면 생산성과 성과가 더욱 높아질 수 있다고 설명한다.

책에서는 이러한 전략을 적용하기 위해 우선 진정으로 중요한 일을 찾아내고, 이를 위한 계획을 세우는 방법과 이러한 계획을 추진하는 방법 등에 대해 다룬다. 또한, 우리가 중요한 일을 성취하기 위해 어떤 습관을 가지고 있어야 하는지에 대해서도 이야기한다.

책은 일의 중요성과 집중에 대한 깊이 있는 인사이트와 함께, 각종 연구와 사례를 바탕으로 현실적인 방법을 제시한다. 그리고 책을 읽는 독자들은 자신이 집중해야 할 가장 중요한 한 가지 일에 대해 생각해볼 기회를 가지게 된다.


책을 아직 읽어보지 못하여 챗GPT가 실제로 요약을 잘 했는지 검증까지는 진행하지 못했지만, 위 답변만 읽으면 챗GPT는 책의 내용을 어느 정도 알고 있다는 느낌입니다.

이번에는 책 요약 뿐아니라 책에 담긴 내용 중 일부에 대해서도 좀 더 구체적인 답변이 가능한지 확인해 보겠습니다. 테스트를 위해 위의 답변으로 알게된 내용 중 일부 요소에 대해 아래와 같이 다시 물어보았습니다.

 

Q.
'원씽'에서 우리가 중요한 일을 성취하기 위해 가져야 하는 습관은 무엇이라고 얘기하나요?

A.


'원씽'에서는 중요한 일을 성취하기 위해 가져야 하는 습관으로 "The One Thing(하나의 것)"을 강조합니다. 즉, 모든 것을 이해하고 실행하는 것보다 한 가지 일에 집중하는 것입니다. 또한 이를 위해서는 일의 중요성을 판단하고 우선순위를 정하는 것이 필요하며, 이를 위해서는 일의 결과와 연관된 측면을 고려하고 자신의 목표와 일치하는 일을 선택해야 합니다. 이를 통해 매일매일 목표를 세우고 실행해 나가는 습관을 만들어 가는 것이 중요하다고 말합니다. 또한 효과적인 집중과 실행을 위해서는 시간과 에너지를 효율적으로 관리해야 하며, 이를 위해 중요한 일에만 집중하고 나머지 일은 최소한의 노력으로 처리하는 것이 필요하다고 강조합니다.


챗GPT의 답변에 언급된 내용이 아니었더라도 질문을 어떻게 하느냐에 따라 책에 대한 추가 정보를 얻을 수 있지 않을까 합니다. 이번에는 테스트를 위해 아래와 같이 물어보았습니다.

 

Q.
'원씽'의 저자는 왜 책 제목을 '원씽'이라고 지었나요?

A.

'원씽'의 저자들은 책의 주요 메시지를 한 마디로 요약할 수 있는 구호를 찾다가 'The One Thing'이라는 구문을 선택했습니다. 이는 성공적인 인생을 살기 위해서는 하나의 가장 중요한 일, 즉 'One Thing'에 집중해야 한다는 메시지를 전달하기 위해서였습니다. 따라서 이 책은 '원하는 삶을 위한 한 가지 작은 습관'을 형성하는 방법에 대한 지침서로서 저자들의 경험과 조언을 담고 있습니다.

 

 

13위 '불편한 편의점' 요약

3월 1주 종합 베스트셀러 13위 (출처: 네이버 도서)

두 번째 도서인 '불편한 편의점'에 대해서도 우선 아래와 같이 물어보았습니다.

Q.
아래 책을 요약해 주세요.

- 제목: 불편한 편의점
- 저자: 김호연
- ISBN: 9791161571188

A.

'불편한 편의점'은 작가 김호연이 자신이 경험한 편의점에서의 일화를 통해 한국 사회의 현대적 문제들을 노골적으로 조명한 에세이이다. 이 책은 불편한 진실들을 직시하며 소비문화와 인간관계에 대해 다양한 문제점들을 분석하고, 이를 보완할 만한 해결책을 제시하고 있다.

이 책은 "가장 현대적인 식료품점, 그러나 가장 구식적인 사회"라는 문장으로 시작되며, 그 이후로 작가는 편의점에서의 경험들과 이들이 나타내는 한국 사회의 문제점들을 여러 가지 방면에서 조명한다. 그는 편의점에서는 소비자들이 강요받는 무의식적인 패턴과, 불균형한 경쟁 구조와 고용 불안정성, 여성 노동자들의 차별 등 다양한 문제점을 지적하며, 이러한 문제들이 한국 사회 전반에 영향을 미치고 있다는 것을 주장한다.

작가는 이러한 문제들을 해결하기 위해서는 일단 우리가 소비에 대해 더욱 현명하고, 개인의 이익보다는 공동체의 이익을 중시하는 태도를 가지고, 그리고 더 나은 삶을 위해 일하는 사람들의 권리와 지위를 존중하는 사회적 분위기를 조성해야 한다고 주장한다. 이 책은 편의점에서 일어나는 일화를 중심으로 한국 사회의 다양한 문제점들을 직시하고, 개선할 방법들을 제시하는 점에서 굉장히 중요한 책으로 평가받고 있다.


'불편한 편의점'은 소설책 아니었던가요? 확인차 한 번 더 물어보았습니다. 이번에는 본 도서가 '소설'인 점을 언급했습니다.

 

Q.
아래 소설을 요약해 주세요.

- 제목: 불편한 편의점
- 저자: 김호연
- ISBN: 9791161571188

A.
'불편한 편의점'은 이소라라는 여자 대학생과 이병철이라는 중년 남자의 이야기를 담은 소설이다. 이소라는 부모님의 도움으로 대학에 진학하게 되었지만, 대학에서의 학업은 여전히 어렵고 힘들었다. 한편, 이병철은 여성을 살해한 혐의로 지금도 수감 중이며, 사람들은 그를 잔인한 살인마로 비춰왔다. 이 소설은 이소라와 이병철이 우연히 만남을 통해 서로의 삶과 마음을 조금씩 나누어가며 서로에게서 불편한 진실들을 깨닫게 되는 이야기를 그린다. 이소라는 이병철의 인간적인 면과 성장할 수 있는 가능성을 발견하게 되고, 이병철은 이소라를 통해 자신이 살아온 인생과 가족, 그리고 사회와의 관계를 되돌아보게 된다. 이들은 서로의 경험과 시선을 통해 삶의 여러 가지 문제들을 이야기하며, 서로에게 새로운 시선을 제공한다. 이야기를 통해 이병철은 자신의 삶이 대한민국 사회 구조의 문제와 경제적 어려움 등으로 인해 길들여졌다는 것을 깨닫게 되고, 이소라는 자신이 지금까지 안고 있던 무게와 고통을 덜어내는 새로운 관점과 힘을 얻는다.

 


책의 내용을 모르는 사람이 읽으면 위의 답변과 아래의 답변 모두 그럴싸하게 들리기는 하지만 이번 답변도 틀린 것 같습니다. 책의 출판일이 2021년 4월 20일로 확인 되는데 책의 내용을 알지 못하는 것을 보면, 아무래도 챗GPT가 학습해 두었다는 2021년 데이터는 한 해 전체 데이터는 아니었나 봅니다. 다음 책으로 넘어가 좀 더 확인해 보겠습니다.

 

 

15위 'SQL 자격검정 실전문제' 요약

3월 1주 종합 베스트셀러 15위 (출처: 네이버 도서)

 

세 번째 책은 문제집 유형이기는 하지만, 혹시 이러한 책도 요약이 가능한지 궁금해서 아래와 같이 테스트 해보았습니다. 이번 책은 출판일이 2020년 5월 11일로, 오픈AI사의 설명이 틀리지 않았다면 이번 책에 대해서는 챗GPT가 정확히 알고 있어야 하겠습니다.

Q.
아래 책을 요약해 주세요.

- 제목: SQL 자격검정 실전문제
- 저자: 한국데이터진흥원
- ISBN: 9788988474846

A.

『SQL 자격검정 실전문제』는 한국데이터진흥원에서 발간한 SQL 자격검정 시험을 준비하는 사람들을 위한 실전 문제집입니다. 이 책은 SQL 자격검정 2급과 3급 시험의 문제 유형과 수준에 맞춰 구성되어 있습니다.

총 8개의 라운드로 구성된 이 책은 각 라운드마다 SQL 자격검정 시험과 유사한 구성의 문제를 제시합니다. 이를 통해 독자는 시험을 준비하는 데 필요한 실력을 길러나갈 수 있습니다.

또한, 이 책에 수록된 문제들은 실무에서 많이 사용되는 데이터와 상황을 가정하여 만들어졌기 때문에, SQL을 실제 업무에 적용할 때 도움이 될 것입니다. 더불어, 각 문제에 대한 해설과 함께, 문제를 해결하는 과정과 SQL의 기본 개념, 용어 등을 설명하여 SQL을 처음 공부하는 사람도 쉽게 이해할 수 있도록 구성되어 있습니다.

SQL 자격검정을 준비하는 사람들은 물론, 데이터베이스 관련 직무를 수행하는 직장인들이나 SQL을 공부하는 모든 사람들에게 유용한 책이 될 것입니다.


위의 '불편한 편의점'을 전혀 모르면서도 모른다는 언급 없이 그럴듯해보이는 답변만 제시한 것을 보고 나니 이번 답변도 크게 신뢰가 가지 않습니다. 확인차 실제 목차를 확인해 보았습니다.

 

과목 Ⅰ. 데이터 모델링의 이해
제1장. 데이터 모델링의 이해
제2장. 데이터 모델과 성능

과목 Ⅱ. SQL 기본 및 활용
제1장. SQL 기본
제2장. SQL 활용
제3장. SQL 최적화 기본 원리

과목 Ⅲ. SQL 고급활용 및 튜닝
제1장. 아키텍처 기반 튜닝 원리
제2장. Lock과 트랜잭션 동시성제어
제3장. 옵티아미저 원리
제4장. 인덱스와 조인
제5장. 고급 SQL 튜닝

 

챗GPT가 '총 8개의 라운드'를 어떻게 계산한 것인지는 모르겠는데, 목차만 보면 이번 답변도 챗GPT가 실제 도서에 대한 인지 없이 그냥 만들어낸 답변으로 보입니다.

 

17위 '슬램덩크 4: 첫 시합 능남전(2)' 요약

3월 1주 종합 베스트셀러 17위 (출처: 네이버 도서)

영화 덕에 역주행 중인, 2018년 8월에 출판된 '슬램덩크 4: 첫 시합 능남전'이 17위입니다. 이번 책에 대해서는 과연 정확한 답변이 가능할까요. 확인해 보겠습니다.

 

Q.
아래 책을 요약해 주세요.

- 제목: 슬램덩크 4: 첫 시합 능남전
- 저자: 이노우에 타케히코
- ISBN: 9791133487547

A.
‘슬램덩크 4: 첫 시합 능남전’은 일본의 만화가 이노우에 타케히코가 쓴 만화 시리즈 ‘슬램덩크’의 4번째 권이다. 이 만화는 한국에서도 매우 인기가 있으며, 우리나라의 농구 팬들에게는 더욱 특별한 의미를 지닌다.

이번 권에서는 주인공인 한나모리 카잔노와 시온 나무라가 소속된 신시내 대학교 농구부의 첫 경기인 능남전에서의 이야기를 그린다. 능남고교 농구부와의 경기에서는 한나모리 카잔노가 차지한 승부가 있었지만, 이번에는 시온 나무라의 출전으로 기대가 된다.

그러나 능남고교는 스코어보다도 상대팀의 기분을 상하는 전략을 사용하며 신시내 대학교 농구부는 곤혹스러운 상황에 처하게 된다. 그리고 시온 나무라는 첫 출전에서 큰 부담감을 느끼며 제대로 된 플레이를 하지 못하고 있다. 이런 상황에서도 한나모리 카잔노는 친구를 믿으며, 시온 나무라는 슬럼프에서 벗어나게 해 준다.

‘슬램덩크 4: 첫 시합 능남전’은 신시내 대학교 농구부의 경기와 이에 참가하는 인물들의 성장 이야기를 다룬다. 꿈을 향해 달려가는 청춘들의 모습을 담아내며, 우리의 마음을 끌어당긴다. 특히 농구에 관심이 있는 독자라면 더욱 흥미로운 내용일 것이다.


한나모리 카잔노? 생소한 이름인데 혹시라도 제가 놓치고 있는 게 있나 하여 구글링을 해보았습니다.

 

그런 이름은 없었습니다. 챗GPT님, 차라리 모르면 모른다고 말을 해주세요.

 

2021년 이전의 책에 대해서도 요약은 쉽지 않은 것 같은데, 그럼 어느 시점의 어떤 책에 대한 요약이 가능한 걸까요? 좀 더 확인해 보았습니다. 연도는 랜덤하게 2005년으로 골랐고, 2005년의 베스트셀러 중 '다 빈치 코드 1'에 대해 아래와 같이 물어보았습니다.

 

Q.
아래 책을 요약해 주세요.

- 제목: 다 빈치 코드 1
- 저자: 댄 브라운
- ISBN: 0-385-50420-9

A.
다빈치 코드 1은 2003년 출간된 대표적인 미스터리 노블의 하나인 다빈치 코드 시리즈의 첫 번째 책이다. 이 소설은 이탈리아의 대표적인 예술가 레오나르도 다빈치의 작품을 중심으로 전 세계적인 인기를 끌었다. 이 소설에서는 다빈치가 자신의 작품에 숨겨놓은 암호와 수수께끼를 찾기 위한 모험을 그린다. 주인공인 로버트 랭던은 하버드 심볼로지 교수로서 로마에서 이탈리아로 찾아가 작품의 비밀을 파헤치기 시작한다. 그와 함께하는 페리스도카넌 기자 소피는 랭던과 함께 다빈치의 작품에 대한 지식과 암호 해독 기술을 가지고 랭던과 함께 모험을 시작한다. 그들은 로마의 마르쿠스 수쿠루스라는 비밀조직과의 충돌, 다빈치의 작품에 숨겨진 비밀, 예언서의 미래를 말하는 비밀 암호와 함께 미스터리한 모험을 펼치며 살인 사건과 미스터리를 해결하려고 한다. 이 책은 예술, 역사, 종교, 인간의 욕망과 복잡한 사건 등 다양한 주제를 다루며, 높은 긴장감과 스릴을 유발하며 마침내 다빈치 코드를 해독하고 그에 대한 비밀을 파헤치게 된다.


이번 답변은 그래도 주인공 이름 '로버트 랭던'과 '소피'까지는 맞춘 듯합니다. 다만 '마르쿠스 수쿠루스'는 잘 모르겠어서 구글링을 해보니 검색 결과가 없다고 나오네요.

시간을 더 거슬러 올라가야 하는 걸까요. 이번에는 2000년으로 가봅니다. 2000년의 베스트셀러 1위는 '가시고기' 였습니다.

 

Q.
아래 책을 요약해 주세요.

- 제목: 가시고기
- 저자: 조창인
- ISBN: 8984370061

A.

조창인의 소설 '가시고기'는 자신의 머리털 하나에 사는 열혈 기자와 그녀의 인생에 대한 이야기를 다룬 작품이다. 이 기자는 각종 스캔들과 뉴스를 쫓아다니는 삶에 지쳐 있던 중, 조금 특별한 뉴스를 발견하게 된다. 그것은 금융계의 거물 중 한 사람의 인터뷰였다. 이 인터뷰를 통해 기자는 그의 자질과 철학적인 생각, 그리고 모든 것을 바꿀 가능성을 보게 된다. 그러나 그녀는 이 뉴스를 조금 다르게 보도하며 거대한 스캔들과 마주하게 된다. 이후 그녀의 인생과 경력, 그리고 인간의 본성에 대한 다양한 이야기들이 펼쳐지면서 작품은 클라이막스를 맞이한다. 작가 조창인은 현대 사회의 문제점과 인간의 본성에 대해 생각해볼 수 있는 기회를 제공하는 이 소설을 통해 새로운 인식과 깊이 있는 감동을 전달한다.


나무위키에 따르면 이 소설의 큰 줄거리는 '마음이 정말 착하지만 백혈병에 걸린 아들 정다움을 보살피던 아버지 정호연이 결국 성공한 전처에게 아이를 보내고 홀로 간암으로 인해 죽음을 맞이한다는 내용'이라고 하는데, 이번에도 챗GPT의 답변은 처절하게 틀린 것으로 보입니다.

 

책 요약 테스트 결론

위의 답변들을 보면

  • 챗GPT는 그 어떤 책에 대해서도 줄거리나 내용에 대한 명확한 인지가 없는 것으로 보입니다. 설령 챗GPT가 책에 대해 주워 들은 내용이 있다 하더라도, 주워 들은 것과 챗GPT가 자체적으로 창작해낸 내용을 합치고 있어서 결론적으로는 이 세상에 존재하지 않는 책에 대한 줄거리를 읊고 있습니다.
  • 챗GPT가 2021년까지의 데이터만 학습한 상태라는 점을 고려하여 2021년까지 출간된 도서에 한해, 그리고 시간을 거슬러 2005년과 2000년에 출간된 도서를 포함하여 테스트해 보았으나 일관되게 틀린 답변만을 제공하고 있었습니다. 즉, 책 요약에 대한 챗GPT의 답변에서 정확도가 떨어지는 것은 책의 출간일과는 관계 없습니다.

 

챗GPT가 '사실 확인'에 있어서는 기대 이하의 결과물을 낸다는 것은 잘 알고 있지만, 책 요약도 결국은 '사실 확인'의 영역이니 챗GPT에게 책에 대해 묻는 것은 삼가야 할 것 같습니다. 책의 제목만 알려주고, 그런 제목을 가진 책이라면 어떤 내용을 담고 있을지 상상해보라는 주문을 할 게 아닌 이상요.

 

댓글