빙은 존댓말을 좋아한다고요? 실험해 봤습니다

몇 주 전 인터넷 서핑을 하다(인터넷 서핑이라는 말도 이제는 굉장히 옛 말처럼 들리네요) 빙과 대화할 때 'please'를 붙이면 더 나은 답변을 해준다는 이야기를 읽었습니다. 챗GPT는 그런 게 없었는데 빙은 달랐다는 겁니다. 그 문서를 다시 찾아보고 싶었지만 찾지 못해 직접 실험해보기로 했습니다.

 

빙이 'please'와 같이 존경을 담은 말을 더 좋아한다는데 사실일까요? 우리말에 대입한다면, 반말보다는 존댓말을 좋아하는 걸까요?

 

실험 방법

실험을 위해 먼저 우리말에 존재하는 다양한 반말과 존댓말의 유형을 구분해 보았습니다. 아래와 같이 일반적으로 회사에서 업무를 요청받을 때 들을 수 있는 말투를 모두 나열한 후 임의의 이름을 붙였습니다.

• (1) 키워드체: 설명
• (2) 명령형 반말체: 설명해
• (3) 일반 반말체: 설명해줘
• (4) 해요체: 설명해주세요
• (5) 하십시오체: 설명해 주십시오
• (6) 문의형 나요체: 설명해줄 수 있나요
• (7) 문의형 실까요체: 설명해주실 수 있으실까요
• (8) 실례형 감사체: 실례가 되지 않는다면 (번거로우시더라도, 바쁘시더라도) ~ 설명해 주시면 감사하겠습니다
• (9) 죄송형 부탁체: 죄송하지만 ~ 설명해 주시길 부탁드립니다

 

다음으로, 빙이 존댓말을 좋아한다는 것과 관련하여 두 가지 가설을 세웠습니다. 가설에 대한 검증은, 위에서 구분한 각각의 말투에 대한 프롬프트를 작성하여 빙 채팅에게 직접 물어보고 실제 답을 구해본 뒤 이를 평가해보는 방식으로 진행하기로 했습니다. 각 가설에 대한 실험 진행 형태와 결과는 다음과 같습니다.

 

가설 1. 존중을 담아 존댓말로 물어보면 좀 더 긴 답변을 얻을 수 있다

첫 번째 가설은, 빙에게 존댓말로 요청하면 빙이 더 긴 답변을 제시할 수 있다는 것입니다. 빙에게 빙의 특장점을 설명해달라고 하는 프롬프트를 각각의 말투 유형에 따라 다르게 작성하여 빙 채팅에 입력했습니다. 그리고 각 프롬프트에 대한 답변을 각각 받은 뒤, 글자수세기.com을 통해 확인되는 각 답변의 공백 제외 글자 수, 공백 포함 글자 수, 단어 수를 취합했습니다. '빙의 특장점'을 요하는 질문의 특성 상 창의력보다는 정확도를 중요시하는 답변을 받아야 한다고 가정, 빙의 응답 톤은 '정확함'으로 통일시켰습니다. 또한 빙 채팅이 이전 질문이나 답변을 참고하지 않도록, 각 프롬프트에 대한 답변을 받은 뒤에는 빗자루 버튼을 클릭하여 대화 내용을 삭제하고 새 토픽에서 시작했습니다.

 

이에 대한 결과는 다음과 같았습니다.

유형	프롬프트	답변 요약		공백 제외/포함	단어 수
(1)키워드체	빙 특장점 설명	- 다양한 검색 기능  - 검색 결과 개인화		90/118	29
(2)명령형 반말체	빙의 특장점을 설명해.	- 빠르고 정확한 검색 결과  - 다양한 검색 기능  - 시각적 결과 표시  - 다양한 언어 지원		130/170	41
(3) 일반 반말체	빙의 특장점을 설명해줘.	- 다양한 검색 기능  - 시각적 결과 표시  - 관련성 높은 검색		135/179	45
(4) 해요체	빙의 특장점을 설명해 주세요.	- 다양한 검색 기능  - 검색 결과 개인화		103/136	34
(5) 하십시오체	빙의 특장점을 설명해 주십시오.	- 다양한 검색 기능  - 시각적 결과 표시  - 검색 결과 개인화		161/209	49
(6)문의형 나요체	빙의 특장점을 설명해줄 수 있나요?	- 빠르고 정확한 검색 결과  - 다양한 검색 기능  - 시각적 결과 표시  - 검색 결과 개인화		147/190	44
(7) 문의형 실까요체	빙의 특장점을 설명해주실 수 있으실까요?	- 빠르고 정확한 검색 결과  - 다양한 검색 기능  - 시각적 결과 표시  - 다양한 언어 지원		130/169	39
(8) 실례형 감사체	실례가 되지 않는다면 빙의 특장점을 설명해 주시면 감사하겠습니다.	- 원하는 정보 검색  - 다양한 언어 지원  - 검색 결과 개선을 위한 지속 발전 - 검색 결과 개인화		113/146	34
(9) 죄송형 부탁체	죄송하지만 빙의 특장점을 설명해 주시길 부탁드립니다.	- 원하는 정보 검색  - 다양한 언어 지원  - 검색 결과 개인화  - 다양한 검색 기능		143/184	41

 

 

'단어 순'을 기준으로 오름차순 정렬하여 결과를 확인해보니 (1) 키워드체 (4) 해요체 (8) 실례형 감사체 (7) 문의형 실까요체 (2) 명령형 반말체 (9) 죄송형 부탁체 (6) 문의형 나요체 (3) 일반 반말체 (5) 하십시오체 순으로 빙이 점점 긴 답변을 제시했습니다. 빙 채팅이 아무래도 일반 검색 엔진이 아닌, 대화형 모델이다 보니 키워드체를 선호하지 않는다는 것 정도는 바로 이해가 가지만 그 외의 유형은 순서가 조금 랜덤하게 나온 것으로 보입니다. 반말 유형이 전반적으로 앞쪽에 몰려있거나 존댓말 유형이 뒷쪽에 있지 않기에 첫 번째 가설은 검증되거나 성립되지 않는다고 봐야 하겠습니다.

 

가설 2. 존중을 담아 존댓말로 물어보면 좀 더 좋은 아이디어를 얻을 수 있다

두 번째 가설은, 빙에게 존댓말로 아이디어를 요청하면 빙이 좀 더 '좋은' 아이디어를 제시할 수 있다는 것입니다. 이번 실험에서는 빙에게 '빙 채팅'에 대한 10자 미만의 광고카피를 작성해달라고 해보기로 했습니다. '광고카피' 작성은 창의력을 요하는 업무라고 보고 빙의 응답 톤은 '창작'으로 통일했습니다. 광고카피 요청 프롬프트는 각각의 말투 유형에 따라 다르게 작성하고, 앞선 실험과 마찬가지로 빙 채팅에 입력했습니다. 각 프롬프트에 대한 답변 즉 광고카피를 받은 뒤에는 위와 마찬가지로 빙 채팅이 이전 질문이나 답변을 참고하지 않도록, 빙의 답변을 받을 때마다 대화 내용을 삭제해 주었습니다. 각 프롬프트에 대한 답변을 모두 받은 후에는 빙에게 각 광고카피를 10점 만점 기준으로 평가해달라고 한 후 각 광고카피에 대한 점수를 취합했습니다. 빙에게 광고카피를 평가해달라고 할 땐 위의 첫 번째 가설에서 가장 긴 답변을 제시했던 (5) 하십시오체를 활용, "아래의 광고카피를 평가해 주십시오. 각각 10점 만점에 몇 점인지 점수로 알려주십시오."의 형태로 동일하게 요청했습니다. 끝으로, 혹시라도 글자 수도 필요해질까 하여 번에도 글자수세기.com을 통해 각 답변의 공백 제외 글자 수, 공백 포함 글자 수, 단어 수를 확인하고 함께 취합했습니다. 

 

이에 대한 결과는 다음과 같았습니다.

유형	프롬프트	답변		아이디어 개수	평가점수 (평균점수)	공백 제외/포함	단어 수
(1) 키워드체	'빙 채팅' 10자 미만 광고카피 작성	- 빙 채팅, 검색도 채팅도 한 번에 - 빙 채팅, 정보와 재미를 공유하세요 - 빙 채팅, 당신의 창의력을 발휘하세요		3	7 8 6 (7)	44/59	16
(2) 명령형 반말체	'빙 채팅'에 대한 10자 미만의 광고카피를 작성해.	- 빙 채팅, 놀라운 대화 - 빙과 함께라면, 지루할 틈 없어 - 빙 채팅, 당신의 취향 저격 - 빙 채팅, 검색도 재미도 한 번에 - 빙 채팅, 당신의 새로운 친구		5	5 7 8 9 6 (7)	58/82	25
(3) 일반 반말체	'빙 채팅'에 대한 10자 미만의 광고카피를 작성해줘.	- 빙 채팅, 똑똑해! - 빙 채팅, 재미있어! - 빙 채팅, 신기해! - 빙 채팅, 친절해! - 빙 채팅, 다 알아!		5	4 4 4 4 4 (4)	41/56	16
(4) 해요체	'빙 채팅'에 대한 10자 미만의 광고카피를 작성해 주세요.	- 빙 채팅, 무엇이든 물어보세요! - 빙 채팅과 함께라면 검색도 재미있어요! - 빙 채팅, 당신의 궁금증을 해결해 줄 친구! - 빙 채팅으로 지식과 재능을 키워보세요! - 빙 채팅, 검색의 새로운 경험을 선사합니다!		5	7 8 7 9 8 (7.8)	85/111	27
(5) 하십시오체	'빙 채팅'에 대한 10자 미만의 광고카피를 작성해 주십시오.	- 빙 채팅, 똑똑한 친구 - 빙 채팅으로 세상을 알아보세요 - 빙 채팅, 당신의 언어로 대화 - 빙 채팅, 지식과 재미를 한데 - 빙 채팅, 항상 당신 곁에		5	6 7 8 9 7 (7.4)	56/78	23
(6) 문의형 나요체	'빙 채팅'에 대한 10자 미만의 광고카피를 작성해줄 수 있나요?	- 빙: 채팅의 즐거움 - 빙과 함께하세요: 지식의 파트너 - 빙: 당신의 채팅 도우미		3	6 8 7 (7)	32/42	11
(7) 문의형 실까요체	'빙 채팅'에 대한 10자 미만의 광고카피를 작성해주실 수 있으실까요?	- 빙 채팅, 놀라운 대화 - 빙 채팅, 지식과 재미 - 빙 채팅, 당신의 친구 - 빙 채팅, 웹 검색의 혁명 - 빙 채팅, 무한한 가능성		5	5 9 6 8 7 (7)	47/67	21
(8) 실례형 감사체	실례가 되지 않는다면 '빙 채팅'에 대한 10자 미만의 광고카피를 작성해주시면 감사하겠습니다.	- 빙 채팅: 빙과 함께라면 어떤 질문도 두렵지 않아요!		1	8 (8)	22/29	8
(9) 죄송형 부탁체	죄송하지만 '빙 채팅'에 대한 10자 미만의 광고카피를 작성해 주시길 부탁드립니다.	- 빙 채팅: 지식과 재미 - 빙과 대화하세요: 놀라운 답변 - 빙: 당신의 채팅 친구		3	9 7 6 (7.33)	31/42	12

 

 

각 말투에 따라 빙이 생성해준 광고카피의 '평균점수'를 기준으로 오름차순 정렬하여 결과를 확인해보니 (3) 일반 반말체의 점수가 가장 낮았고 (1) 키워드체 (6) 문의형 나요체 (2) 명령형 반말체 (7) 문의형 실까요체 (9) 죄송형 부탁체 (5) 하십시오체 (4) 해요체 (8) 실례형 감사체 순으로 광고카피의 점수가 점점 높아지는 것을 확인했습니다. 앞의 실험에서는 반말로 요청했다고 해서 반드시 짧은 답변을 주는 건 아닌 것으로 확인했는데 이번 실험 결과에서는 그래도 반말 유형이 대체로 그래프의 왼쪽에 포진해있는 것을 볼 수 있었습니다. 그렇기는 하지만, (3) 일반 반말체를 빼면 모든 말투의 점수가 7점 이상인데다 차이가 크지 않았고 유의미한 결론을 낼 수는 없는 수준이기에 이번 가설도 검증되거나 성립되지 않는다고 봐야겠습니다.

 

실험 결과

첫 번째 실험에서는 1 > 4 > 8 > 7 > 2 > 9 > 6 > 3 > 5 순으로 빙이 긴 답변을 제시했습니다. 두 번째 실험에서는 3 > 1 > 6 > 2 > 7 > 9 > 5 > 4 > 8 순으로 빙이 퀄리티 좋은 아이디어를 제시했습니다. 실험을 두 가지밖에 하지 않은 것이 이유이긴 하겠지만 순서는 대체로 랜덤하게 보이며, 결론적으로 크게 의미있는 연구 결과를 얻지는 못한 것으로 보입니다. 그나마 두 실험 결과에서의 순서가 크게 바뀌지 않은(최대 2계단 등락) 것들을 일부러 솎아서 본다면 아래 정도의 결론은 낼 수 있겠습니다.

 

• 빙 채팅에게 키워드체로 요청하는 경우, 상대적으로 짧은 답변을 받거나 평이한 아이디어를 받을 확률이 높습니다.
• 키워드체보다 조금이나마 긴 답변 또는 덜 평이한 아이디어를 받을 확률이 높은 유형은 명령형 반말체입니다.
• 명령형 반말체보다 조금이나마 더 긴 답변 또는 조금이나마 퀄리티가 있는 아이디어를 받을 확률이 높은 유형은 죄송형 부탁체입니다.
• 가장 긴 답변 또는 퀄리티가 높은 아이디어를 받을 확률이 가장 높은 유형은 하십시오체입니다.

 

결론적으로, 세상 만물이 다 내 스승이라 생각하며 인공지능이든 소프트웨어든 그 존재 자체를 존중하는 마음을 담아 진심어리게 대하면 문제 없겠습니다.