대규모 언어 모델(LLM)을 활용한 대화 요약·분석 도구를 사용할 때 가장 경계해야 할 현상은 ‘그럴듯한 거짓말’로 불리는 환각(Hallucination)과 과잉 추론(Over-inference)입니다. 특히 일상 대화 텍스트는 소설이나 뉴스 기사와 달리 주어가 생략되거나 둘만 아는 배경지식이 빠져 있는 경우가 많습니다. 언어 모델은 이렇게 비어 있는 맥락의 틈새를 학습 데이터에서 흔히 보았던 스테레오타입(고정관념)으로 자연스럽게 메꾸어 문장을 완성하려는 경향이 있습니다.
결과 문장이 매끄럽고 단정적일수록 독자는 “AI가 객관적으로 분석했으니 맞겠지”라며 원문에 없던 내용까지 사실로 받아들이기 쉽습니다. 이 글에서는 메신저 대화 분석에서 실제로 나타나는 대표적인 AI 환각 유형 4가지를 분류하고, 누구나 1분 만에 결과의 진위를 판별할 수 있는 ‘원문 대조 검증 매트릭스(Verification Matrix)’ 작성법을 안내합니다.
대화 분석 AI가 범하기 쉬운 4대 오류는 ① 원문에 없는 관계·상황 창작, ② 강한 어조를 맞추기 위한 반례 무시, ③ 제거된 시간·빈도 정보의 역추측, ④ 행동 관찰을 넘어선 내면 독심술입니다. 결과 카드의 각 문장을 ‘원문 인용 가능 여부’로 대조하면 검증된 관찰만 남길 수 있습니다.
1. 메신저 대화 분석에서 자주 발생하는 4가지 AI 환각·과잉 추론 유형
실제 테스트 대화록을 언어 모델에 반복 입력해 출력 결과를 원문과 일대일로 대조해 보면, 오류는 무작위로 발생하기보다 일정한 패턴을 보입니다. 대표적인 네 가지 유형은 다음과 같습니다.
| 오류 유형 | AI 코멘트 출력 예시 | 실제 원문 상태 및 오류 원인 |
|---|---|---|
| ① 관계 및 배경 상황 창작 | “주말 데이트를 앞두고 설레는 연인 사이임” | 원문에는 “토요일에 공원 산책할래?”만 있음. 친구·가족·동료일 가능성을 배제하고 연인으로 단정함 |
| ② 반례(Counterexample) 무시 | “자기 의견은 전혀 내지 않고 상대에게 모든 결정을 미룸” | 실제로는 상대가 “두 시는 어때?”라고 시간을 제안했음에도 한 줄의 수동적 표현만 부각해 전체를 매도함 |
| ③ 시간·빈도·비율의 역추측 | “항상 몇 시간씩 늦게 답하며 연락 빈도가 줄어들고 있음” | 전처리에서 시각이 제거되어 시간 간격 데이터가 없음에도 짧은 단답만 보고 ‘답장이 늦다’고 추론함 |
| ④ 내면 동기 독심술(Mind-reading) | “상대와 가까워지는 것에 두려움을 느끼는 회피적 심리임” | 원문에는 “오늘 야근이라 내일 연락할게”라는 일정 공유만 있으나 이를 심리적 회피 동기로 비약함 |
왜 프롬프트 제약만으로는 환각을 100% 없앨 수 없을까?
본성 탈곡기는 시스템 프롬프트에 *“원문에 없는 수치·관계·진단명을 지어내지 말고 반례를 반드시 고려하라”*는 제약 조건을 두고 있으며, 생성 온도(temperature: 0.3)를 낮추어 무분별한 창작을 억제하고 있습니다. 그럼에도 불구하고 참여자 1인당 코멘트를 80~150자 이내의 짧은 문장으로 압축하는 과정에서 미묘한 예외 상황이 생략되거나 비유적 별명이 과장될 가능성은 항상 존재합니다.
2. 실전 사례로 연습하는 ‘원문 대조 검증 매트릭스’
따라서 AI 코멘트를 읽을 때는 결과 문장을 통째로 믿거나 통째로 버리는 대신, 문장 단위로 쪼개어 원문 근거를 매칭해 보는 과정이 필요합니다. 아래 가상 대화와 가상의 AI 출력 결과를 예로 들어 검증해 보겠습니다.
가: 금요일 저녁 7시에 강남역 삼겹살집 예약할까?
나: 금요일은 팀 회식이 있어서 어려울 것 같아.
나: 토요일 저녁 6시나 일요일 점심은 어때?
가: 그럼 토요일 6시로 하자! 내가 예약해 둘게.
나: 고마워! 2차로 갈 카페는 내가 찾아볼게.
만약 어떤 AI 분석 결과가 ‘나’에 대해 “약속을 거절하며 상대에게 예약 부담을 떠넘기는 소극적 참여자”라고 요약했다고 가정해 봅시다. 이를 검증 매트릭스에 넣어 대조하면 다음과 같이 명확히 판별됩니다.
- 주장 A (“약속을 거절함”): 절반만 맞고 맥락이 왜곡됨. 금요일 저녁은 회식 때문에 거절했으나, 곧바로 “토요일 저녁 6시나 일요일 점심은 어때?”라며 두 가지 구체적인 대체 일정을 역제안(Counter-proposal)했습니다.
- 주장 B (“예약 부담을 떠넘김”): 명백한 거짓(반례 존재). 식당 예약은 ‘가’가 먼저 자처(“내가 예약해 둘게”)한 것이며, ‘나’는 즉시 “2차로 갈 카페는 내가 찾아볼게”라며 후속 탐색 역할을 분담했습니다.
- 최종 검증된 사실: ‘가’는 최초 일정 제안과 식당 예약을 맡았고, ‘나’는 불가피한 일정을 설명한 뒤 대체 날짜 제안과 카페 탐색을 맡아 대등하게 약속을 성사시켰습니다.
3. 입력 구간 선택(Sampling)이 AI 결과를 왜곡하는 경우
AI 모델의 환각 못지않게 결과를 크게 좌우하는 요인은 사용자가 어떤 구간의 대화를 잘라서 업로드했는가입니다. 이를 통계학에서는 ‘선택 편향(Selection Bias)’이라고 부릅니다.
- 갈등이 폭발한 직후의 20줄만 잘라서 올린 경우: 평소 90%의 대화에서는 서로 배려하고 잘 지냈더라도, 다툼이 벌어진 20줄만 입력하면 AI는 그 20줄을 두 사람의 관계 전체로 인식하여 극단적인 평가를 내놓습니다.
- 앞부분 질문을 자르고 상대의 짧은 대답부터 올린 경우: 상대가 왜 단답을 했는지(예: 앞 줄에서 “운전 중이니 짧게 답할게”라고 말함)에 대한 전제 조건이 잘려 나가면 AI는 상대를 무성의한 사람으로 오판합니다.
- 3,000턴을 초과하는 초대형 파일의 앞부분 누락: 본성 탈곡기는 병합 후 마지막 3,000턴만 분석합니다. 만약 확인하고 싶은 대화가 파일 맨 앞(예: 6개월 전)에 있다면 분석 범위에서 제외되므로 원하는 장면을 별도 파일로 발췌해야 합니다.
4. 결과 카드를 건강하게 읽고 활용하는 4대 원칙
AI 대화 분석을 관계의 심판관이 아니라 똑똑한 보조 메모장으로 쓰기 위해 아래 네 가지 원칙을 기억하세요.
- 수치·확률·시간 표현은 즉시 무시하기: 코멘트에 등장하는 “80%”, “몇 시간마다”, “항상” 같은 수량 표현은 실측 통계가 아닌 수사적 표현으로 간주하세요.
- 심리학·성격 용어는 행동 동사로 번역하기: “회피적 태도”라는 코멘트가 보이면 “이번 대화에서 일정 질문에 답하지 않았다”처럼 눈에 보이는 행동 동사로 바꿔 읽으세요.
- 한 줄 평의 ‘다음 행동 제안’에 집중하기: 과거 대화의 잘잘못을 따지기보다, 다음 대화에서 내가 시도해 볼 수 있는 구체적인 질문이나 요청 방식 하나를 건지는 데 초점을 맞추세요.
- 캡처 공유 전 당사자 동의와 맥락 확인하기: 앞뒤 사정이 생략된 결과 카드 한 장이 상대방에게는 억울한 낙인이 될 수 있음을 항상 염두에 두세요.