우리는 왜 설명을 이해했다고 착각하는가 → 이해의 환상(illusion of explanatory understanding)

우리는 왜 누군가의 설명을 듣고 고개를 끄덕이는가?
정말 이해해서일까, 아니면 이해한 것처럼 느껴서일까?

회의실에서 이런 장면은 흔하다.
“아, 그 구조군요.”
“네, 이해했습니다.”
그런데 일주일 뒤 실행 단계에 들어가면 말이 달라진다.
각자 머릿속에 다른 그림이 들어 있다.
도대체 어디서 어긋난 걸까?

이 글은 학습 이론을 설명하려는 것이 아니다.
사람이 왜 착각하는지를 비난하려는 것도 아니다.
현장에서 왜 반복적으로 오해가 생기는지, 그 구조를 보려는 것이다.

설명을 들을 때 우리는 대부분 결과만 붙잡는다.
“이 시스템은 매출을 예측합니다.”
“이 자동화는 시간을 줄여줍니다.”
그 문장을 이해하면, 과정도 이해했다고 느낀다.
문장이 매끄러우면 구조도 명확하다고 믿는다.

한 중소 제조기업 사례가 있다.

한 중소 제조기업 사례가 있다.
AI 기반 수요예측 솔루션을 도입했다.
외부 컨설팅 발표는 명확했다.
데이터 수집 → 정제 → 모델 학습 → 예측 → 생산계획 반영.
임원들은 모두 이해했다고 말했다.

문제는 그다음이었다.
생산팀은 “예측값을 참고자료”로만 봤다.
영업팀은 “수정 가능한 가이드”라고 생각했다.
대표는 “이제 재고 문제는 거의 해결된다”고 기대했다.

같은 설명을 들었지만, 각자의 이해는 달랐다.
왜 이런 일이 생겼을까?

설명을 들을 때 우리는 세 단계를 건너뛴다.
첫째, 그 구조를 직접 다시 말해보지 않는다.
둘째, 그 설명을 실제 상황에 적용해보지 않는다.
셋째, 예외 상황을 상상하지 않는다.

그냥 고개를 끄덕인다.
그 순간, 이해는 ‘감각’이 된다.

사람들이 흔히 하는 착각이 있다.
“나는 대략 원리는 안다.”
“디테일은 실무가 알면 된다.”
하지만 구조는 대략 알 수 있는 대상이 아니다.
구조는 연결관계다.
한 부분이 바뀌면 다른 부분이 어떻게 흔들리는지까지 봐야 한다.

이해의 환상은 여기서 생긴다.
우리는 설명의 표면을 이해하고, 전체를 이해했다고 느낀다.
설명이 매끄러우면 깊이도 충분하다고 착각한다.

이 문제를 다시 구조로 보자.

설명 이해는 세 단계로 나뉜다.

1단계: 개념 이해 – 용어와 흐름을 아는 상태
2단계: 기계 이해 – 각 요소가 어떻게 작동하는지 설명할 수 있는 상태
3단계: 시스템 이해 – 한 요소를 바꿨을 때 전체가 어떻게 변하는지 예측할 수 있는 상태

우리는 대부분 1단계에서 멈춘다.
그런데 3단계에 도달했다고 착각한다.

앞서 사례 기업도 마찬가지였다.
데이터 정제 단계에서 누락률이 높아지자 예측 정확도가 떨어졌다.
그때서야 모두가 깨달았다.
“우리가 모델을 이해한 게 아니었구나.”

설명을 듣는 것과 설명을 재구성하는 것은 다르다.
남의 문장을 이해하는 것과, 자기 언어로 구조를 설명하는 것은 다르다.

이해의 환상을 줄이려면 점검이 필요하다.

첫째, 이 구조를 내가 처음부터 끝까지 다시 설명할 수 있는가?
둘째, 이 설명을 실제 사례에 적용해보면 어디서 막히는가?
셋째, 한 요소가 바뀌면 전체 결과는 어떻게 달라지는가?

이 세 질문에 답하지 못하면, 우리는 아직 ‘설명을 들은 상태’일 뿐이다.

회의에서 “이해했습니다”라는 말이 자주 나오면 오히려 의심해볼 필요가 있다.
설명이 쉬웠다는 의미일 수 있다.
하지만 깊이 이해했다는 의미는 아닐 수 있다.

우리는 설명을 들을 때, 이해하려 하기보다 안심하려 한다.
안심은 빠르게 오고, 이해는 시간이 걸린다.

아마도 중요한 결정일수록, 고개를 끄덕이기 전에 한 번 더 멈춰야 할 것이다.
정말 이해했는지, 아니면 이해한 기분이었는지.
그 차이는 생각보다 크다.

AI현장감독 이동주는 AI 도입 과정에서 반복되는 구조 문제를 연구한다.
AI adoption failure를 기술 문제가 아닌 설계와 흐름의 문제로 바라본다.
Fieldbly에서 현장 사례를 기반으로 정리하고 있다.
(homepage) http://www.fieldbly.com