데이터 분석이 아니라 판단 기준 설정(Decision Criteria)

숫자를 보여주는 것이 아니라 어떤 기준으로 판단할지를 먼저 정한다(Decision Criteria)

우리는 왜 숫자를 먼저 요구하는가?

“데이터로 분석해보죠.”
“이번 달 수치가 어떻게 나왔습니까?”
“그래프를 한 번 뽑아보세요.”

숫자를 보는 것 자체를 부정하려는 것은 아니다.
데이터 분석 기법이나 시각화 도구를 설명하려는 글도 아니다.

내가 먼저 묻는 질문은 이것이다.

그 숫자를 보고 무엇을 결정할 것인가?
어떤 수치가 나오면 행동을 바꿀 것인가?
임계값은 정해져 있는가?

판단 기준이 없는 상태에서의 분석은
정보가 아니라 구경거리가 된다.

왜 나는 분석보다 기준을 먼저 묻는가?

분석은 계산의 문제다.
판단은 선택의 문제다.

계산은 도구가 대신할 수 있다.
선택은 조직이 책임져야 한다.

많은 조직이 데이터 분석 역량을 강화하려 한다.
대시보드를 만들고, BI 도구를 도입하고,
AI 기반 예측 모델을 붙인다.

그런데 회의가 길어지는 이유는 무엇일까?

숫자가 부족해서가 아니다.
어떤 숫자를 기준으로 결정을 내릴지
합의가 되어 있지 않기 때문이다.

업무에서 필요한 것은
“많은 숫자”가 아니라
“결정을 내릴 최소한의 기준”이다.

현장에서 벌어지는 일

한 B2B 서비스 기업의 사례다.
고객 유지율이 떨어지고 있었다.
경영진은 데이터 분석 프로젝트를 시작했다.

고객 이탈률 분석
고객별 매출 기여도
상담 횟수와 계약 유지 상관관계
업종별 패턴 비교

보고서는 40페이지였다.
그래프는 정교했고, 수치도 정확했다.

그러나 마지막 회의에서 이런 질문이 나왔다.

“그래서 우리는 무엇을 해야 합니까?”

이탈률 12%가 높은가, 낮은가?
유지율 88%면 괜찮은가?
상담 3회 이상이면 위험 신호인가?

기준이 없었다.

분석은 있었지만
판단 기준이 없었다.

우리는 분석을 멈추고
다음 세 가지를 먼저 정했다.

목표 유지율 92%
월 이탈률 5% 초과 시 즉시 원인 분석
상담 2회 연속 불만 발생 시 관리 등급 변경

기준이 정해지자
보고서는 5페이지로 줄었다.
의사결정 속도는 빨라졌다.

분석 능력이 늘어서가 아니다.
판단 기준이 생겼기 때문이다.

문제는 데이터 부족이 아니라 합의 부족이다

많은 조직이 이렇게 말한다.

“데이터가 더 필요합니다.”
“표본이 적어서 판단이 어렵습니다.”
“추가 분석을 해보겠습니다.”

그러나 실제 문제는
판단 임계값이 정의되지 않은 상태에서
숫자만 늘어나고 있다는 점이다.

[조사 필요]

기업 내 의사결정 지연 원인 중 ‘기준 미정의’ 비율
KPI 과다 설정이 의사결정 효율에 미치는 영향 연구

관련 실증 연구 확인이 필요하다.

흔히 하는 착각

첫 번째 착각
“데이터가 많으면 정확해진다.”

데이터가 많아도
결정 기준이 없으면
토론은 반복된다.

두 번째 착각
“KPI를 많이 설정하면 관리가 정교해진다.”

KPI가 20개를 넘는 순간
핵심은 흐려진다.

일반적으로 핵심 지표는
3~5개면 충분하다.
(업종별 차이는 있음)

세 번째 착각
“AI가 판단해 줄 것이다.”

AI는 패턴을 제시할 수 있다.
그러나 최종 기준은 조직이 정해야 한다.

판단 기준을 구조로 보면

판단 기준은 세 단계로 정리할 수 있다.

목표 설정
- 무엇을 개선하려는가
- 수치 목표는 얼마인가
임계값 정의
- 어느 수준부터 위험인가
- 어느 수준이면 유지인가
행동 규칙 설정
- 기준 초과 시 어떤 조치를 할 것인가
- 책임자는 누구인가

이 세 단계가 없다면
데이터는 참고 자료일 뿐이다.

이 세 단계가 명확하면
데이터는 행동을 촉발하는 장치가 된다.

분석은 도구, 기준은 책임

나는 종종 이렇게 묻는다.

“이 지표가 10% 악화되면 무엇을 하겠습니까?”
“이 수치가 목표를 넘으면 누가 결정합니까?”
“이 기준은 문서로 남아 있습니까?”

이 질문에 답이 없으면
분석은 방향을 잃는다.

조직이 가져야 할 것은
‘분석 역량’ 이전에
‘판단 기준의 명확성’이다.

기준이 없으면
책임도 흐려진다.

지금 점검해야 할 것

현재 운영 중인 지표를 기준으로
다음 네 가지를 확인해보자.

핵심 KPI는 5개 이하로 정리되어 있는가?
각 KPI에 목표 수치가 명확히 정의되어 있는가?
임계값을 넘었을 때의 행동 규칙이 문서화되어 있는가?
기준 변경 이력이 관리되고 있는가?

이 네 가지가 정리되지 않았다면
추가 분석은 잠시 미루는 것이 낫다.

먼저 기준을 정하는 것이
장기적으로 비용을 줄인다.

숫자를 보기 전에 질문해야 할 것

지금 보고 있는 그래프는
결정을 돕고 있는가,
아니면 설명을 늘리고 있는가?

분석을 더 하기 전에
한 가지 질문을 먼저 던져보자.

이 숫자가 바뀌면
우리는 무엇을 할 것인가?

그 답이 준비되어 있다면
데이터는 힘을 갖는다.

그 답이 없다면
기준부터 다시 세워보는 것이 어떨까.

AI현장감독 이동주는 AI 도입 과정에서 반복되는 구조 문제를 연구한다.
AI adoption failure를 기술 문제가 아닌 설계와 흐름의 문제로 바라본다.
Fieldbly에서 현장 사례를 기반으로 정리하고 있다.
(homepage) http://www.fieldbly.com