SDV 이야기 제9편 — 보고서를 전달했다는 것과 가치를 만들었다는 것은 다르다
데이터 분석을 넘어 의사결정과 가치 창출로 나아가는 통계 이야기
분석을 마쳤다. 보고서를 전달했고, 발표도 끝났다. 담당자는 도움이 되었다고 말했다.
이제 데이터의 가치가 만들어졌다고 말할 수 있을까.
그럴 가능성은 있다. 그러나 작업을 완료했다는 사실, 결과를 사용했다는 사실, 실제로 도움이 되었다는 사실은 구분해야 한다.
지난 글에서는 AI와 함께 결과를 만드는 과정의 검토와 책임을 다루었다. 이번에는 결과가 전달된 이후를 살펴보려 한다.
SDV가 분석을 실제 가치로 연결하자는 제안이라면, 활용 이후의 확인도 그 안에 포함되어야 한다.
산출물, 사용, 기여를 나누어 본다
표와 그래프, 분석 모형과 보고서는 산출물이다. 회의에서 검토하고 계획서에 인용하거나 업무에 적용했다면 사용의 흔적이 있다.
그 사용으로 이해가 깊어지고 판단이 개선되었는지는 다시 확인해야 한다.
예를 들어 정책의 목표에 대한 동의와 시행 조건의 수용성을 구분한 보고서를 전달했다고 하자. 보고서가 회의 자료에 포함된 것은 사용이다. 두 가지를 구분하지 않았던 검토 방식이 수정되고, 시행 조건에 관한 추가 의견 수렴이 이루어졌다면 판단 과정에 기여한 것으로 볼 근거가 생긴다.
그러나 이후 정책 성과가 좋아졌다는 이유만으로 그 개선을 모두 보고서의 효과라고 말할 수는 없다. 제도 변경과 예산, 현장 대응, 외부 환경 등 여러 요인이 함께 작용했을 수 있다.
기여를 설명하는 것과 효과를 인과적으로 입증하는 것은 구분해야 한다.
가치의 기준은 활용 목적에서 출발한다
데이터의 가치를 하나의 숫자로 평가할 수 있을 것 같지만, 모든 작업에 같은 기준을 적용하기는 어렵다.
업무 자동화가 목적이라면 처리 시간과 오류, 운영 비용을 살필 수 있다. 위험 대응이 목적이라면 필요한 대상을 얼마나 놓쳤는지, 불필요한 대응은 얼마나 발생했는지, 피해를 얼마나 줄였는지 검토할 수 있다.
공적 논의를 개선하려는 조사라면 쟁점이 더 정확하게 구분되었는지, 오해가 줄었는지, 판단의 근거와 한계가 충분히 전달되었는지를 살펴야 한다.
이러한 가치가 모두 돈으로 환산되어야 하는 것은 아니다. 새로운 지식을 축적하고 잘못된 주장을 수정하는 것도 가치다.
다만 "유익했다"는 추상적인 표현에 머물지 않으려면 어떤 변화를 기대했고 무엇으로 확인할지 구체화해야 한다. 가능하면 작업을 시작할 때부터 평가 기준을 정하는 것이 좋다. 결과를 본 뒤 유리한 기준만 선택하는 일을 줄일 수 있기 때문이다.
이해가 개선되었다는 주장에도 근거가 필요하다
보고서를 읽은 사람이 만족했다는 것은 중요한 반응이다. 그러나 만족과 정확한 이해는 같지 않다.
문장이 쉽게 읽혔지만 핵심 한계를 놓쳤을 수 있다. 설명이 설득력 있었지만 원래의 오해를 바로잡지는 못했을 수도 있다.
이해의 개선을 확인하려면 해당 작업에 맞는 질문이 필요하다. 목표와 시행 조건을 구분하게 되었는지, 표본오차의 범위를 정확하게 이해하는지, 관측된 관련성과 검증되지 않은 효과를 구별하는지 살펴볼 수 있다.
판단의 개선도 단순히 결정이 빨라졌는지로 평가하기 어렵다. 근거가 부족할 때 결정을 유보하고 추가 자료를 확보했다면 시간이 더 걸렸더라도 중요한 기여일 수 있다.
SDV에서 확인하려는 가치는 속도뿐 아니라 판단의 내용과 과정에 있다.
결과가 좋아졌다고 분석의 효과가 입증되는 것은 아니다
분석을 활용한 뒤 성과가 개선되었다면 반가운 일이다. 하지만 활용 전후의 차이만으로 분석이 그 개선을 만들었다고 확정할 수는 없다.
분석이 없어도 성과가 좋아졌을 수 있다. 분석을 활용한 대상들이 처음부터 다른 특성을 가지고 있었을 수도 있다.
효과를 더 엄밀하게 평가하려면 상황에 맞는 비교와 연구설계가 필요하다. 무작위 배정이 가능한지, 적절한 비교집단을 구성할 수 있는지, 시행 시점의 차이를 이용할 수 있는지 등을 검토할 수 있다. 어떤 방법이든 적용 조건과 가정을 확인해야 한다.
이러한 평가가 어려운 경우에도 확인을 포기할 필요는 없다. 분석으로 어떤 근거가 새롭게 제공되었고, 그 근거가 어떤 검토와 행동에 반영되었는지 기록할 수 있다. 다만 그 기록을 인과효과의 확정적인 증거로 확대해서는 안 된다.
주장의 강도를 근거에 맞추는 원칙은 활용 이후에도 이어진다.
활용되지 않은 결과도 다음 작업의 근거가 된다
보고서가 사용되지 않았다면 실패로만 볼 것인가.
왜 사용되지 않았는지 살펴야 한다. 결과가 필요한 시점보다 늦었는지, 의사결정의 대안과 연결되지 않았는지, 표현이 어려웠는지, 실행할 권한과 자원이 없었는지 확인할 수 있다.
자료의 한계가 커서 활용하지 않는 것이 적절했을 수도 있다. 분석 결과가 기존 판단을 바꿀 만큼 새로운 근거를 제공하지 못했을 수도 있다.
이유에 따라 다음 작업이 달라진다. 조사 내용을 바꾸거나 전달 시점을 앞당길 수 있고, 결과를 설명하는 방식이나 활용 주체와의 협의를 개선할 수 있다.
활용 여부를 분석자의 능력만으로 설명해서는 안 된다. 그러나 외부 사정이라는 이유로 모든 확인을 끝내서도 안 된다.
가치의 확인은 성공을 과장하기 위한 절차가 아니라, 무엇이 기여했고 무엇이 연결되지 않았는지 배우는 과정이다.
SDV가 지향하는 것은 모든 분석이 가치를 만들었다고 선언하는 일이 아니다. 가치가 생긴 조건과 생기지 못한 이유를 살펴, 다음 조사와 분석을 더 나아지게 하는 일이다.
"가치의 확인은 성공을 과장하기 위한 절차가 아니라,
무엇이 기여했고 무엇이 연결되지 않았는지 배우는 과정이다."
SDV가 지향하는 것은 모든 분석이 가치를 만들었다고 선언하는 일이 아니라, 다음 조사와 분석을 더 나아지게 하는 일이다.
