MLDL 불학실성

Chapter 1. ML 예측에는 왜 신뢰구간이 없는가

머신러닝 예측 결과에는 보통 신뢰구간이 함께 제시되지 않는다. 이는 머신러닝이 불완전해서가 아니라, 전통적 신뢰구간이 성립하는 통계적 전제와 머신러닝 예측의 목적이 서로 다르기 때문이다. 신뢰구간은 모수 추론을 위한 도구인 반면, 머신러닝은 모수보다 예측 함수와 그 성능을 목표로 한다.

이 장에서는 전통적 신뢰구간이 어떤 전제 위에서 정의되는지 정리하고, 머신러닝 예측에서 다루는 불확실성의 성격이 왜 근본적으로 다른지를 명확히 구분한다. 이를 통해 머신러닝 예측에 신뢰구간이 붙지 않는 이유를 결핍이 아닌 설계 철학의 차이로 이해한다.

• 전통적 신뢰구간은 모수 추론을 위한 장치이다.
• 머신러닝 예측은 모수가 아니라 함수와 성능을 목표로 한다.
• 따라서 머신러닝 예측에는 전통적 의미의 신뢰구간이 붙지 않는다.
• 머신러닝의 불확실성은 데이터·모델·절차의 결합으로 나타난다.
• 불확실성 표현은 신뢰구간이 아닌 다른 도구로 이루어진다.

1. 전통적 신뢰구간의 전제

신뢰구간은 무엇에 대한 구간인가

전통적 신뢰구간은 모수에 대한 구간이다. 예를 들어 선형회귀에서 관심 대상은 회귀계수 \beta이며, 신뢰구간은 다음 질문에 답한다.

같은 표본추출과 추정 절차를 무한히 반복했을 때, 이 구간이 참값 \(\beta\)를 포함할 장기적 빈도는 얼마인가.

즉, 신뢰구간은 단일 데이터셋에 대한 불확실성 진술이 아니라, 반복 표본추출이라는 가상의 실험을 전제로 한 확률적 진술이다.

신뢰구간이 성립하기 위한 핵심 전제

신뢰구간이 통계적으로 정당하려면 다음 전제들이 필요하다.

첫째, 명시적 확률모형이 존재해야 한다.

둘째, 모수는 고정된 상수이며 확률적 대상은 추정량이다.

셋째, 추정량의 분포 이론이 확보되어야 한다. 정규근사, 점근성, 분산 추정 가능성이 여기에 포함된다.

넷째, 표본 설계가 독립성 가정을 만족해야 한다. 일반적으로 i.i.d. 혹은 그에 준하는 구조가 요구된다.

이 전제들이 충족될 때에만 \hat{\beta}의 표본분포가 정의되고, 그 위에서 신뢰구간이 구성된다.

예측구간과의 구분

전통 통계에서도 신뢰구간과 예측구간은 구분된다. 신뢰구간은 모수의 불확실성을 다루는 반면, 예측구간은 새로운 관측값의 불확실성을 다룬다. 그러나 예측구간 역시 명시적 오차분포와 모형 적합의 정당성을 전제로 한다는 점에서, 전통적 확률모형의 틀 안에 있다.

2. ML 예측과 불확실성의 차이

머신러닝의 1차 목표는 모수가 아니다

머신러닝의 학습 목표는 다음과 같이 표현된다.

\[\min_{f}\mathbb{E}\lbrack L(Y,f(X))\rbrack\]

여기서 관심 대상은 특정 모수가 아니라 예측 함수 f의 일반화 성능이다. 즉, 머신러닝은 추론보다 예측을 우선하며, 모수 해석은 부차적이거나 존재하지 않는다.

머신러닝에서 확률적 대상이 달라지는 이유

전통 통계에서는 모수를 고정하고 추정량을 확률변수로 다룬다. 반면 머신러닝에서는 예측 함수 자체가 데이터, 알고리즘, 초기값, 미니배치, 최적화 경로에 의존한다. 학습 절차 전체가 비선형이고 비볼록이기 때문에, 함수 f의 표본분포를 정의하는 것은 어렵거나 의미가 없다.

따라서 전통적 의미의 추정량 분포라는 개념이 성립하지 않는다.

머신러닝에서의 불확실성 구성 요소

머신러닝에서의 불확실성은 다음 세 가지로 나누어 이해할 수 있다.

첫째, 데이터 불확실성은 관측 잡음이나 내재적 변동성에 해당한다.

둘째, 모델 불확실성은 데이터 부족이나 함수 선택의 불확실성에서 비롯된다.

셋째, 절차 불확실성은 초기값, 미니배치 구성, 최적화 경로의 차이로 인해 발생한다.

전통적 신뢰구간은 이 중 일부를 모수 분포로 흡수하지만, 머신러닝에서는 이 모든 요소가 하나의 함수 출력에 복합적으로 반영된다.

왜 신뢰구간을 붙이지 않는가가 아니라 붙일 수 없는가

머신러닝 예측에 신뢰구간이 없는 이유는 다음과 같다.

모수 중심의 확률 진술이 아니며, 추정량 분포를 정의할 공통 전제가 없고, 알고리즘 의존성이 커서 반복 표본추출 개념이 모호하다.

이는 머신러닝의 결함이 아니라, 문제 설정과 목표의 차이에서 비롯된 필연적 결과이다.

3. ML에서 불확실성을 다루는 다른 방식들

재표본 기반 접근

부트스트랩을 통해 예측의 변동성을 경험적으로 근사할 수 있다. 이는 데이터 민감도를 평가하고 표본 변동성에 따른 예측 분산을 추정하는 방식이다.

베이즈적 접근

베이즈 신경망이나 사후 예측분포를 사용하면, 확률적 예측 구간을 구성할 수 있다. 이는 전통적 신뢰구간과 유사한 형태를 제공하지만, 강한 가정과 높은 계산 비용을 수반한다.

실무적 대안

실무에서는 예측 분위수, 보정된 확률 출력, 신뢰 점수, 구간 예측 등이 활용된다. 이들은 신뢰구간이 아니라 의사결정을 보조하기 위한 불확실성 표현 수단이다.

4. 흔한 오해 정리

머신러닝은 불확실성을 무시하지 않는다. 다만 전통적 신뢰구간이 전제하는 불확실성과는 다른 종류의 불확실성을 다룬다. 신뢰구간은 특정 통계적 전제하에서만 의미가 있으며, 그 전제를 벗어난 문제에 적용되지 않을 뿐이다.

Chapter 2. 불확실성 추정 방법

전통적 신뢰구간이 성립하지 않는다고 해서, 머신러닝 예측에서 불확실성을 전혀 다룰 수 없는 것은 아니다. 다만 머신러닝에서는 불확실성을 모수의 분포가 아니라, 예측의 변동성·민감도·분포 형태로 접근한다. 이는 추론을 위한 확률 진술이 아니라, 예측 결과를 어떻게 사용할 것인가에 대한 정보 제공이라는 점에서 성격이 다르다.

이 장에서는 실무와 연구에서 가장 널리 사용되는 세 가지 접근, 즉 Bootstrap, Ensemble, 예측 분포 해석을 통계적으로 정리한다. 각 방법이 어떤 종류의 불확실성을 반영하며, 어디까지가 가능하고 어디부터가 한계인지를 명확히 구분한다.

• 머신러닝에서는 전통적 신뢰구간 대신 다양한 불확실성 추정 방법을 사용한다.
• Bootstrap은 데이터 민감도를, Ensemble은 모델 불확실성을 반영한다.
• 예측 분포는 점 예측이 숨기는 위험 구조를 드러낸다.
• 불확실성 추정은 하나의 수치가 아니라 다층적 해석 문제이다.
• 머신러닝의 불확실성은 통계적 진술이 아니라 의사결정 지원 수단이다.

1. Bootstrap 기반 접근

Bootstrap의 기본 아이디어

Bootstrap은 다음 질문에서 출발한다. 우리가 가진 이 데이터가 모집단의 유일한 근사라면, 다시 표본을 뽑는다면 결과는 얼마나 달라질까. 절차는 단순하다. 원 데이터에서 복원추출로 여러 표본을 만들고, 각 표본마다 동일한 학습 절차를 적용한 뒤, 예측 결과의 분포를 관찰한다.

머신러닝 예측에서의 Bootstrap

관측치 \(x_{0}\)에 대한 예측값 \(\widehat{f}(x_{0})\)를 생각하자. Bootstrap은 재표본별 예측 \({\widehat{f}}^{*(b)}(x_{0})\)의 분포를 통해 예측의 분산, 분위수, 범위를 제공한다. 이는 표본 변동성에 대한 경험적 추정으로, 데이터가 달라질 때 예측이 얼마나 흔들리는지를 보여준다.

통계적 의미와 한계

Bootstrap이 반영하는 것은 주로 데이터 불확실성과 표본 변동성이다. 반면 모델 구조의 불확실성이나 데이터 생성 과정의 오가정은 반영하지 못한다. 또한 계산 비용이 크고, 고차원이나 딥러닝 환경에서는 불안정해질 수 있다. 즉, Bootstrap은 데이터 민감도를 측정하는 도구이지, 모든 불확실성을 포괄하는 해법은 아니다.

2. Ensemble 기반 불확실성

Ensemble의 핵심 원리

Ensemble은 여러 개의 합리적인 모델이 존재할 때, 그들의 예측 차이 자체를 불확실성으로 해석한다. 이는 데이터뿐 아니라 모델 선택과 학습 절차의 불확실성까지 포함한다는 점에서 Bootstrap과 구별된다.

대표적 Ensemble 방식

서로 다른 초기값을 가진 동일 모델, 서로 다른 하이퍼파라미터 설정, 혹은 서로 다른 서브모델을 결합하는 방식이 대표적이다. 관측치 \(x_{0}\)에 대해, \({\widehat{y}}^{(m)}(x_{0}),m = 1,\ldots,M\)의 분산을 계산한다.

통계적 해석

Ensemble 분산은 주로 모델 불확실성과 최적화·초기값 의존성을 반영한다. 데이터가 적을수록 분산은 커지고, 데이터가 충분해질수록 줄어든다. 이는 더 많은 데이터가 주어질수록 모델 선택의 불확실성이 감소한다는 직관과 일치한다. 다만 데이터 불확실성은 간접적으로만 반영된다.

3. 예측 분포 해석

점 예측에서 분포 예측으로

머신러닝 예측을 하나의 값이 아니라 조건부 분포 전체로 확장할 수 있다. 즉, 목표는 \(\widehat{y}\)가 아니라 \(p(y \mid x)\) 혹은 그 근사이다. 이는 예측의 불확실성을 직접적으로 표현한다.

분포 기반 접근의 예

분위수 회귀는 특정 분위수의 예측을 제공하여 비대칭적 위험을 드러낸다. 분포 회귀는 평균과 분산을 동시에 예측한다. 베이즈 신경망은 사후 예측분포를 통해 예측의 변동성을 확률적으로 표현한다. 이들은 전통적 신뢰구간과 달리, 예측이 얼마나 흔들릴 수 있는지를 직접 보여준다.

예측 분포 해석의 원칙

예측 분포를 해석할 때는 다음을 구분해야 한다. 분포의 폭은 불확실성의 크기를 의미하지만, 참값 포함 확률을 보장하지 않는다. 분포의 형태는 위험의 비대칭성을 드러내지만, 모델 가정에 의존한다. 또한 분포 예측은 의사결정 비용 구조와 결합될 때 의미를 갖는다. 즉, 예측 분포는 해석의 종착점이 아니라 판단의 입력이다.

구분	의미
분산이 큼	예측 불확실성 높음
꼬리가 김	극단값 가능성
비대칭	위험의 방향성
다봉	이질적 패턴 공존

4. 방법 간 비교와 통합적 관점

불확실성 종류별 대응

Bootstrap은 데이터 민감도와 표본 변동성에 강하며, Ensemble은 모델 선택과 학습 절차의 불확실성을 반영한다. 예측 분포 접근은 위험의 형태와 크기를 직접 표현한다. 어느 하나가 모든 불확실성을 포괄하지는 않는다.

불확실성	대응 방법
표본 변동성	Bootstrap
모델 선택	Ensemble
예측 결과	분포 예측

통합적 사용의 원칙

실무에서는 이들 방법을 배타적으로 선택하기보다 보완적으로 사용한다. 예를 들어, Ensemble로 모델 불확실성을 평가하고, 그 위에 예측 분포를 해석하여 의사결정 규칙을 설계할 수 있다. Bootstrap은 데이터 변경에 대한 민감도 점검에 활용된다.

실무적 해석의 핵심

머신러닝에서의 불확실성 추정은 참값을 포함할 확률을 말하는 것이 아니다. 이는 이 예측을 어느 정도 신뢰해도 되는지, 그리고 어떤 위험을 감수하는지를 판단하기 위한 정보이다. 불확실성은 추론의 결과가 아니라, 의사결정을 위한 입력이다.

Chapter 3. Explainable AI와 통계의 역할

머신러닝 모델, 특히 딥러닝은 뛰어난 예측 성능을 보이지만, 그 결과가 왜 그렇게 나왔는지에 대해서는 종종 침묵한다. 이로 인해 최근 AI 분야에서는 설명가능 인공지능, 즉 Explainable AI(XAI)가 중요한 연구 및 실무 주제로 부상하였다. 그러나 XAI가 요구하는 설명은 통계학에서 전통적으로 다루어 온 설명과 동일하지 않다.

이 장에서는 설명가능성이 왜 필요한지, 통계적 해석과 기계적 설명의 차이는 무엇인지, 그리고 머신러닝 시대에 통계학이 수행해야 할 역할을 정리한다. 이를 통해 XAI를 과대평가하거나 오해하지 않고, 통계적 사고와 어떻게 결합해야 하는지를 분명히 한다.

• Explainable AI는 성능 이후의 필수 요구이다.
• XAI의 설명은 기계적이고 국소적인 설명이다.
• 통계적 해석은 불확실성과 구조를 전제로 한 설명이다.
• 두 설명은 목적과 수준이 다르며, 대체 관계가 아니다.
• 머신러닝 시대 통계학의 역할은 설명을 비판적으로 해석하고 검증하는 기준을 제공하는 것이다.

1. 설명가능성의 필요성

왜 예측만으로는 충분하지 않은가

많은 머신러닝 시스템은 단순한 예측기를 넘어 의사결정 시스템으로 사용된다. 신용평가, 의료 진단, 정책 대상자 선정, 위험 탐지와 같은 영역에서는 예측 결과 자체보다 그 결과가 사용되는 방식이 더 중요해진다.

이러한 상황에서는 다음 질문이 필수적으로 제기된다. 이 결과를 신뢰해도 되는가, 어떤 요인이 이 결정을 이끌었는가, 다른 상황에서도 같은 판단이 나올 것인가. 즉, 설명가능성은 성능의 문제가 아니라 책임성과 신뢰성의 문제이다.

규제와 윤리적 요구

설명가능성은 기술적 요구를 넘어 제도적 요구이기도 하다. 차별과 편향의 검증, 결정에 대한 이의 제기 가능성, 정책과 법적 정당성 확보는 모두 설명을 전제로 한다. 이때 설명은 단순한 시각화나 중요도 나열이 아니라, 논리적으로 납득 가능한 근거 제시를 의미한다.

2. 통계적 해석과 기계적 설명의 차이

통계적 해석이란 무엇인가

통계학에서의 해석은 다음 질문에 답한다. 어떤 변수가 결과에 체계적으로 관련되어 있는가, 그 관계는 어떤 방향과 크기를 가지는가, 이 관계는 우연이 아닌가. 즉, 통계적 해석은 불확실성을 전제로 한 구조적 설명이다.

회귀계수, 신뢰구간, 효과 크기, 가설검정은 모두 관계의 안정성과 재현성을 묻는 도구이다. 통계적 해석은 단일 사례가 아니라, 데이터 생성 구조 전반에 대한 진술을 목표로 한다.

XAI에서의 기계적 설명

많은 XAI 기법은 다른 질문에 답한다. 이 예측에서 어떤 입력이 얼마나 기여했는가, 특정 입력을 바꾸면 출력은 어떻게 변하는가. SHAP, LIME, feature importance와 같은 방법들은 개별 예측 또는 국소 영역에서의 기여도를 설명한다.

이러한 설명은 모델 내부 작동을 이해하는 데 유용하지만, 그 자체로 구조적 해석이나 인과적 설명을 제공하지는 않는다.

근본적 차이

통계적 해석은 관계의 안정성과 우연성을 묻는 반면, XAI의 기계적 설명은 특정 모델과 특정 입력에 조건부로 정의된다. 따라서 XAI의 설명은 데이터 생성 구조에 대한 진술이 아니라, 모델 내부에서의 계산 결과에 대한 설명이다.

구분	통계적 해석	기계적 설명
대상	구조·관계	개별 예측
관점	모집단	특정 관측
불확실성	명시적으로 고려	대개 미고려
질문	왜 이런 관계가 존재하는가	왜 이 값이 나왔는가

흔한 오해

이 차이를 혼동하면 다음과 같은 오해가 발생한다. 기여도가 크면 원인이라는 해석, 중요도가 높으면 인과적이라는 주장이다. 그러나 이는 모델 내부에서의 상대적 기여를 보여줄 뿐, 현실 세계의 인과 구조를 보장하지 않는다.

3. ML 시대 통계학의 역할

설명을 검증하는 학문

머신러닝 시대에 통계학의 첫 번째 역할은 모델이 제시한 설명을 검증하는 것이다. 설명 결과가 표본 변화에 얼마나 민감한지, 재표본을 통해 얼마나 안정적인지, 데이터 분포가 바뀌어도 유지되는지를 평가한다. 이는 예측이 아니라 설명 자체에 대한 통계적 검증이다.

구조적 사고의 제공

통계학은 설명에 대해 끊임없이 구조적 질문을 던진다. 이 설명은 어떤 가정 위에 서 있는가, 데이터 생성 과정이 달라지면 유지되는가, 다른 설명도 가능한가. 이는 머신러닝이 종종 간과하는 모형 외부의 사고이며, 설명의 남용을 막는 안전장치이다.

XAI와 통계의 바람직한 관계

XAI와 통계는 경쟁 관계가 아니다. XAI는 모델 내부를 들여다보는 도구이고, 통계학은 그 결과를 해석하고 검증하며 일반화하는 틀이다. XAI는 설명을 만들어내고, 통계는 그 설명이 얼마나 믿을 만한지를 판단한다.

통계학의 재정의

머신러닝 시대의 통계학은 단순한 회귀 기법의 집합도 아니고, 과거의 추론 도구에 머물지도 않는다. 통계학의 핵심 역할은 불확실성의 언어를 제공하고, 구조와 우연을 구분하며, 설명의 정당성을 검증하고, 의사결정의 합리성을 확보하는 데 있다.