군집・비지도학습: 방법론

Author

권세혁

1 전통적 군집모형

전통적 군집모형의 공통 원리

전통적 군집모형은 데이터의 잠재 확률모형을 명시적으로 가정하기보다, 거리(또는 비유사도)와 최적화 기준에 기반하여 관측치를 분할하는 방법이다.

  • 유사성의 정의가 알고리즘의 본질을 결정한다: 어떤 거리를 쓰는가에 따라 결과가 달라진다.
  • 군집 결과는 “정답”이 아니다: 선택된 기준(거리, linkage, 표준화)에 대한 구조적 제안이다.

1.1 k-means 군집

k-means는 \(K\)개의 군집을 가정하고, 각 군집의 중심(centroid)으로부터의 군집 내 제곱거리합(WSS, Within-cluster Sum of Squares)을 최소화하는 방법이다. 데이터 \(X = \{x_1, \ldots, x_n\}\), \(x_i \in \mathbb{R}^p\)에 대해 군집 할당 \(z_i \in \{1, \ldots, K\}\)와 군집 중심 \(\mu_k\)를 사용하면 목적함수는 다음과 같다.

\[ \min_{z_1, \ldots, z_n,\, \mu_1, \ldots, \mu_K} \sum_{k=1}^{K} \sum_{i:\, z_i = k} \| x_i - \mu_k \|^2 \]

TSS 분해와 통계적 해석

k-means는 \(TSS = WSS + BSS\) 분해에 의해 \(WSS\)를 줄이는 것이 곧 \(BSS\)를 키우는 것과 연결된다는 점에서 통계적 해석이 명확한 알고리즘이다.

항 의미
\(TSS\) 전체 제곱합 (Total Sum of Squares)
\(WSS\) 군집 내 제곱합 → 군집 내 동질성
\(BSS\) 군집 간 제곱합 → 군집 간 이질성

1.1.1 최적해의 구조: 군집 중심은 평균이다

군집 할당 \(z\)가 주어졌을 때, 군집 \(k\)의 목적함수 부분 \(\sum_{i:\, z_i = k} \|x_i - \mu_k\|^2\)을 \(\mu_k\)에 대해 최소화하는 해는 군집 내 평균이다.

\[ \mu_k = \frac{1}{n_k} \sum_{i:\, z_i = k} x_i \]

왜 평균인가?

k-means에서 중심이 평균으로 수렴하는 이유는 제곱오차 손실의 최적 대표값이 평균이라는 통계적 성질에서 비롯된다.

\[\arg\min_\mu \sum_i (x_i - \mu)^2 = \bar{x}\]

1.1.2 Lloyd 알고리즘 (표준 k-means 절차)

k-means의 최적화는 \(z\)와 \(\mu\)를 동시에 찾는 비볼록(non-convex) 문제이므로 전역최적이 보장되지 않는다. 대신 다음 두 단계를 반복하는 방식으로 국소해를 찾는다.

Lloyd 알고리즘 반복 단계

① 할당 단계 (Assignment) 각 관측치를 가장 가까운 중심에 배정한다. \[z_i \leftarrow \arg\min_{k} \|x_i - \mu_k\|^2\]

② 갱신 단계 (Update) 각 중심을 해당 군집의 평균으로 갱신한다. \[\mu_k \leftarrow \frac{1}{n_k} \sum_{i:\, z_i = k} x_i\]

이 반복은 매 단계에서 \(WSS\)를 감소시키므로 유한번 내 수렴한다. 다만 수렴이 전역최적을 의미하지는 않으며, 초기값에 따라 결과가 달라질 수 있다.

1.1.3 초기값과 k-means++

초기 중심을 무작위로 잡으면 좋지 않은 국소해에 빠질 수 있다. k-means++ 초기화는 “이미 선택된 중심에서 멀리 떨어진 점”을 중심으로 뽑아 초기 중심들의 분산을 확보한다.

안정적인 k-means 사용법
  1. k-means++ 초기화 사용 — 무작위 초기화보다 국소해 위험 감소
  2. 여러 번 재시작(n_init) — 가장 작은 \(WSS\)를 주는 결과 선택
  3. 수렴 여부 확인 — 반복 단계별 \(WSS\) 감소 추이 모니터링

1.1.4 k-means의 통계적 한계

k-means의 구조적 가정과 한계

k-means는 다음의 강한 구조적 가정을 내포한다.

한계 설명
구형 군집 가정 유클리드 거리 기반 → 타원형·길쭉한 군집에 부적절
동일 분산·유사 크기 큰 군집이 작은 군집을 흡수하는 경향
이상치에 민감 평균이 이상치에 취약 → 군집 중심 왜곡
스케일 의존성 표준화 여부가 결과를 결정하는 경우가 많음

이 한계는 모델 기반 군집(GMM)이나 밀도 기반 군집(DBSCAN)으로 확장되는 이유가 된다.

1.2 계층적 군집 (Hierarchical Clustering)

계층적 군집은 군집의 개수를 미리 고정하지 않고, 데이터 간 유사성을 기반으로 계층적 구조를 구성하는 방법이다.

대표적으로 병합적(agglomerative) 방식이 널리 쓰이며, 처음에 각 관측치를 하나의 군집으로 두고 점차 병합하여 하나의 군집으로 만드는 절차이다. 그 결과는 덴드로그램(dendrogram)이라는 나무 구조로 표현되며, 특정 높이에서 자르면 해당 군집 개수 \(K\)가 결정된다.

1.2.1 병합적 계층군집 알고리즘

병합 절차

초기 상태에서 \(n\)개의 군집이 존재하고(각 관측치가 하나의 군집), 단계 \(t\)마다 가장 가까운 두 군집 \(A\), \(B\)를 선택해 병합한다. “군집 간 거리”를 정의하는 방식이 linkage이며, 병합이 \(n-1\)번 수행되면 최종적으로 하나의 군집이 된다.

1.2.2 주요 Linkage의 정의와 성질

군집 \(A\), \(B\)의 원소를 \(x \in A\), \(y \in B\)라 하고, 점 간 거리 \(d(x, y)\)가 주어졌을 때 linkage는 다음과 같이 정의된다.

Linkage 유형 비교
Linkage 정의 특징
Single (최단거리) \(D(A,B) = \min_{x \in A,\, y \in B} d(x,y)\) chaining 현상 발생 가능
Complete (최장거리) \(D(A,B) = \max_{x \in A,\, y \in B} d(x,y)\) 조밀하고 타이트한 군집 형성
Average (평균거리) \(D(A,B) = \frac{1}{|A||B|}\sum_{x \in A}\sum_{y \in B} d(x,y)\) Single과 Complete의 중간 성격
Ward (분산 증가 최소화) \(\Delta(A,B) = WSS(A \cup B) - WSS(A) - WSS(B)\) k-means 철학과 유사, 유클리드 거리와 결합 시 해석 명확

Ward linkage는 k-means의 분산 최소화 철학과 유사하며, 유클리드 거리와 결합될 때 특히 해석이 명확하다.

1.2.3 계층군집의 장단점

계층군집 사용 시 주의점

장점

  • 덴드로그램으로 군집 구조를 시각적으로 해석 가능
  • \(K\)를 사전에 정하지 않고 사후에 유연하게 선택 가능

단점

  • 계산량 증가로 대규모 데이터에서 비용 부담
  • 탐욕적(greedy) 구조: 한 번 병합된 결정을 되돌릴 수 없어, 초기 잘못된 병합이 이후 결과에 연쇄적으로 영향

1.3 거리 척도의 선택 원리

거리 척도는 “비슷함”의 통계적 가정이다

전통적 군집에서 거리 척도는 단순한 계산 도구가 아니라, “비슷함”에 대한 통계적 가정 그 자체이다. 거리 척도의 선택은 다음 세 요소에 의해 결정된다.

  1. 자료의 척도(scale)와 분포
  2. 변수 간 상관 구조
  3. 분석 목적 (형태 vs. 방향 vs. 순서)

1.3.1 연속형 변수: 유클리드, 마할라노비스, 민코프스키

유클리드 거리는 변수 간 독립성과 동일 스케일을 암묵적으로 전제하며, 스케일이 다르면 표준화가 필요하다.

마할라노비스 거리는 공분산 \(\Sigma\)를 반영하여 상관이 큰 변수들로 인한 “중복 정보”를 완화한다.

\[ d_\text{Mah}(x_i, x_j) = \sqrt{(x_i - x_j)^\top \Sigma^{-1} (x_i - x_j)} \]

마할라노비스 거리 사용 시 유의사항

\(\Sigma^{-1}\) 추정이 불안정하면 오히려 노이즈가 커질 수 있으므로, 차원축소(PCA)나 정규화(regularization)를 병행하는 것이 일반적이다.

민코프스키 거리 \(d_q\)는 \(q\) 값으로 민감도를 조절하는 거리의 일반화 형태이다.

  • \(q = 1\): 맨해튼 거리
  • \(q = 2\): 유클리드 거리

1.3.2 방향성이 중요한 경우: 코사인 거리

텍스트 벡터나 임베딩에서는 벡터 크기보다 방향이 유사성에 중요할 때가 많다.

\[ d_C(x_i, x_j) = 1 - \frac{x_i^\top x_j}{\|x_i\| \|x_j\|} \]

코사인 거리를 사용하면 크기 차이에 덜 민감한 군집이 형성된다.

1.3.3 범주형/이진형 변수: 해밍, 자카드

이진 벡터에서 해밍 거리는 불일치의 개수를 센다.

자카드 유사도는 “둘 다 1인 경우”를 강조하고 “둘 다 0인 경우”를 덜 중요하게 본다. 희소 이진 데이터(구매 여부, 클릭 여부 등)에서 유용하다.

1.3.4 표준화의 통계적 의미

표준화는 통계적 선언이다

표준화(z-score)는 단순한 전처리가 아니라 “각 변수를 동등한 중요도로 보겠다”는 선언이다.

선택 의미
표준화 적용 분산이 큰 변수의 영향력이 과도해지는 현상 완화
원자료 스케일 유지 “단위 자체가 의미가 있다”는 가정에 해당

즉, 표준화 여부는 군집 결과의 해석을 바꾸는 중요한 분석 선택이다.

2 모델기반 군집

모델 기반 군집의 관점

모델 기반 군집(model-based clustering)은 군집을 “거리로 묶는 규칙”으로 보지 않고, 데이터가 어떤 확률모형으로부터 생성되었다는 가정 하에 잠재집단(latent class)을 추정하는 문제로 정의한다.

이 관점의 장점:

  • 확률적 해석: 군집이 확률적 의미를 가짐
  • Soft clustering: 딱 잘라 배정하는 hard clustering 대신 소속확률 제공
  • 통계적 모형 선택: AIC/BIC 등으로 군집 수 \(K\)를 정당화 가능

2.1 Gaussian Mixture Model (GMM)

GMM은 데이터가 \(K\)개의 가우시안(정규) 성분분포의 혼합으로 생성된다고 가정하는 모형이다.

\[ p(x_i) = \sum_{k=1}^{K} \pi_k \mathcal{N}(x_i \mid \mu_k, \Sigma_k) \]

GMM 모수 정의
모수 의미 제약
\(\pi_k\) 혼합계수 (mixing proportion) \(\pi_k \geq 0\), \(\sum_k \pi_k = 1\)
\(\mu_k \in \mathbb{R}^p\) \(k\)번째 군집의 평균벡터 —
\(\Sigma_k \in \mathbb{R}^{p \times p}\) \(k\)번째 군집의 공분산행렬 양반정치(positive semi-definite)

2.1.1 잠재변수 표현

군집 라벨 \(z_i \in \{1, \ldots, K\}\)를 잠재변수로 도입하면 생성모형은 다음과 같이 표현된다.

\[ P(z_i = k) = \pi_k, \quad x_i \mid (z_i = k) \sim \mathcal{N}(\mu_k, \Sigma_k) \]

먼저 군집이 \(\pi\)에 따라 선택되고, 선택된 군집의 정규분포에서 \(x_i\)가 생성된다. \(z_i\)는 관측되지 않으므로 추정의 핵심이 된다.

2.1.2 k-means와의 연결

GMM은 k-means의 확장이다

다음 제한 조건을 부과하면 GMM은 k-means와 매우 가까워진다.

  1. 모든 군집이 동일한 구형 공분산을 가진다: \(\Sigma_k = \sigma^2 I_p\)
  2. 혼합계수 \(\pi_k\)가 크기 비례로 추정된다.

\(\sigma^2\)가 작아질수록 각 점은 가장 가까운 평균 \(\mu_k\)의 성분에 배정되므로, k-means는 “구형·동분산 가정의 GMM을 hard하게 근사한 방법”으로 이해할 수 있다.

반대로 GMM은 k-means를 타원형(elliptical) 군집까지 확장한 일반화이다.

2.1.3 공분산 구조에 따른 군집 형태

\(\Sigma_k\)의 형태에 따라 군집이 표현할 수 있는 모양이 달라진다.

공분산 구조별 군집 특성
\(\Sigma_k\) 형태 군집 모양 모수 수
\(\sigma^2 I\) 구형, 동일 크기 적음
\(\sigma_k^2 I\) 구형, 군집별 크기 차이 허용 중간
\(\Sigma\) (공통) 타원형, 동일 타원 공유 중간
\(\Sigma_k\) (자유) 타원형, 군집별 다른 타원 많음 (과적합 위험↑)

유연할수록 적합도는 좋아지나, 추정해야 할 모수가 급증하여 과적합 위험이 커진다. \(p\)가 큰 경우 정규화나 차원축소를 병행하는 것이 일반적이다.

2.2 우도함수와 최대우도추정

관측 데이터 \(X = \{x_1, \ldots, x_n\}\)에 대한 모수 \(\Theta = \{\pi_k, \mu_k, \Sigma_k\}_{k=1}^K\)의 로그우도는 다음과 같다.

\[ \ell(\Theta) = \sum_{i=1}^n \log\left( \sum_{k=1}^K \pi_k \mathcal{N}(x_i \mid \mu_k, \Sigma_k) \right) \]

왜 직접 미분이 어려운가?

혼합모형의 특징은 로그 안에 합이 존재한다는 점이다. 이 때문에 \(\ell(\Theta)\)를 직접 미분하여 닫힌 형태(closed-form) 해를 얻기가 어렵다. 이 문제를 해결하는 대표적 방법이 EM 알고리즘이다.

2.3 EM 알고리즘

EM 알고리즘은 관측되지 않은 잠재변수 \(Z = \{z_i\}\)를 도입하여, “완전자료(complete data)”의 로그우도를 반복적으로 최적화하는 방법이다.

EM 알고리즘의 핵심 아이디어
상황 특징
관측자료만 보는 경우 로그-합 구조로 인해 최적화가 어렵다
완전자료(\(z_i\) 포함) 가정 최적화가 매우 쉬워진다

따라서 현재 모수로 \(z_i\)의 기대값(사후확률)을 계산(E-step)하고, 그 기대값을 가중치로 사용하여 모수를 갱신(M-step)하는 절차를 반복한다.

2.3.1 완전자료 로그우도

지시변수 \(z_{ik} = \mathbf{1}(z_i = k)\)를 사용하면 완전자료의 로그우도는

\[ \ell_c(\Theta) = \sum_{i=1}^n \sum_{k=1}^K z_{ik} \left(\log \pi_k + \log \mathcal{N}(x_i \mid \mu_k, \Sigma_k)\right) \]

이 식은 \(z_{ik}\)가 주어지면 \(\pi_k\), \(\mu_k\), \(\Sigma_k\)에 대해 분리되어 최적화가 가능하다.

2.3.2 E-step: 책임도(responsibility) 계산

현재 모수 \(\Theta^{(t)}\) 하에서 관측치 \(x_i\)가 군집 \(k\)에 속할 사후확률을 계산한다.

\[ \gamma_{ik} := P(z_i = k \mid x_i, \Theta^{(t)}) = \frac{\pi_k^{(t)} \mathcal{N}(x_i \mid \mu_k^{(t)}, \Sigma_k^{(t)})}{\sum_{j=1}^K \pi_j^{(t)} \mathcal{N}(x_i \mid \mu_j^{(t)}, \Sigma_j^{(t)})} \]

책임도(responsibility)의 의미

\(\gamma_{ik}\)는 “관측치 \(i\)를 군집 \(k\)가 얼마나 책임지는가”라는 의미에서 책임도라 부른다.

  • soft clustering: \(\gamma_{ik}\) 자체가 군집 소속확률
  • hard clustering: \(\arg\max_k \gamma_{ik}\)로 결정

2.3.3 M-step: 모수 갱신

E-step에서 얻은 \(\gamma_{ik}\)를 \(z_{ik}\)의 기대값으로 두고, 기대 완전자료 로그우도를 최대화하는 방식으로 모수를 갱신한다. 유효표본크기를 \(N_k = \sum_{i=1}^n \gamma_{ik}\)로 정의하면 갱신식은 다음과 같다.

\[ \pi_k^{(t+1)} = \frac{N_k}{n}, \qquad \mu_k^{(t+1)} = \frac{1}{N_k} \sum_{i=1}^n \gamma_{ik} x_i \]

\[ \Sigma_k^{(t+1)} = \frac{1}{N_k} \sum_{i=1}^n \gamma_{ik} \left(x_i - \mu_k^{(t+1)}\right)\left(x_i - \mu_k^{(t+1)}\right)^\top \]

M-step은 가중 평균·공분산이다

이 갱신은 “가중 평균/가중 공분산” 형태이며, 가중치가 바로 책임도 \(\gamma_{ik}\)이다. 즉, 어느 군집에 더 많이 “책임”을 지는 관측치일수록 해당 군집의 모수 추정에 더 큰 영향을 미친다.

2.3.4 수렴 성질과 주의점

EM 알고리즘은 반복할수록 관측자료 로그우도 \(\ell(\Theta)\)를 감소시키지 않는 단조증가(monotone increasing) 성질을 가진다.

\[ \ell(\Theta^{(t+1)}) \geq \ell(\Theta^{(t)}) \]

EM 알고리즘의 수치적 문제
문제 설명 대처 방법
전역최적 미보장 초기값에 따라 국소최적에 수렴 가능 여러 초기값으로 반복, 최대 로그우도 선택
특이해(singularity) 성분이 한 점에 집중되면 \(\Sigma_k \to 0\)으로 우도 발산 공분산에 \(\epsilon I\) 추가 또는 최소 공분산 제약
고차원 불안정성 \(p\)가 크면 \(\Sigma_k\) 추정 불안정 PCA로 차원축소 후 GMM 적용, 또는 대각 공분산 가정
라벨 스위칭 성분 순서가 본질적으로 무의미 군집 번호 자체에 의미 부여 금지

2.4 모델 기반 군집의 해석

GMM의 군집 결과는 각 점에 대한 소속확률 \(\gamma_{ik}\)를 제공한다는 점에서 해석이 풍부하다.

GMM 해석의 풍부함
  • \(\max_k \gamma_{ik}\)가 작으면 → 해당 점은 어느 군집에도 강하게 속하지 않는 경계점일 가능성이 크다.
  • \(\Sigma_k\)는 군집의 모양과 방향성을 의미하므로, “군집이 어떤 축으로 퍼져 있는가”를 통계적으로 설명할 수 있다.
  • k-means처럼 구형 군집만 가정하는 방법보다 현실 데이터를 더 잘 반영하는 경우가 많다.

3 표현기반 군집

표현기반 군집의 동기

표현 기반 군집(representation-based clustering)은 원자료 공간에서 곧바로 군집을 수행하기보다, 데이터를 더 “군집하기 좋은” 표현공간으로 변환한 뒤 군집을 수행하는 접근이다.

실제 데이터는 고차원, 강한 상관, 잡음, 비선형 구조를 동시에 포함하는 경우가 많다. 이때 단순 거리 기반 군집은 거리의 의미가 약해지거나(차원의 저주), 특정 변수의 스케일·상관에 의해 결과가 왜곡되기 쉽다.

표현 기반 군집은 이러한 문제를 완화하기 위해 (i) 차원축소 및 특징추출로 핵심 구조를 요약하고, (ii) 그 표현 위에서 군집의 안정성과 해석가능성을 높이는 방법이다.

3.1 PCA + Clustering

3.1.1 PCA의 목적과 군집과의 연결

주성분분석(PCA)은 \(p\)차원 데이터를 분산이 큰 방향으로 정렬하여, 소수의 선형결합으로 데이터를 요약하는 차원축소 방법이다. 평균을 제거한 데이터 행렬 \(X_c \in \mathbb{R}^{n \times p}\)에 대해 1번째 주성분 방향 \(w_1\)은 투영점수의 분산을 최대화하는 단위벡터이다.

\[ \max_{\|w\| = 1} \text{Var}(X_c w) \]

상위 \(q\)개 주성분 \(W_q = [w_1, \ldots, w_q] \in \mathbb{R}^{p \times q}\)에 대해 저차원 표현은

\[ Z = X_c W_q \in \mathbb{R}^{n \times q} \]

여기서 \(Z\)가 군집에 투입되는 “표현(representation)”이다.

군집 관점에서 PCA의 핵심 역할

잡음 제거 및 거리 안정화

고차원에서 유클리드 거리는 차이가 균질해져 구분력이 약해지는 경향(차원의 저주)이 있다. PCA로 중요한 분산 방향만 남기면 거리가 더 의미 있게 작동한다.

상관 구조 정리

상관이 큰 변수들이 중복 정보를 제공하면 거리가 특정 방향으로 과도하게 왜곡될 수 있다. PCA는 서로 직교하는 축으로 변환하여 중복성을 줄인다.

3.1.2 절차: 전형적 파이프라인

PCA + Clustering 파이프라인
  1. 전처리 및 표준화 — 변수 단위가 다르면 z-score 표준화 적용
  2. PCA 적합 및 차원 \(q\) 선택 — 설명분산비 또는 누적 설명분산 기준
  3. 저차원 점수 \(Z\) 산출 — \(Z = X_c W_q\)
  4. 군집 수행 — \(Z\)에 대해 k-means, GMM, 계층군집 등 적용
  5. 해석 — 군집 결과를 원변수로 되돌려 군집별 평균·비율·특징 요약

“PCA에서의 \(q\)”와 “군집에서의 \(K\)”는 서로 다른 선택 문제이다. \(q\)는 표현의 복잡도를, \(K\)는 군집 구조의 복잡도를 조절한다.

3.1.3 PCA 공간에서의 거리 해석

PCA는 선형변환이므로, 원공간의 유클리드 거리와 PCA 공간의 유클리드 거리는 일반적으로 동일하지 않다. 모든 주성분을 사용하면(\(q = p\)) 직교변환이므로 거리가 보존된다.

정보 손실인가, 잡음 제거인가?

\(q < p\)로 축소하면 일부 방향 정보를 버리므로 거리도 근사적으로만 유지된다. 그러나 버린 방향이 주로 잡음이라면, 오히려 거리 기반 군집이 개선될 수 있다.

따라서 PCA+clustering은 단순한 정보 손실이 아니라, 군집에 유리한 신호대잡음비(SNR)를 높이는 전략이다.

3.1.4 k-means와 PCA의 관계

PCA와 k-means는 서로 다른 목적함수를 갖지만, 둘 다 “제곱거리와 분산”의 구조를 공유한다. k-means는 군집 내 제곱거리합을 최소화하며, PCA는 투영 후 재구성 오차를 최소화한다.

따라서 분산 구조가 강하게 존재하는 데이터에서는 PCA 축 위에서 군집이 더 뚜렷해지는 경우가 많다. 그러나 데이터 구조가 비선형이면 PCA만으로는 군집 구조가 선명해지지 않을 수도 있다.

3.2 Deep Clustering의 개념

딥러닝 기반 deep clustering은 신경망을 사용해 데이터의 표현을 학습하면서, 그 표현에서 군집이 잘 분리되도록 만드는 접근이다. “좋은 표현이 주어지면 군집은 쉬워진다”는 명제를 전제로 한다.

전통 방식 vs. Deep Clustering
방식 특징
PCA + clustering 표현 학습(PCA)과 군집을 분리하여 수행
Deep clustering 표현 학습과 군집을 결합 또는 번갈아 최적화

3.2.1 기본 구성: 표현 함수와 군집 목적

딥러닝은 입력 \(x\)를 저차원 임베딩 \(z\)로 변환하는 함수 \(f_\theta(\cdot)\)를 학습한다.

\[ z_i = f_\theta(x_i) \in \mathbb{R}^q \]

deep clustering의 목표는 이 임베딩 \(z_i\)가 “군집하기 좋은 공간”이 되도록 \(\theta\)를 학습하는 것이다. 즉, 단순히 재구성이나 분류가 아니라 군집 구조가 드러나는 표현을 만드는 것이 목적이다.

3.2.2 오토인코더 기반 접근

가장 직관적인 방식은 오토인코더(autoencoder)를 이용하는 방식이다. 인코더 \(f_\theta\)와 디코더 \(g_\phi\)로 구성되며,

\[ z_i = f_\theta(x_i), \quad \hat{x}_i = g_\phi(z_i) \]

재구성 손실은 \(L_\text{rec} = \sum_{i=1}^n \|x_i - \hat{x}_i\|^2\)이며, \(z_i\)는 PCA 점수와 유사한 역할을 하되 비선형 함수를 통해 더 유연한 표현을 학습한다.

결합 목적함수

“재구성만 잘하는 임베딩”이 아니라 “군집이 잘 되도록 임베딩을 조정”하기 위해 다음과 같은 결합 목적함수가 사용된다.

\[ L = L_\text{rec} + \lambda L_\text{clust} \]

\(L_\text{clust}\)는 임베딩에서 군집이 조밀·분리되도록 유도하는 손실이며, \(\lambda\)는 두 목표의 균형을 조절하는 계수이다.

3.2.3 자기학습 기반 Soft Assignment

딥러닝 기반 군집에서는 hard assignment 대신 soft assignment를 이용하는 경우가 많다. 임베딩 \(z_i\)와 군집 중심 \(m_k\)가 있을 때, Student-\(t\) 분포 형태의 soft assignment를

\[ q_{ik} \propto \left(1 + \frac{\|z_i - m_k\|^2}{\alpha}\right)^{-\frac{\alpha+1}{2}} \]

로 정의하고 정규화한다. 이후 \(q_{ik}\)로부터 더 “날카로운” 목표분포 \(p_{ik}\)를 만들고, KL divergence를 최소화한다.

\[ L_\text{clust} = \sum_{i=1}^n \sum_{k=1}^K p_{ik} \log \frac{p_{ik}}{q_{ik}} \]

자기학습의 의미

“현재 임베딩에서 군집이 될 듯한 구조를 만든 뒤, 그 구조가 더 선명해지도록 임베딩을 다시 학습”하는 반복 구조이다. 이는 EM 알고리즘의 정신과 유사하다.

3.2.4 Deep Clustering의 장점과 위험

Deep Clustering의 장점
  • 고차원·비선형 구조에서 PCA보다 더 강력한 표현 학습 가능
  • 이미지, 텍스트 등 복잡한 데이터에서 “군집 가능한 특징” 자동 추출
  • Soft assignment를 통해 경계점의 불확실성까지 표현 가능
Deep Clustering의 위험
위험 설명
퇴화(degenerate) 해 모든 점이 하나의 군집으로 몰리거나, 임베딩이 상수로 붕괴(collapse)
하이퍼파라미터 의존성 임베딩 차원 \(q\), 손실 가중치 \(\lambda\), 초기 중심, 학습률에 따라 결과가 크게 달라짐
해석가능성 저하 PCA는 선형결합으로 설명되지만, 딥 임베딩은 설명이 어려운 경우가 많음

따라서 deep clustering은 “군집 성능”만이 아니라 “안정성과 해석가능성”까지 함께 고려하여 사용해야 한다.