오토인코더(Autoencoder)

 

오토인코더 (Autoencoder)

 

입력 데이터를 압축(인코딩)하고, 다시 복원(디코딩)하는 비지도 학습 모델

 

입력값을 출력값과 가깝게 만드는 방향으로 학습하며, 입력 데이터를 효율적으로 표현하는 잠재 벡터(latent vector)를 학습함

 

 

주요 활용 분야

• 차원 축소 (Dimensionality Reduction)
• 노이즈 제거 (Denoising)
• 이상 탐지 (Anomaly Detection)
• 생성 모델 기반 (VAE, GAN 등)

 

동작 원리

 

인코더 (Encoder)

 

입력 데이터를 저차원 잠재 공간으로 압축

입력 x 를 잠재 변수 z로 변환

𝑥 = f(𝑥) = σ(Wₑ 𝑥 + bₑ)

 

→ 중요한 특징을 추출하고, 입력 데이터를 압축

 

 

디코더 (Decoder)

 

잠재 변수 z를 원래의 입력과 유사한 데이터 x̂로 복원

𝑥̂ = g(𝑧) = σ(W_d 𝑧 + b_d)

 

→ 입력 데이터를 최대한 원본과 가깝게 복원

 

 

손실 함수 (Loss Function)

 

입력 x와 복원된 출력 x̂ 간의 오차를 최소화하는 것이 목표

일반적으로 평균 제곱 오차(MSE)를 사용

 

𝓈(𝑥, 𝑥̂) = ∥𝑥 - 𝑥̂∥^2

 

 

 

오토인코더의 구조

 

입력 → 인코더 → 잠재 공간 → 디코더 → 출력

대칭적인 구조를 가지며, 인코더와 디코더는 서로 마주보는 구조

 

*잠재공간(Latent Space)

 

인코더에 의해 생성된 저차원 표현 공간

입력 데이터의 중요한 특징만을 포함하고 있으며, 디코더는 잠재 공간을 이용해 원래 데이터를 복원

 

 

오토인코더의  종류

 

딥 오토인코더 (Deep Autoencoder)

인코더/디코더에 다층 신경망을 사용

복잡한 데이터 구조 학습 가능

 

변분 오토인코더 (Variational Autoencoder, VAE)

확률적 접근으로 잠재 공간을 모델링

잠재 변수 z를 정규 분포에서 샘플링

잠재 공간을 연속적으로 만들고, 새로운 데이터 생성 가능

 

희소 오토인코더 (Sparse Autoencoder)

희소성(sparsity) 제약 조건을 추가

뉴런 중 일부만 활성화 → 중요 특징만 추출

 

잡음 제거 오토인코더 (Denoising Autoencoder)

입력에 노이즈를 추가하고, 원본을 복원하도록 학습

노이즈가 있는 환경에서 강건한 특징 추출 가능