Generative Adversarial Network

Discriminative vs generative models

Discriminative 모델은 데이터 인스턴스들 간의 경계를 학습하는데 중점을 둔다.

이는 특징 X가 주어졌을 때, 레이블 y의 확률 P(y|X)을 직접 모델링하여 결정 경계를 찾는 것이다.

이 모델들은 예측 오류를 측정하는 비용 함수를 최적화하여 훈련되고, 훈련 과정에서 모델 파라미터를 조정하여 오류를 최소화한다.

ex) 로지스틱 회귀, CNN, RNN

 

Generative model 은 새로운 데이터 인스턴스를 생성할 수 있다. 생성 모델은 특징과 레이블의 결합 확률 분포

P(X,y)를 학습하는데 중점을 둔다.

 

❓결합 확률 분포 𝑃(𝑋,𝑦)

특징 𝑋와 레이블 𝑦 의 결합 확률 분포 𝑃(𝑋,𝑦)는 주어진 데이터에서 특징과 레이블이 동시에 발생할 확률을 나타내는 분포이다. 이를 통해 생성 모델은 데이터를 더 잘 이해하고, 새로운 데이터를 생성할 수 있다. 결합 확률 분포를 이해하는 것은 두 가지 확률, 즉 조건부 확률 𝑃(𝑦∣𝑋)와 사전 확률 𝑃(𝑋)을 함께 고려하는 것을 의미한다.

P(X,y)=P(y∣X)P(X)

P(y∣X)는 주어진 특징 𝑋X에 대해 레이블 y가 나타날 조건부 확률이다.P(X)는 특징 X의 사전 확률이다.
이 분해를 통해 결합 확률 분포는 특징과 레이블 간의 관계를 포착할 수 있다. 예를 들어, 이미지 분류 문제에서 X는 이미지의 픽셀 값들이고 y는 이미지에 대한 레이블(예: 고양이, 개 등)이다. P(X,y)를 모델링하면 주어진 이미지 X가 있을 때, 그 이미지가 특정 레이블 y를 가질 확률을 이해하는 것과 더불어, 어떤 이미지가 등장할 가능성이 있는지를 모두 학습하게 된다.

이를 통해 모델은 단순히 레이블을 예측하는 것뿐만 아니라, 새로운 데이터 인스턴스를 생성할 수 있다.

Trilemma of Generative Models

생성 모델의 삼중 딜레마(Trilemma of Generative Models)는 생성 모델이 동시에 세 가지 중요한 특성을 모두 만족시키기 어렵다는 문제를 의미한다. 세가지 특성은 다음과 같다.

1. 샘플의 질 : 생성된 샘플이 얼마나 실제 데이터와 유사하고 자연스러운지

 

2. 다양성 : 생성된 샘플이 얼마나 다양한지. 높은 다양성은 생성된 샘플들이 데이터의 전체 분포를 잘 반영하고, 서로 다르며, 다양한 특징들을 포함하고 있음을 의미한다.

 

3. 연산 효율성 : 모델을 학습시키고 샘플을 생성하는데 필요한 연산 자원(시간, 메모리)의 효율성

고품질의 샘플을 생성하는 모델은 종종 과적합 문제로 인해 샘플의 다양성이 떨어질 수 있다.

높은 품질의 샘플을 생성하려면 복잡한 모델 구조와 많은 연산 자원이 필요한데, 이는 연산 효율성을 저하시킨다.

다양한 샘플을 생성하는 모델은 전체 데이터 분포를 잘 학습해야하므로, 더 많은 데이터와 복잡한 학습과정이 필요하다. 연산 자원을 많이 소모하게 되어 효율성을 떨어뜨린다.

 

GAN 은 고품질의 샘플을 생성하는데에는 탁월하지만, 모드 붕괴(mode collapse) 문제로 인해 다양성이 떨어질 수 있다.

VAE 는 비교적 안정적으로 훈련되며 다양한 샘플을 생성할 수 있지만, 샘플의 품질이 GAN에 비해 떨어질 수 있다.

Diffusion model 은 매우 높은 품질의 샘플을 생성하고 데이터의 전체 분포를 잘 학습하여 다양한 샘플을 생성하지만,

데이터를 점진적으로 변환하는 여러 단계를 필요로하기 때문에 계산 비용이 매우 높다.

Key Idea of GAN

Police-Criminal Analogy

 

- Criminal ( Generator ) : 가짜 데이터를 생성하여 Police 를 속이는 역할을 한다. 진짜 데이터와 구별되지 않는 가짜 데이터를 생성하는 것이 목표이다. 초기에는 범죄자가 만든 가짜 데이터는 매우 Low-quality 이고, 따라서 Police 에 의해 쉽게 잡힌다. 하지만 시간이 지남에 따라 범죄자는 Police를 속이기 위해 점점 더 정교한 가짜 데이터를 생성하는 법을 배우게 된다.

- Police : 데이터가 진짜인지 가짜인지를 구분하는 역할을 한다. 진짜 데이터와 범죄자가 만든 가짜 데이터를 정확하게 구별하는 것이 목표이다. 처음에는 경찰도 아직 초보라서 가짜 데이터를 잘 구분하지 못할 수 있지만, 점점 더 경험이 쌓이면서 가짜 데이터를 잘 식별하게 된다.

Generative Adversarial Network

1. 초기 단계

- 생성자는 무작위 노이즈를 입력 받아 가짜 데이터를 생성한다.

- 판별자는 진짜 데이터와 가짜 데이터를 구별하는 법을 학습한다.

2. 경쟁적 학습

- 생성자는 판별자를 속이기 위해 점점 더 진짜 같은 데이터를 생성하도록 학습한다.

- 판별자는 생성자가 만든 가짜 데이터를 더 잘 구별하도록 학습한다.

3. 균형 상태

- 이상적으로, 학습이 충분히 진행되면 생성자는 진짜 데이터와 거의 구별되지 않는 고품질의 가짜 데이터를 생성하게 되고, 판별자는 진짜와 가짜를 50:50의 확률로 구분하게 된다.

- 이 상태가 되면, 생성자가 만들어낸 가짜 데이터는 진짜 데이터와 거의 동일한 품질을 가지게 된다.

생성자와 판별자가 서로 경쟁하며 상호 발전하는 과정을 통해, GAN은 매우 정교하고 현실적인 데이터를 생성할 수 있게 된다. 이 경쟁적 학습 과정이 GAN의 핵심 아이디어이다.

수식

1. 생성자 G

- 입력으로 잠재공간(latent space) z에서 샘플링한 벡터 z~pz(Z)를 받는다.

- 이를 통해 가짜 데이터 샘플 G(z)를 생성한다.

 

2. 판별자 D

- 데이터 샘플 x가 진짜 데이터인지 Pdata(x)에서 샘플링한 것인지, 아니면 가짜 데이터 G(z)인지 구별하려고 한다.

- D(x)는 입력 데이터 x가 진짜일 확률을 출력한다.

 

목적 함수 V(D,G)

첫번째 기댓값

 

 

 

- 진짜 데이터 샘플 x 에 대해 판별자가 올바르게 진짜라고 판단하기를 기대한다.

 

Q. 진짜 데이터 샘플 x를 가짜라고 판별할 확률도 있나? 

 

- logD(x) 는 판별자가 진짜 데이터에 대해 출력하는 확률의 로그 값이다.

 

두번째 기댓값

 

 

- 생성자가 만든 가짜 데이터 G(z)에 대해 판별자가 올바르게 가짜라고 판단하기를 기대한다.

( D(G(z))는 G(z) 가 진짜라고 판단될 확률을 출력하므로, 1-D((G(z)) 는 G(z)가 가짜라고 판단될 확률을 의미한다. )

-  log(1−D(G(z))는 판별자가 가짜 데이터에 대해 출력하는 확률의 로그값이다.

 

❓log 를 사용하는 이유

초기 학습 단계에서 D(G(z)) 는 매우 낮을 수 있어, 1-D((G(z)) 가 거의 1에 가까워진다. 만약 1-D((G(z))를 직접 최소화하려고 하면, 초기 학습 단계에서 생성자에게 돌아오는 그래디언트가 매우 작아진다. 이로 인해 생성자의 학습이 매우 느리게 진행되거나 아예 멈출 수 있다. 반면 log를 사용하면 D(G(z))가 매우 작아도 그래디언트가 적절한 크기를 유지하여 학습이 원활하게 진행된다.

예를 들어  D(G(z))가 0에 가까울 때, log⁡(1−𝐷(𝐺(𝑧)) 는 큰 음수 값을 가지며, 생성자가 학습을 통해 이를 줄이려고 할 때 더 큰 그래디언트를 받게 된다. 

 

 

 

MinMax 게임

minG​maxD​V(D,G)

 

- 판별자 D는 이 함수 V(D,G)를 최대화하려고 한다. 즉, 진짜 데이터를 올바르게 진짜로, 가짜 데이터를 올바르게 가짜로 판단하도록 학습한다.

- 생성자 G는 이 함수를 최소화하려고 한다. 즉, 가짜 데이터를 진짜로 판단하도록 학습한다.

Gradient descent? Gradient ascent! 

 

생성자의 목표는 판별자가 생성된 가짜 데이터를 진짜 데이터로 분류하게 하는 것이다.

따라서 다음의 값을 최소화하려고 한다.

 

 

하지만 이 표현은 학습 초기에 그래디언트 소실 문제를 일으킬 수 있다. 위 식을 최소화하는 것 은 small grdient 를 지니고 있어 제대로 학습될 여지가 줄어든다. 

 

따라서 실제로는 다음과 같은 대안적인 손실 함수를 사용하기도 한다.

 

 

이 대안적인 접근 방식에서는 D(G(z)) 가 높아지도록 최적화한다. 즉, 생성된 가짜 데이터가 진짜 데이터로 분류될 확률을 최대화하려고 한다. 

 

 

 

log(x) 를 최대화하는 것은 상대적으로 큰 그래디언트를 지녀 제대로 학습될 수 있도록 돕는다. 

 

GAN Training Alogorithm

 

 

 

 

k step 동안 : 

 

판별자 D

 - m개의 미니배치 노이즈 샘플을 뽑는다.

- 데이터 생성 distribution Pdata(x) 로부터 m개의 샘플을 생성한다. 

- stochastic gradient를 높이는 방향으로 판별자를 업데이트한다.

 

 

생성자 G 

- m개의 미니배치 노이즈 샘플을 뽑는다.

- stochastic gradient를 낮추는 방향으로 생성자를 업데이트 한다.

 

특징

대부분의 근대 아키텍쳐는 generator 와 disciminator 가 모두 CNN 인 Deep Convolution GAN(DC-GAN) 에 기반하고 있다. '

 

- 높은 해상도의 이미지를 생성하는 데에 유용하나, distribution 을 어떻게 모델링하는지는 알기 힘들다.

- Diffusion model 의 등장으로 더 이상 사용되지 않는다.

 

 

Cycle GAN

주어진 두 도메인 간 양방향으로 이미지를 변환(Style-transfer)할 수 있는 새로운 형태의 GAN이다.

이 모델은 각 도메인에 해당하는 데이터가 pair 로 주어지지 않았을때에도 학습할 수 있다.

 

- 두개의 서로 다른 generator network 를 학습시킨다. 하나는 원본 -> 대상 으로, 나머지 하나는 대상 -> 원본 으로 변환하도록 한다. 

- 이 때, 대상 도메인에서 생성된 샘플들은 discriminator network 의 실제 이미지들과 구별이 불가능해야한다.

- generator는 cycle-consistent 하다. 원본을 대상 도메인으로 변환한 다음 다시 원본 도메인으로 변환하면 원본 이미지를 얻을 수 있다. 

 

학습 과정

 

Generator 1은 구조를 유지하면서 원본 -> 특정 도메인으로 변환하는 것을 배운다.

Generator 2는 구조를 유지하면서 특정 도메인 -> 원본으로 변환하는 것을 배운다.

 

그리고 Generator 는 원본 이미지와 재생성된 이미지 간의 차이인 reconstruction loss 를 최소화하도록 학습된다.

그리고 Disciminator 는 실제(real) 샘플와 생성된 샘플을 분별하는 역할을 한다. 

본 과정을 반복하면서 그럴듯한 스타일 변환 이미지를 얻을 수 있게 된다.

 

 

활용

Cycle GAN은 주로 이미지 변환 작업에 적용되며, 예를 들어 얼굴 사진에서 그림으로 변환하거나 여름 풍경 사진을 겨울 풍경 사진으로 변환하는 등의 작업에 사용된다. 또한, Cycle GAN은 데이터 증강(Data Augmentation) 및 스타일 전송(Style Transfer)과 같은 응용 분야에서도 활용될 수 있다.