Simple Diffusion Image generate Model

 

Diffusion 모델은 이미지 생성 모델로 가장 주목받고 있는 모델 중 하나이다. 

다양한 요구조건에 맞는 고화질 이미지를 생성할 수 있을 뿐더러

학습 데이터에 없는 형태의 이미지들도 입력으로 주어진 Text가 묘사하는 대로 이미지를 생성할 수 있다.

 

그렇다면, Diffusion 모델은 어떻게 새로운 이미지를 생성해내는 것일까?

이를 위해 먼저 가우시안 분포와 확산 과정(diffusion processes)이 무엇인지 이해해보자.

 

가우시안 분포란?

 

많은 자연 현상과 데이터가 이 분포를 따르고 있으며, 정규분포라고도 불린다. 

연속 확률 분포의 하나로,

가 다음과 같이 정의된다. 

• x : 변수
• μ : 평균(mean)
• σ2 : 분산(variance)
• σ : 표준 편차(standard deviation)

가우시안 분포는 중심 극한 정리에 의해 큰 표본의 평균이 가우시안 분포에 가까워지는 특성을 가지므로 통계적 추론에서 중요한 역할을 한다. 

 

📌 중심 극한 정리란?

충분히 큰 표본 크기를 가진 독립적이고 동일하게 분포된 무작위 변수들의 합이나 평균은 원래 분포의 형태에 상관없이 가우시안 분포(정규 분포)에 근접하게 된다. 

 

• 약 68%의 데이터가 평균에서 표준 편차 1 이내에 존재
• 약 95%의 데이터가 평균에서 표준 편차 2 이내에 존재
• 약 99.7%의 데이터가 평균에서 표준 편차 3 이내에 존재

=> 통계적 추론에서 표본 평균을 사용하여 모수(평균, 분산 등)를 추정할 때 유용하다. 전반적으로 가우시안 분포는 디퓨전 모델에서 노이즈를 추가하고 제거하는 데 사용되는 확률 분포로, 모델이 데이터의 복원 과정을 학습하고 수행하는 데 중요한 역할을 한다. 

 

 

Diffusion Process 

 

확산 과정(diffusion processes)은 거의 확실하게 연속적인 샘플 경로를 가지는 연속 시간 *마르코프 체인(Markov chain)의 한 유형

이다. 확산 과정은 본질적으로 확률적이기 때문에 많은 현실의 확률적 시스템을 모델링하는 데 사용된다. 확률적 시스템의 시간에 따른 변화를 설명하는 데 사용되는 모델이며 시간에 따라 무작위로 변화하고, 이 변화는 연속적이다.

 

*각 사건의 확률이 이전 사건에서 달성된 상태에만 의존하는 일련의 가능한 사건을 설명하는 확률 모델이다. 현재 상태만이 미래 상태에 영향을 미친다는 성질을 가진다.

 

 

초기 이미지가 일련의 분자들로 이루어져 있다고 가정하고, 그림을 구성하는 분자들 중 하나의 분자에 초점을 맞추어 아주 짧은 시간 단위로 스냅샷을 찍었다고 상상한다면, 그 분자는 아래와 같이 움직일 것이다. 그리고 이러한 분자의 움직임은 가우시안 분포(Gaussian Distribution)을 따른다.

 

 

 

즉, 평균 μ 과 표준 편차 σ를 따르는 정규분포로 움직임을 표현할 수 있다. 그렇다면, 만일 매시간 t 마다 각 분자의 움직임을 계산해낼 수 있다면 어떨까? 다음과 같이 Diffusion 과정을 거꾸로 되돌릴 수 있을 것이다.

 

 

 

그리고 지금까지의 과정을 그대로 Image 의 Pixel 값에 적용해보겠다. 우리는 분자의 움직임을 정규 분포를 따르는 Noise 로 보았기 때문에, 초기 Image 의 Pixel 값에 정규 분포를 따르는 Noise 값을 추가한다고 생각해보겠다. 

 

 

 

그렇다면 Diffusion Process 는 다음과 같은 형태로 표현될 것이다. 

 

 

왼쪽이 원본이미지이고 이 이미지의 모든 픽셀 값에 Noise 를 추가해서 만들어진 결과 이미지가 오른쪽과 같다. 

이제 이 과정을 매우 많이 반복하면 다음과 같이 표현된다.

 

 

이 과정은 Diffusion Process 의 Forward 과정이라고 말할 수 있다. 이미지 X0로부터 모든 픽셀 값에 시간 t마다 Noise 를 첨가해주는 Process 이다. 이렇게 아주 긴 시간 T번을 거쳐 만들어진 이미지 Xt 는 완전한 노이즈 이미지가 된다. 

 

아까, 매 시간 t에서 첨가된 Noise를 계산할 수 있다면 과정을 되돌릴 수 있다고 했었다. 

 

 

 

따라서 시간 t마다 이미지 픽셀 값에 첨가된 Noise 값을 계산할 수 있다면 랜덤한 이미지 Xt 로부터 진짜 이미지 X0로 되돌리는 것이 가능해질 것이다.

 

Denoising Diffusion models

 

 

1. Forward diffusion process : 데이터에 점진적으로 노이즈를 추가하는 전방 과정

2. Reverse denoising process : 그 노이즈를 점진적으로 제거(denoise)하여 원래 데이터를 복원하는 역방향 과정

 

 

전방 과정

: 원래 데이터 X0 에 점진적으로 노이즈를 더하여, 여러단계 t 를 거쳐 완전히 노이즈화 된 데이터 XT 를 생성한다.

전방 과정의 학습이 필요한 이유는, 추후 역방향 과정 학습에 본 정보가 이용되기 때문이다. 

 

역방향 과정 

 

: 완전히 노이즈화된 데이터 Xt 에서 시작하여, 점진적으로 노이즈를 제거하면서 원래 데이터 X0 를 복원한다. 

 

 

학습 목표

 

Diffusion 모델의 학습은 전방 과정과 역방향 과정의 차이를 최소화하는 것을 목표로 한다. 

즉, 모델이 전방 과정에서 추가된 노이즈를 얼마나 잘 제거할 수 있는지를 학습한다. 

이를 위해 다음과 같은 손실 함수를 사용하며, 모델이 예측한 노이즈가 실제 노이즈와 얼마나 가까운지를 측정한다. 

 

 

 

Ref

 

https://arxiv.org/abs/2006.11239

https://github.com/hojonathanho/diffusion