[논문분석]
한줄요약 ✔
- Noise를 점점 더해가는 forward process \(q\), 그리고 noise(\(X_T\))로 부터 data(\(X_0\))를 조금씩 복원하는 reverse process \(p\)를 학습한다.
- \(p\): Image generator.
- \(q\): 학습 대상 X.
Preliminaries 🍱
Markov Chain
- 특정 상태의 확률은 오직 바로 직전 과거의 상태에 의존한다.
Generative Models
Challenges and Main Idea💣
NA
Problem Definition ❤️
Proposed Method 🧿
Forward Process
\(q(x_{1:\Tau} \vert x_0) := \prod^{\Tau}_{t=1} q(x_t \vert x_{t-1})\)
- Markov Chain:
- \(q(x_{\Tau}):=q(x_{\Tau} \vert x_{\Tau-1},x_0)\).
- \(x_0\)에서 시작하여 \(x_{\Tau}\)의 상태는 바로 직전 시점인 \(x_{\Tau-1}\)에 기인한다.
- \(q(x_{\Tau}):=q(x_{\Tau} \vert x_{\Tau-1},x_0)\).
- \(q(x_t \vert x_{t-1}) := \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1},\beta_t \bf{I})\) .
- \(\beta_t\): \(t\) 시점에서 가할 noise 정도.
- \(\mathcal{N}\): \(\sqrt{1-\beta_t}\) 만큼 \(x_{t-1}\) 시점의 정보를 반영하고, \(\beta_t\) 만큼 noise가 부여된 \(x_t\) 시점의 정규 분포.
- \(x_t=\sqrt{\alpha_t} x_{t-1}+\sqrt{1-\alpha_t} \epsilon_{t-1}=\ldots=\sqrt{\bar{\alpha_t}}x_0+\sqrt{1-\bar{\alpha}_t}\epsilon\) .
- \(q(x_t \vert x_0)=\mathcal{N}(x_t; \sqrt{\bar{\alpha}_t} x_0, (1-\bar{\alpha}_t)\bf{I})\).
- \(\bar{\alpha}_t=\prod^t_{i=1} \alpha_i\).
- \(\alpha_t=1-\beta_t\).
- \(\epsilon\): standard variance.
- \(q(x_t \vert x_0)=\mathcal{N}(x_t; \sqrt{\bar{\alpha}_t} x_0, (1-\bar{\alpha}_t)\bf{I})\).
Backward Process
\(p_{\theta}(x_{0:\Tau}) :=p(x_{\Tau}) \prod^{\Tau}_{t=1} p_{\theta}(x_{t-1} \vert x_t)\)
- \(p(x_{\Tau})=\mathcal{N}(x_{\Tau};0,\bf{I})\); 시작 시점.
-
\[p_{\theta}(x_{t-1} \vert x_t) := \mathcal{N}(x_{t-1}; \bf{\mu}_{\theta}(x_t, t), \Sigma_{\theta}(x_t,t))\]
- \(\bf{\mu}_{\theta}\), \(\Sigma_{\theta}\): 학습 가능한 파라미터.
Loss Function
Experiment 👀
NA
Open Reivew 💗
NA
Discussion 🍟
NA
Major Takeaways 😃
NA
Conclusion ✨
NA
댓글남기기