DDPM
-
[논문공부] Denoising Diffusion Probabilistic Models (DDPM) 설명 2Deep-learning 2021. 7. 10. 02:45
─ 들어가며 ─ 이 포스트는 DDPM 설명 1(링크)의 후속 포스트로 학습 방법 및 결과에 대한 포스트(완)입니다. 이론적인 내용과 간략한 설명은 이전 포스트를 확인해주세요 DDPM post1 의 2번 항목에서에서 도출한 loss function은 ①은 VAE의 KL divergence와 비슷한 term이고, ②는 reverse process와 diffusion process의 분포를 매칭시키는(KL divergence를 낮추는) loss이고 ③은 reverse process의 마지막 과정으로, VAE의 reconstruction loss에 대응되는 term이라고 볼 수 있습니다. 3. Loss 설명 및 training technique 이 loss term을 최적화시키는 방법, 그리고 더 좋은 gene..
-
[논문공부] Denoising Diffusion Probabilistic Models (DDPM) 설명Deep-learning 2021. 7. 9. 21:51
─ 들어가며 ─ 심심할때마다 아카이브에서 머신러닝 카테고리에서 그날 올라온 논문들이랑 paperswithcode를 봅니다. 아카이브 추세나 ICLR, ICML 등 주변 지인들 학회 쓰는거 보니까 이번 상반기에는 diffusion model을 많이 변형해서 쓰고 있었습니다. 이전까지는 그런게 있나보다 하고 그냥 새로운 generative model중 하나겠거니 하고 잠깐의 유행이겠거니 하고 넘겼는데 paperswithcode에 어느날 이런게 하나 올라옵니다. https://paperswithcode.com/paper/diffusion-models-beat-gans-on-image-synthesis Papers with Code - Diffusion Models Beat GANs on Image Synthe..