딥러닝
-
[논문 리뷰] Perceiver AR: general-purpose, long-context autoregressive generation ICML 2022Deep-learning 2022. 9. 27. 11:39
─ 들어가며 ─ Deep mind에서 이번 ICML에 나온 perceiver AR 논문 리뷰입니다. Transformer를 사용한 Autoregressive generation에서 매우 긴 길이에 대해서 memory efficient하게 좋은 성능을 내도록 개량한 모델입니다. Transformer는 sequence modeling을 굉장히 잘 하는 모델로 이미 소문이 나 있습니다. 다만, sequence 길이가 길어질수록 sequence 길이의 제곱에 비례하는 memory가 필요하다는 단점이 있습니다. 따라서, 긴 길이의 sequence modeling은 큰 기업에서나 넘볼 수 있는 수준이었고, 그것도 책 정도로 아주 긴 길이에서는 한번에 학습이 불가능하고 context를 임의로 나누는 것이 불가피하다고..
-
[논문공부] Denoising Diffusion Probabilistic Models (DDPM) 설명Deep-learning 2021. 7. 9. 21:51
─ 들어가며 ─ 심심할때마다 아카이브에서 머신러닝 카테고리에서 그날 올라온 논문들이랑 paperswithcode를 봅니다. 아카이브 추세나 ICLR, ICML 등 주변 지인들 학회 쓰는거 보니까 이번 상반기에는 diffusion model을 많이 변형해서 쓰고 있었습니다. 이전까지는 그런게 있나보다 하고 그냥 새로운 generative model중 하나겠거니 하고 잠깐의 유행이겠거니 하고 넘겼는데 paperswithcode에 어느날 이런게 하나 올라옵니다. https://paperswithcode.com/paper/diffusion-models-beat-gans-on-image-synthesis Papers with Code - Diffusion Models Beat GANs on Image Synthe..