Blue collar Developer Blue collar Developer

DeepLearning

• [논문공부] Denoising Diffusion Probabilistic Models (DDPM) 설명 2

  Deep-learning 2021. 7. 10. 02:45

  ─ 들어가며 ─ 이 포스트는 DDPM 설명 1(링크)의 후속 포스트로 학습 방법 및 결과에 대한 포스트(완)입니다. 이론적인 내용과 간략한 설명은 이전 포스트를 확인해주세요 DDPM post1 의 2번 항목에서에서 도출한 loss function은 ①은 VAE의 KL divergence와 비슷한 term이고, ②는 reverse process와 diffusion process의 분포를 매칭시키는(KL divergence를 낮추는) loss이고 ③은 reverse process의 마지막 과정으로, VAE의 reconstruction loss에 대응되는 term이라고 볼 수 있습니다. 3. Loss 설명 및 training technique 이 loss term을 최적화시키는 방법, 그리고 더 좋은 gene..

  Read More
• [이거 어떡하지] RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)`원인 및 해결법(pytorch)

  Pytorch 2021. 6. 5. 03:02

  pytorch로 딥러닝 모델을 설계후 학습을 진행하다보면 RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)` 라는 메시지가 발생할 때가 있습니다. CUDA 관련된 문제로는 속썩을 만한 타이밍이 아닐때 해당 코드를 보게 되어 난처하실 경우가 많을 것입니다. 원인 및 해결책: GPU로 학습하는 환경에서 설계하신 모델에 torch.nn.Embedding()이 포함되어 있으실 것입니다. torch.nn.Embedding(num_input, output_dimension) num_input이 입력하는 token의 종류 수가 될 것인데 예를 들어 num_input이 128인경우 입력으로 0~127까지의 int..

  Read More