torch.nn.Embedding
-
[이거 어떡하지] RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling cublasCreate(hand≤)원인 및 해결법(pytorch)Pytorch 2021. 6. 5. 03:02
pytorch로 딥러닝 모델을 설계후 학습을 진행하다보면 RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling cublasCreate(hand≤) 라는 메시지가 발생할 때가 있습니다. CUDA 관련된 문제로는 속썩을 만한 타이밍이 아닐때 해당 코드를 보게 되어 난처하실 경우가 많을 것입니다. 원인 및 해결책: GPU로 학습하는 환경에서 설계하신 모델에 torch.nn.Embedding()이 포함되어 있으실 것입니다. torch.nn.Embedding(num_input, output_dimension) num_input이 입력하는 token의 종류 수가 될 것인데 예를 들어 num_input이 128인경우 입력으로 0~127까지의 int..