[pytorch] runtime error : cuda error

간혹 torch 사용 시에 다음과 같은 처음 보는 긴 오류가 발생할 때가 있다.

본인은 Roberta 사용 시에 보게 되었다.

 

runtime error : cuda error : cublas_status_not_supported when calling 'cublassgemmstridedbatched( handle, opb, m, n, k, &alpha, a, lda, stridea, b, ldb, strdeb, &beta, c , ldc, stridec, num_batches)'

 

처음 보기도 했고, 무슨 소리인지 전혀 이해가 가지 않았고, 검색했을 때도 조금씩 다른 오류를 언급하여 한참을 들여다 보았다.

 

이 오류는 가장 단순하게는 batch_size가 너무 커서 cuda가 용량을 벗어났을 때 나온다고 한다.

batch_size를 32로 사용하였기에, 4로 확 줄여서 사용하였을 때 코드가 돌아갔다. 혹시나 batch_size를 바꾸었는데도 안된다면, restart를 하는 것도 방법이다. 

만약 이게 되지 않는다면, 자신의 torch가 버전이 잘 맞게 cuda를 사용하는지 한번 더 확인해보아야한다.