CNN 모델을 compile 하는데 다음과 같은 에러가 발생했다.
UnknownError : Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above.
찾아보니 메모리가 부족하다는것 같아서 열려있는 쥬피터 노트북들을 셧다운 시켜주었다. 셧다운 시키는 방법은
초록색이면 현재 돌아가거나 열려있는 노트북이라는 뜻으로 완전히 닫아주려면 체크해준후 shutdown을 눌러주면 된다.
그렇게 정리를 해주고 돌리니 compile 부분 언노운 에러는 해결되었다. 그러나 fit에서 다시 에러가 생겼다.
ResourceExhaustedError: OOM when allocating tensor with shape ~~
resourceexhausted라 이름부터 메모리 부족하다고 외치고 있는것 같다 ㅋㅋㅋㅋㅋ
분명 난 다 셧다운 시켰고 메모리 정리를 시켜준 것 같은데 gpu도 좋다는거 쓰고 있는데 이게 무슨일일까 그 정도로 모델이 무거운가?? 생각하면서 터미널에서 nvidia-smi로 memory usage를 체크해봤다.
거의 전부를 다쓰고 있는게 아닌가..! 알고 보니 숨겨진 노트북이 있었고 그것도 셧다운 시켜주니 정리가 되었고 잘 돌아갔다 (gpu 더 달고 싶다.. 교수님 들리시나여.......?)
