在运行maskrcnn时,会碰到训练不动的问题,就卡在这儿
UserWarning: Converting sparse IndexedSlices to a dense Tensor of unknown shape. This may consume a large amount of memory.
"Converting sparse IndexedSlices to a dense Tensor of unknown shape. "
Epoch 1/10
image_id 31
然后根据一些博主建议,用最新的mrcnn代码代码试了试,这回会报错了
Failed to get device properties, error code:
然后用nvidia-smi在cmd试了试,果然GPU又挂了,之前就一直出现GPU训练一次后会挂掉,必须重启电脑才行
Unable to determine the device handle for GPU ::00.0: GPU is lost.
查询一些博客才知道可能是CUDA版本和驱动问题,我觉得我CUDA应该没问题,用的9.2版本,那就改驱动吧
把驱动更新退回上一次更新的版本就可以正常运行了,这么一个小问题花了三天时间,都是泪啊,主要是碰到这个问题的人太少了。退回后我的显卡驱动版本是398.27