2021-04-28 AIstduio & google colab pro上手

AIstduio & google colab pro上手

aistdio

            攻略1)关注100+ 快速得到每周140小时限额 GPU算时

            攻略2)每个月参加大赛领算力

colab pro :

花了钱也有限额很难受

根据我最近的经验,尽量不要在下午使用GPU,可能是下午的GPU的资源比较紧张,这个时间使用会花费较多的使用量。我开了Pro的具体使用时间为:
8:30-14:30 如果前一天用到凌晨两点左右则第二天上午12点可能就会被限制,前一天用的比较少的话可以用到下午三点左右,

下午3点-4点尽量不要用,这段时间会花费较多的使用量。

16:06-24:00 我也不知道为啥是16:06,如果最近用的比较多,下午两三点开始会被禁用,每次这个时间后才会被解禁
 

攻略1)要训练大数据集 wget 下载到.local本地 调用训练数据集

#如果大数据集在drive train模型调用 drive下的训练集会加载很慢,一开始我以为是Dataloader线程的问题,因为colab cpu gpu利用率不高。查了发现是dataset 得放在/content/ 下,要不然gpu得等cpu加载数据,cpu 得等 colab 加载drive路径的 data 。就会出现 GPU读到一个batch后100% 大多时候是0%,放到/content/ 一直100%

坏处:每次都得wget 到/content/ 浪费GPU配额时间

tips:cp drive/  /content/ 把drive的数据集复制到/content/速度最慢 

wget 最快

最好外网的 下载链接 国内的链接反而慢

攻略2)模型保存到 drive/models

 

 

 

 

上一篇:centOs7下安装 MinIo(文件存储系统)


下一篇:带你读《SAS数据分析开发之道 软件质量的维度》第三章通信交流3.2系统数字返回码(四)