使用pycrawlers下载huggingface报错list index out of range问题解决

使用pycrawlers下载huggingface失败

错误:list index out of range
问题描述:当批量下载整个huggingface仓库的时候会报错,并且没有报错提示
分析:应该是哪个链接请求结果不存在数据
结果:当下载仓库存在文件夹下面只有文件夹,没有一个文件的时候会报错。
解决:进入pycrawlers内部更改源代码,加上一个退出条件解决。

在这里插入图片描述

上一篇:Python 正则表达式进阶用法:边界匹配