安装:
pip3 install pytest-rerunfailures
重新运行所有失败用例
要重新运行所有测试失败的用例,请使用--reruns
命令行选项,并指定要运行测试的最大次数:
$ pytest --reruns 5
添加重新运行的延时
要在两次重试之间添加延迟时间,请使用--reruns-delay
命令行选项,其中包含您希望在下一次测试重试开始之前等待的秒数:
$ pytest --reruns 5 --reruns-delay 1
重新运行指定的测试用例
要将个别测试用例标记为不稳定,并让它们在失败时自动重新运行,添加flaky
标记与您希望测试运行的最大次数:
@pytest.mark.flaky(reruns=5)
def test_example():
print(1/0)
执行结果
test2.py::test_example RERUN [100%]
test2.py::test_example RERUN [100%]
test2.py::test_example RERUN [100%]
test2.py::test_example RERUN [100%]
test2.py::test_example RERUN [100%]
test2.py::test_example FAILED [100%]
test2.py:26 (test_example)
@pytest.mark.flaky(reruns=5)
def test_example():
> print(1/0)
E ZeroDivisionError: division by zero
test2.py:29: ZeroDivisionError
同样的,这个也可以指定重新运行的等待时间
@pytest.mark.flaky(reruns=5, reruns_delay=1)
def test_example():
print(1/0)
输出示例
这是使用--reruns 2
和-r aR
运行时插件提供的输出示例
test2.py ⨯ 100% ██████████
=============================================================================================== rerun test summary info ================================================================================================
RERUN test2.py::test_example
RERUN test2.py::test_example
=============================================================================================== short test summary info ================================================================================================
FAILED test2.py::test_example - ZeroDivisionError: division by zero
Results (0.14s):
1 failed
- test2.py:28 test_example
2 rerun
注意事项
如果指定了用例的重新运行次数,则在命令行添加--reruns对这些用例是不会生效的
兼容性
- 这个插件可能不与类,模块和封装级夹具一起使用。
- 该插件与pytest-xdist的–looponfail标志不兼容。
- 该插件与核心–pdb标志不兼容