1. TestNG API
本章节将讨论如何使用TestNG API来创建自己的TestNG对象。TestNG的API基本由接口组成,这样做是为了容易模拟TestNG返回的对象。
1.1 org.testng.TestNG、ITestResult、ITestListener、ITestNGMethod
TestNG类是TestNG的的主入口,它让我们指定测试类,指定包含的分组或排除的分组,指定要执行的XML文件等。
public static void mian(String[] args){
TestNG tng = new TestNG();
tng.setTestClasses(new Class[]{ MyTest.class});
TestListenerAdapter listener = new TestListenerAdapter();
tng.addListener(listener);
tng.run();
log("PASSED:" + listener.getPassedTests().size());
}
这里TestListenerAdapter类提供了ITestListener接口的一个简单实现。这里使用TestListenerAdapter的另一项功能:记录所有通过的测试案例数量。
通过TestListenerAdapter可以方便的获取结果的程序清单,如果需要为这个类添加功能,又保留测试结果程序清单,则可以调用被覆盖方法的super()方法,如下所示:
public class MyTestListener extends TestListenerAdapter{
public void onTestSuccess(ITestResult result){
super.onTestSuccess(result);
//do you own processing
}
}
TestListenerAdapter 保存了测试结果:
public List<ITestResult> getPassedTests()
public List<ITestResult> getFailedTests()
public List<ITestResult> getSkippedTests()
ITestResult 接口能让我们获取某个测试状态、测试方法、参数,以及开始时间和结束时间:
public void onTestSuccess(ITestResult iTestResult) {
long time =
(iTestResult.getEndMillis() - iTestResult.getStartMillis());
log("Success, method:" + iTestResult.getMethod()
+" #parameters:"+iTestResult.getParameters().length
+ " time:" + time);
}
ITestResult# getResult 返回一个ITestNGMethod,这个是TestNG对测试方法的一个视图。从这个对象我们可以获得TestNG对象当前调用的原始java.lang.reflact.Method, 并获得其他信息,如:
- 分组/方法信息(这个方法所属的分组,它依赖的分组和方法)。
- 调用的次数,线程池的大小以及超时设置。
- 这个方法是否是一个配置方法(@Before/@After), 它是哪一种配置方法:
ITestNGMethod method = iTestResult.getMethod();
log(" Method:"+method.getMethodName()
+" invocationCount:" +method.getInvocationCount()
+" #groups:"+method.getGroups().length
+" timeOut:"+method.getTimeOut());
1.2 XML API
TestNG提供了一个简单的接口,让我们访问自己的testng.xml, 甚至可以从头创建它。与XML API相关的这些类在org.testng.xml中,每个XML标签都有一个对应的类:
标签 |
类名 |
<suite> | XmlSuite |
<test> | XmlTest |
<package> | XmlPackage |
<class> | XmlClass |
<method-selector> | XmlMethodSelector |
xml 文件如下:
<suite name="testng" verbose="1" thread-count="2">
<parameter name="first-name" value="cedric" />
<test name="Regression 1">
<group>
<run>
<exclude name="excludeThisGroup"/>
</run>
</group>
<classes>
<class name="test.parameter.test1" />
<class name="test.parameter.test2" />
</classes>
</test>
</suite>
XmlSuite的值:
方法 | 返回结果 |
getName() | testng |
getVerbose() | true |
getThreadCount() | 2 |
getParameters() | Map<String, String>:{“first-name”=>”cedric”} |
geTests() | List<XmlTest> |
XmlTest的值:
方法 | 返回结果 |
getName() | Regression1 |
getIncludeGroups() | {} |
getExcludeGroups() | List<String>:{“excludeThisGroup”} |
getXmlClasses | List<XmlClasses>:{ “test.parameter.test1”, ”test.parameter.test2” } |
geTests() | List<XmlTest> |
1.3
生成xml文件
XmlSuite suite = new XmlSuite();
suite.setName("TestNG");
suite.setVerbose(1);
suite.setThreadCount(2);
Map<String, String> parameters = new HashMap<String, String>();
parameters.put("first-name", "credic");
suite.setParameters(parameters); XmlTest test = new XmlTest(suite);
test.setName("regression1");
test.setExcludedGroups(Arrays.asList(new String[]{"excludedGroup"})); XmlClass[] classes = new XmlClass[]{
new XmlClass("test.parameters.test1"),
new XmlClass("test.parameters.test1"),
};
test.setXmlClasses(Arrays.asList(classes); TestNG tng = new TestNG();
//指定xml路径方式
tng.setTestSuites(Arrays.asList(new String[]{
"testng.xml","test-15/testng.xml"}))
//使用当前生成的文件
tng.setXmlSuites(Arrays.asList(new XmlSuite[]{ suite }));
tng.run();
2. 方法选择器:
Testng通过方法选择器(IMethodSelector)来决定在执行测试时,包含或排除哪些方法。
TestNG的默认方法选择器:XmlMethodSelector,它会根据testng.xml中的内容来实现决定逻辑,它的优先级为10.
- 如果希望你自己的选择器先调用,则可以把优先级设为0~9.
- 如果先考虑testng.xml, 则把优先级设置为大于10.
- 如果希望自己的方法选择器替换所有默认的方法,将优先级设置为负数。在这种情况下只有带负数优先级的方法选择器会生效。
- 方法选择器直接是OR的关系:即一个方法选择器对某个测试方法返回true,则这个测试方法就会包含在这次执行中,否则,具有下一个优先级的方法选择器会被调用(0排在10前面)。如果没有方法选择器则返回true,这个测试方法不会执行。
3 annotation转换器(annotationTransformer)
用户实现annotation转换器,是为了覆盖TestNG在运行时看到的annotation。
public void InvocationTransform implements IAnnotationTransformer{
public void transform(ITest test, class cls, Constructor con, Method method){
if("two".equals(method.getName()){
test.setInvocationCount(2);
}else if("three".equals(method.getName()){
test.setInvocationCount(3);
}
}
}
其他用法:
- timeout:修改测试方法的超时设置;
- enabled:修改 @Test annotation上的enabled标识。
- invocationCount:用于多线程环境或负载测试。
- threadPoolSize:annotation可以查询本地信息(处理器个数,可用堆大小或计算机负载),然后增加或减少线程池的大小。
- successPercentage:和invocationCount一起使用,允许一定的失败比例。
- dataprovider:在运行时修改数据提供者的名称。用于数据提供者本身执行动态判断。
- description:用于HTML报告生成。
- group:可以进行基于环境的变量分组调整。
- dependsOnGroups/dependsOnMethod/alwaysRun:这些属性会直接影响执行顺序,请尽量避免使用annotation转换器来修改他们。
4. 报告api
4.1 默认报告:
默认报告生成在./test-output目录下
4.2 报告api
- 利用org.testng.Reporter类,向默认报告添加定制信息。
- ITestListener 是一个实现了org.testng.ITestListener接口的类,其中的onStart()和onFinish() 分别在testSuite开始和结束时被调用。onTest*开头的方法在测试方法被执行时调用。
- IReporter 实现了org.testng.IReporter接口