性能测试
什么是性能测试?
性能测试就是使用自动化的工具,模拟不同的场景,对软件的各项性能指标进行测试和评估
软件的范围:
后台处理程序(开发写的代码)
中间件(应用服务器)、数据库、程序架构等等
服务器资源的消耗(cpu、内存、磁盘、网络)
性能测试的目的:
1、评估当前的系统能力 验收第三方提供的软件获取关键的性能指标,与同类型的软件对比(例如:跑分)
2、发现性能问题后,寻找性能瓶颈,优化性能(例如:12306春运时的服务故障)
3、评估软件能否满足未来性能需求(例如:淘宝11在2020年的销售额)
性能测试和功能测试的区别
焦点:
功能:关注系统对用户需求规则的满足程度。关注点(正向、逆向)
性能:关注系统对用户业务场景的满足程度。关注点(时间、资源)
关系:
在一个项目中,功能测试和性能测试一般都有
功能测试通过后,才进行性能测试
为什么要进行性能测试?
业务需求
大量?户下,系统能否稳定运?(?较多的)
?于硬件服务器的选型
?于软件技术的选型
招聘需求
性能的关注点:
性能(即效率)
时间特性:服务器处理?户请求的响应时间(卡/不卡)
资源特性:软件在运?时,对于服务器资源的消耗情况
CPU、内存、磁盘等
性能测试的分类:
基准测试
负载测试
稳定性测试
基准测试:
狭义上讲:单个?户进?业务场景的测试,并统计性能的各项指标(为后续多?户性能测试做参考对?)
?义上讲:在某?个时刻进?性能测试建??个已知的性能?平,当软硬件发?变化时再测试,观察变化对于性能产?的影响
负载测试
通过逐步增加系统负载量,测试系统性能的变化,在满?性能指标的前提下,系统所能够承受的最?负载量的测试。
通过负载测试,?般能找到系统的最优负载和最?负载。
最?负载?般项?组内部知晓,不会对外公布。
普通?户看到的系统的最?能?,?般都是测试得到的最优负载。
稳定性测试:
在服务器稳定运?(业务正常的负载量)的情况下,进??时间的测试,保证服务器能够正常运?。
?时间:1天、1周
其他分类:
并发测试:
系统在短时间内同时处理?量请求,查看系统的并发处理能?。
压力测试:
测试系统在强负载的情况下,测试系统在峰值情况下的操作,是否具有良好的容错能?及错误的恢复能?。
稳定性压?测试:在系统?负载的情况下(接近C点),?时间运?(24?时),查看系统的处理能力,
破坏性压?测试:在系统极限负载的情况下(C-D点),对系统进?压?测试,查看系统容错能?和错 误恢复能?。
容量测试:
关注系统在极限情况下的各种极限参数值。
性能测试的指标
指标
在性能测试的过程中,记录的?系列的数据值。?这些实际记录的数据值与需求中的性能要求做 对?,
达成需求要求则?问题;未达到需求要求则说明是性能bug。
常见的性能指标:
响应时间
并发数
吞吐量
错误率
点击数
资源利用率
响应时间:
客户端发送请求,到客户端收到服务器返回的响应,过程中所经历的全部时间,都是响应时间 响应时间 = 应?程序处理时间(A1+A2+A3) + ?络传输时间(N1+N2+N3+N4)
吞吐量:
英?为Throughput,单位时间内,系统处理客户端请求的数量。衡量服务器性能好坏的直接指标。 从不同维度来描述:
业务维度: 业务数/秒,业务数/?时,业务数/天
?络维度:字节数/秒,字节数/?时,字节数/天
技术维度:TPS(每秒事务数)、QPS(每秒请求数)
QPS:服务器每秒钟处理的接?请求数量。(?个服务器中有多个接?,QPS指的是所有接?在同一个单位时间内的接?处理数量之和)
TPS:服务器每秒钟处理的事务请求数量。(?个事务通常指的是界?上的?个操作。?个事务可以包含?个或者多个接?请求。)
注意:
对于登录事务??:当TPS为10时,服务器的QPS也是10
对于?付事务??:当TPS为10时,服务器的QPS就是30
点击数:
点击数不是指在??上的?次点击。 指的是??(html代码、图?、js。。。)加载时,向服务器发送
的请求数量 可以?每秒点击数来衡量web服务器的处理能?。
错误率:
错误率不是功能有错误或者bug ,指的是在系统?负载的情况下,业务失败的次数/业务的总次数 *100%
资源利?率:
计算机各个硬件资源的使?情况,?般建议
cpu不?于80%(±5)
内存不?于80%
磁盘不?于90%
?络不?于80%
性能测试的流程:
需求分析:
熟悉被测系统
熟悉系统的业务功能
熟悉系统的技术架构
明确性能测试内容
从业务?度,挑选核?业务进?测试
从技术?度,挑选逻辑复杂度?、数据量?的业务进?测试
确定测试策略
负载测试、稳定性
确定性能测试指标
有需求:按照需求来测试
没有需求:同类型软件对?,对未来数据进?预估
性能测试计划:
从模板内容来说,与功能测试基本?致,主要就是写清楚谁来做、怎么做。 主要内容:
1、项?背景 —— 简介
2、测试?的
3、测试范围 —— 对于需求分析中的性能测试内容
4、测试策略 —— 对应于需求分析中的测试策略、
5、?险控制 —— 技术?险、???险
6、交付清单 —— 每个阶段的产出物
7、进度和分? —— 谁在什么时候做什么事
性能测试用例:
要素:?例标题、?例编号、?例预制条件、?例步骤、?例预期结果、?例实际结果
(实际结果:需要监控的各项性能指标)
性能测试执行:
测试脚本的编写/录制
建?测试环境 ——竟可能与?户的环境?致 执?测试脚本
性能测试监控 —— 与测试脚本执?同时进?
性能分析和调优
测试?员只需要确定是否存在性能bug,有bug则提缺陷报告
问题分析和调优由开发?员来完成,测试?员配合验证调优结果(可能需要经过多轮验证)
性能测试报告:
1、性能测试的过程记录,性能测试发现的问题、分析
2、性能测试过程中的?险,当前是否存在?险
3、给出性能测试结论(通过/不通过),经验和教训。