网络互联设备的基准测试术语
摘要
本备忘录讨论并定义了用于描述性能基准测试和此类测试结果的一些术语。本备忘录中定义的术语将在其他备忘录中使用，以定义特定的基准测试以及报告每个测试结果时使用的建议格式。本备忘录是互联网工程任务组（IETF）基准方法工作组（BMWG）的产品。
1、引言
供应商经常从事“眼镜精神”，试图让他们的产品在市场上有一个更好的地位。这通常涉及“烟雾和镜子”，以迷惑产品的潜在用户。本备忘录和后续备忘录试图定义一组特定的术语和测试，供应商可以使用这些术语和测试来测量和报告网络设备的性能特性。这将为用户提供来自不同供应商的可比数据，用于评估这些设备。
2、定义的格式
待定义的术语（例如延迟）
定义：
该术语的具体定义。
讨论：
对术语、应用和测量程序的任何限制进行简要讨论。
测量单位：
用于报告本术语测量值的单位（如适用）。
问题：
影响此术语的问题或条件的列表。
相关参考：
与本术语讨论相关的其他术语列表。
3、术语定义
3.1、Back-to-back
定义：
固定长度的帧，从空闲状态开始，在短到中期时间段内，以给定媒介在帧之间具有最小合法间隔的速率呈现。（以最小合法帧间隙的速率在指定媒介上传输帧？？）
讨论：
网络上越来越多的设备可以产生背靠背帧的突发，可以配置使用NFS等协议的远程磁盘服务器、rdump等远程磁盘备份系统和远程磁带访问系统，以便单个请求可以返回多达64K个字节的数据块。在像以太网这样的网络上，MTU相对较小，这会导致许多片段被传输。由于只有在接收到所有片段的情况下才会尝试片段重组，因此由于某些中间网络设备无法处理足够的连续帧而导致的甚至一个片段的丢失可能会导致无休止的循环，因为发送方反复尝试发送其大数据块。
随着互联网规模的不断扩大，路由更新可以跨越多个帧，现代路由器能够非常快速地传输。丢失的路由信息帧会产生不可到达性的错误指示，此参数的测试旨在确定设备中数据缓冲的范围。
测量单位：
突发中的N字节的帧数量。
问题：
无
相关参考：
无
3.2、Bridge
定义：
一种根据数据链路层中的信息转发数据帧的系统。
讨论：
无
测量单位：
无
问题：
无
相关参考：
bridge/router (3.3)
router (3.15)
3.3、bridge/router
定义：
网桥/路由器是一种网络设备，它可以根据特定帧的协议选择性地作为路由器和/或网桥来工作。
讨论：
无
测量单位：
无
问题：
无
相关参考：
bridge(3.2)
router (3.15)
3.4、Constant Load
定义：
固定间隔时间的固定长度帧。
讨论：
尽管在现实世界中，在网络设备上遇到稳态负载是很少见的，但稳态性能的测量可能有助于评估竞争设备。稳态负载是指帧大小是指定的且恒定的，所有设备参数都是常数，当帧中存在校验和时，必须对其进行验证。
测量单位：
无
问题：
单向 vs.双向
相关参考：
无
3.5、Data link frame size
定义：
帧中从前导码之后的第一个字节到FCS结束（如果存在）的字节数，或者如果没有FCS，到数据的最后一个字节的字节数。（二层帧大小，除去前导码的帧大小）
讨论：
在报告用于测试网络设备或网络测量的帧大小时存在许多混淆，有些作者包含校验和，有些则不包含。这是本备忘录和后续备忘录中使用的特定定义。
测量单位：
字节
问题：
无
相关参考：
无
3.6、Frame Loss Rate
定义：
在稳态（恒定）负载下，网络设备应转发的帧的百分比，这些帧由于资源不足而未被转发。
讨论：
这可能是一个有用的指示，表明一个设备将如何在病态网络条件下工作，如广播风暴。
测量单位：
丢弃的N字节占提供的帧的百分比。
以提供的负载与丢失部分的图表形式报告。
问题：
无
相关参考：
overhead behavior (3.11)
policy based filtering (3.13)
MTU mismatch behavior (3.10)
3.7、Inter Frame Gap
定义：
从第3.5节中定义的数据链路帧的结束到下一个数据链路帧的前导码开始，这之间的延迟叫做帧间隙。
讨论：
在报告测试网络设备时使用的帧间时间时有很多混淆。这是本备忘录和后续备忘录中使用的特定定义。
测量单位：
用足够精细的单位来区分两个事件的时间。
问题：
链路数据速率。
相关参考：
无
3.8、Latency
定义：
对于存储转发设备：从输入帧的最后一位到达输入端口到输出帧的第一位出现在输出端口的时间间隔。
对于位转发设备：从输入帧的第一位的结束到达输入端口开始，到输出端口上看到输出帧的第一位的开始为止的时间间隔。
讨论：
延迟的可变性可能是一个问题。
有些协议依赖于时间（如LAT和IPX）。
未来的应用程序可能对网络延迟敏感，增加设备延迟可以减小网络的有效直径，人们期望消除数据速率对延迟测量的影响。此测量值应仅反映设备内的实际延迟，应在不改变设备设置的情况下测量帧尺寸的频谱。
理想情况下，所有设备的测量将从帧的第一个实际位开始，在前导码之后。从理论上讲，供应商可以设计一个通常被视为存储转发的设备，例如网桥，它在完全接收帧之前就开始传输帧，这种设备被称为“穿透式”设备。假设如果在接收输入帧的剩余部分时，出现某个帧或该帧的特定转发出错的情况，则设备将以某种方式使部分传输的帧无效。例如，错误的校验和。在这种情况下，设备仍将被视为存储转发设备，并且延迟仍将是从最后一位输入到第一位输出，即使该值为负。其目的是将设备视为一个单元，而不考虑内部结构。
测量单位：
用足够精细的单位来区分两个事件的时间。
问题：
无
相关参考：
link speed mismatch (3.9)
constant load (3.4)
back-to-back (3.1)
policy based filtering (3.13)
single frame behavior (3.16)
3.9、Link Speed Mismatch
定义：
输入和输出数据速率之间的速度不匹配。
讨论：
这不是指帧速率本身，而是指数据路径的实际数据速率。例如，一边是以太网，另一边是56KB的串行链路。这也被称为“消防水管效应”。在本地高速网络之间使用串行链路的网络通常在串行链路的每一端都有链路速度不匹配的情况。
测量单位：
输入输出数据速率比。
问题：
无
相关参考：
constant load (3.4)
back-to-back (3.1)
3.10、MTU-mismatch behavior
定义：
输出网络的网络MTU（最大传输单元）小于输入网络的MTU，这导致碎片化。
讨论：
网络设备的性能会因必须分割帧而受到显著影响。
测量单位：
对行为的描述。
问题：
无
相关参考：
无
3.11、Overhead behavior
定义：
除正常数据帧外的处理。
讨论：
除了转发帧之外，网络设备还执行许多功能，包括从内部硬件测试到路由信息的处理和对网络管理请求的响应，了解这些任务对设备性能的影响是很有用的。例如，如果路由器在处理OSPF等复杂协议的大型路由更新期间暂停转发或接受帧，要是知道这种行为就好了。
测量单位：
任何对这种行为的定量理解都是通过确定其对其他测量结果的影响来实现的。
问题：
桥接和路由协议、控制处理、icmp、ip选项处理、碎片、错误处理、事件日志记录/统计信息收集、arp
相关参考：
policy based filtering (3.13)
3.12、Overloaded behavior
定义：
当需求超过可用系统资源时。
讨论：
处于过载状态的设备将丢失帧，设备可能会丢失包含路由或配置信息的帧。假设在有任何帧丢失时，即出现过载状态。
测量单位：
在输入和输出过载条件下，设备在任何过载状态下的行为描述。
问题：
该设备从过载状态中恢复的效果如何？
源淬火生产对设备有何影响？
当设备的资源耗尽时，设备会做什么？
过载状态下对系统管理的响应是什么？
相关参考：
无
3.13、Policy based filtering
定义：
过滤是通过管理决策丢弃接收到的帧的过程，正常操作是转发它们。
讨论：
许多网络设备能够配置为基于多个标准丢弃帧，这些标准可以从简单的源地址或目标地址到检查数据帧本身中的特定字段，配置许多网络设备以执行过滤操作会影响设备的吞吐量。
测量单位：
无
问题：
过滤选项的灵活性
过滤条件的数量
相关参考：
无
3.14、Restart behavior
定义：
重新初始化系统导致数据丢失。
讨论：
在通电或复位后的一段时间内，网络设备不接受和转发帧，这段不可用期的持续时间可用于评估设备。此外，某些网络设备在修改特定设置变量时需要某种形式的重置，如果重置周期很长，可能会阻止网络管理员修改生产网络上的这些变量。
测量单位：
各种重启条件下设备行为的描述。
问题：
类型：上电、重新加载软件映像、刷新端口、重置缓冲区、重启当前代码映像、物理干预措施、通过终端线路远程或通过网络登录
在什么条件下，需要重新启动？
设备是否知道何时需要重新启动（即挂起状态超时）？
设备是否识别过频繁自动重启的情况？
设备是否对全部或部分重置运行诊断？
如何启动重启？
相关参考：
无
3.15、Router
定义：
在网络层根据信息转发数据帧的一种系统。
讨论：
这意味着“运行”网络级协议路由算法并执行协议要求的任何操作，例如，减少TCP/IP报头中的TTL字段。
测量单位：
无
问题：
无
相关参考：
bridge (3.2)
bridge/router (3.3)
3.16、Single frame behavior
定义：
设备输入端接收到的一帧。
讨论：
由单个帧组成的数据“流”可能需要网络设备进行大量处理，计算路由、执行ARP、检查权限等，通常是设置缓存条目。设备处理单独呈现的单个帧通常要比处理稳定流中的同一帧花费更多的时间。有一种担心是，一些设备甚至会丢弃一个帧作为缓存设置过程的一部分，前提是该帧只是许多帧中的第一帧。
测量单位：
设备行为的描述。
问题：
无
相关参考：
policy based filtering (3.13)
3.17、Throughput
定义：
设备没有丢弃任何提供帧的最大速率。
讨论：
吞吐量数据允许供应商报告一个在市场上被证明有用的单一值。由于在等待更高级别协议超时时，即使数据流中丢失一帧也会导致显著的延迟，因此了解设备能够支持的实际最大数据速率是有用的。测量应采用各种框架尺寸。分别测量路由和桥接数据的设备，可以支持这两个。如果接收到的帧中有校验和，则必须进行完全校验和处理。
测量单位：
每秒N字节输入帧。
每秒钟的输入位数。
问题：
单路径vs.聚合、负载、单向vs.双向、某些协议需要校验和处理
相关参考：
frame loss rate (3.6)
constant load (3.4)
back-to-back (3.1)