一 rtp概述

RTP全名是Real-time Transport Protocol（实时传输协议）。它是IETF提出的一个标准，对应的RFC文档为RFC3550。RFC3550不仅定义了RTP，而且定义了配套的相关协议RTCP（Real-time Transport Control Protocol，即实时传输控制协议）。RTP用来为IP网上的语音、图像、传真等多种需要实时传输的多媒体数据提供端到端的实时传输服务。RTP为Internet上端到端的实时传输提供时间信息和流同步，但并不保证服务质量，服务质量由RTCP来提供。
 

                                                        RTP的头部格式

前12字节是固定的，CSRC可以有多个或者0个。

1）V：RTP协议的版本号，占2位，当前协议版本号为2

2）P：填充标志，占1位，如果P=1，则在该报文的尾部填充一个或多个额外的八位组，它们不是有效载荷的一部分

3）X：扩展标志，占1位，如果X=1，则在RTP报头后跟有一个扩展报头

4）CC：CSRC计数器，占4位，指示CSRC标识符个数

5）M：标志，占1位，不同的有效载荷有不同的含义，对于视频，标记一帧的结束；对于音频，标记会话的开始。

6）PT（payload type）：有效荷载类型，占7位，用于说明RTP报文中有效载荷的类型，如GSM音频、JPEM图像等，在流媒体中大部分是用来区分音频流和视频流，这样便于客户端进行解析。

7）序列号：占16位，用于标识发送者所发送的RTP报文的序列号，每发送一个报文，序列号增1。这个字段当下层的承载协议用UDP的时候，网络状况不好的时候可以用来检查丢包。当出现网络抖动的情况可以用来对数据进行重新排序。序列号的初始值是随机的，同时音频包和视频包的sequence是分别计数的。

8）时戳（Timestamp）：占32位，必须使用90kHZ时钟频率（程序中的90000）。时戳反映了该RTP报文的第一个八位组的采样时刻。接受者使用时戳来计算延迟和延迟抖动，并进行同步控制。可以根据RTP包的时间戳来获得数据包的时序。

9）同步信源（SSRC）标识符：占32位，用于标识同步信源。同步信源是指产生媒体流的信源，他通过RTP报头中的一个32为数字SSRC标识符来标识，而不依赖网络地址，接收者将根据SSRC标识符来区分不同的信源，进行RTP报文的分组。

10）提供信源（CSRC）标识符：每个CSRC标识符占32位，可以有0~15个CSRC。每个CSRC标识了包含在RTP报文有效载荷中的所有提供信源。

提供信源用来标识对一个RTP混合器产生的新包有贡献的所有RTP包的源。是指当混合器接收到一个或多个同步信源的RTP报文后，经过混合处理产生一个新的组合RTP报文，并把混合器作为组合RTP报文的SSRC，将原来所有的SSRC都作为CSRC传送给接收者，是接受者知道组成组合报文的各个SSRC。

二 rtp码流

                                       rtp码流示例
把前两字节 80 e0 换成二进制：1000 0000 1110 0000

10是V；0是P；0是X；0000是CC；1是M；110 0000是PT；

rtp载荷h264媒体流：rtp协议头和h264码流

 rtp头后是rtp载荷，rtp载荷第一个字节格式和NALU头一样。

 

F和NRI也跟NALU头一样，只有Type有些不一样：拓展24 – 31

0     没有定义； 1-23  NAL单元   单个 NAL 单元包.

  24    STAP-A   单一时间的组合包；  25    STAP-B   单一时间的组合包

  26    MTAP16   多个时间的组合包；  27    MTAP24   多个时间的组合包

  28    FU-A     分片的单元；  29    FU-B     分片的单元；  30-31 没有定义

1)   单个NAL单元包：荷载中只包含一个NAL单元。NAL头类型域等于原始 NAL单元（NALU）类型，即Type在范围1到23之间。

对于NALU（NAL单元）的长度小于MTU大小的包，一般采用单一NAL单元模式

定义在此的NAL单元包必须只包含一个。RTP序号必须符合NAL单元的解码顺序。这种情况下，NAL单元的第一字节和RTP荷载头第一个字节重合。如上图所示。

对于一个原始H264的NALU单元常由[start code] [NALU Header] [NALU Payload]三部分组成，其中start code用于标识这是一个NALU单元的开始，必须是“00 00 00 01”或“00 00 01”,NALU头仅一个字节，其后都是NALU单元载荷。

打包时去除“00 00 01”或“00 00 00 01”的开始码，把其他数据封装成RTP包即可。

如有一个 H.264 的 NALU 是这样的:

[00 00 00 01 67 42 A0 1E 23 56 0E 2F ... ]

这是一个序列参数集 NAL 单元。 [00 00 00 01] 是四个字节的开始码, 67 是 NALU 头, 42 开始的数据是 NALU 载荷.

封装成 RTP 包将如下:

[ RTP Header ] [ 67 42 A0 1E 23 56 0E 2F ... ]

即只要去掉 4 个字节的开始码就可以了.
 

2）组合包：本类型用于聚合多个NAL单元到单个RTP荷载中。本包有四种版本，单时间聚合包类型A（STAP-A）单时间聚合包类型B（STAP-B）,多时间聚合包类型（MTAP）16位位移（MTAP16）,多时间聚合包类型（MTAP）24位位移（MTAP24）。赋予STAP-A，STAP-B，MTAP16，MTAP24的NAL单元类型号（Type）分别是24 25 26 27

 当NALU的长度特别小时，可以把几个NALU单元封在一个RTP包中。这种模式下，有多个NALU头和NALU载荷。

3）分片包：用于分片单个NAL单元到多个RTP包。现存两个版本FU-A，FU-B，用NAL单元类型（Type）28 29标识

常用的打包时的分包规则：如果小于MTU采用单个NAL单元包，如果大于MTU就采用FUs分片方式

 当NALU的长度超过MTU时，就必须对NALU单元进行分片封包，也称为Fragmentation Units (FUs)NAL单元的一个分片由整数个连续NAL单元字节组成。每个NAL单元字节必须正好是该NAL单元一个分片的一部分。