1.ts简介
ts流最早应用于数字电视领域，其格式非常复杂包含的配置信息表多达十几个，视频格式主要是mpeg2。苹果公司发明的http live stream流媒体是基于ts文件的，不过他大大简化了传统的ts流，只需要2个最基本的配置表PAT和PMT，再加上音视频内容就可以了，hls流媒体视频编码的主要格式为h264/mpeg4，音频为aac/mp3。
2.ts格式
ts文件分为三层：ts层（Transport Stream）、pes层（Packet Elemental Stream）、es层（Elementary Stream）。es层就是音视频数据，pes层是在音视频数据上加了时间戳等对数据帧的说明信息，ts层是在pes层上加入了数据流识别和传输的必要信息。
3.ts层
ts包大小固定为188字节，ts层分为三个部分：ts header、adaptation field、payload。ts header固定4个字节；adaptation field可能存在也可能不存在，主要作用是给不足188字节的数据做填充；payload是pes数据。
3.1.ts header
| sync_byte |
8b | 同步字节，固定为0x47 |
| transport_error_indicator |
1b |
传输错误指示符，表明在ts头的adapt域后由一个无用字节，通常都为0，这个字节算在adapt域长度内 |
| payload_unit_start_indicator |
1b |
负载单元起始标示符，一个完整的数据包开始时标记为1 |
| transport_priority |
1b |
传输优先级，0为低优先级，1为高优先级，通常取0 |
| pid | 13b |
pid值 |
| transport_scrambling_control |
2b |
传输加扰控制，00表示未加密 |
| adaptation_field_control |
2b |
是否包含自适应区，‘00’保留；‘01’为无自适应域，仅含有效负载；‘10’为仅含自适应域，无有效负载；‘11’为同时带有自适应域和有效负载。 |
| continuity_counter |
4b |
递增计数器，从0-f，起始值不一定取0，但必须是连续的 |
ts层的内容是通过PID值来标识的，主要内容包括：PAT表、PMT表、音频流、视频流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然后就可以找到音视频流了。PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流，因为用户随时可能加入ts流，这个间隔比较小，通常每隔几个视频帧就要加入PAT和PMT。PAT和PMT表是必须的，还可以加入其它表如SDT（业务描述表）等，不过hls流只要有PAT和PMT就可以播放了。
-
PAT表：他主要的作用就是指明了PMT表的PID值。
-
PMT表：他主要的作用就是指明了音视频流的PID值。
-
音频流/视频流：承载音视频内容。
3.2.adaption
| adaptation_field_length |
1B | 自适应域长度，后面的字节数 |
| flag | 1B | 取0x50表示包含PCR或0x40表示不包含PCR |
| PCR | 5B | Program Clock Reference，节目时钟参考，用于恢复出与编码端一致的系统时序时钟STC（System Time Clock）。 |
| stuffing_bytes | xB | 填充字节，取值0xff |
自适应区的长度要包含传输错误指示符标识的一个字节。pcr是节目时钟参考，pcr、dts、pts都是对同一个系统时钟的采样值，pcr是递增的，因此可以将其设置为dts值，音频数据不需要pcr。如果没有字段，ipad是可以播放的，但vlc无法播放。打包ts流时PAT和PMT表是没有adaptation field的，不够的长度直接补0xff即可。视频流和音频流都需要加adaptation field，通常加在一个帧的第一个ts包和最后一个ts包里，中间的ts包不加。
3.3.PAT格式
| table_id | 8b | PAT表固定为0x00 |
| section_syntax_indicator | 1b | 固定为1 |
| zero | 1b | 固定为0 |
| reserved | 2b | 固定为11 |
| section_length | 12b | 后面数据的长度 |
| transport_stream_id | 16b | 传输流ID，固定为0x0001 |
| reserved | 2b | 固定为11 |
| version_number | 5b | 版本号，固定为00000，如果PAT有变化则版本号加1 |
| current_next_indicator | 1b | 固定为1，表示这个PAT表可以用，如果为0则要等待下一个PAT表 |
| section_number | 8b | 固定为0x00 |
| last_section_number | 8b | 固定为0x00 |
| 开始循环 | ||
| program_number | 16b |
节目号为0x0000时表示这是NIT，节目号为0x0001时,表示这是PMT |
| reserved | 3b |
固定为111 |
| PID | 13b |
节目号对应内容的PID值 |
| 结束循环 | ||
| CRC32 | 32b | 前面数据的CRC32校验码 |
3.4.PMT格式
| table_id |
8b |
PMT表取值随意，0x02 |
| section_syntax_indicator | 1b | 固定为1 |
| zero | 1b | 固定为0 |
| reserved | 2b | 固定为11 |
| section_length | 12b | 后面数据的长度 |
| program_number | 16b | 频道号码，表示当前的PMT关联到的频道，取值0x0001 |
| reserved | 2b | 固定为11 |
| version_number | 5b | 版本号，固定为00000，如果PAT有变化则版本号加1 |
| current_next_indicator | 1b | 固定为1 |
| section_number | 8b | 固定为0x00 |
| last_section_number | 8b | 固定为0x00 |
| reserved | 3b | 固定为111 |
| PCR_PID | 13b | PCR(节目参考时钟)所在TS分组的PID，指定为视频PID |
| reserved | 4b | 固定为1111 |
| program_info_length | 12b | 节目描述信息，指定为0x000表示没有 |
| 开始循环 |
||
| stream_type | 8b | 流类型，标志是Video还是Audio还是其他数据，h.264编码对应0x1b，aac编码对应0x0f，mp3编码对应0x03，详见附件1 |
| reserved | 3b | 固定为111 |
| elementary_PID | 13b | 与stream_type对应的PID |
| reserved | 4b | 固定为1111 |
| ES_info_length | 12b | 描述信息，指定为0x000表示没有 |
| 结束循环 |
||
| CRC32 |
32b | 前面数据的CRC32校验码 |
4.pes层
pes层是在每一个视频/音频帧上加入了时间戳等信息，pes包内容很多，我们只留下最常用的。
| pes start code | 3B | 开始码，固定为0x000001 |
| stream id | 1B |
音频取值（0xc0-0xdf），通常为0xc0 视频取值（0xe0-0xef），通常为0xe0 |
| pes packet length | 2B |
后面pes数据的长度，0表示长度不限制， 只有视频数据长度会超过0xffff |
| flag | 1B |
通常取值0x80，表示数据不加密、无优先级、备份的数据 |
| flag | 1B |
取值0x80表示只含有pts，取值0xc0表示含有pts和dts |
| pes data length | 1B |
后面数据的长度，取值5或10 |
| pts | 5B |
33bit值 |
| dts | 5B |
33bit值 |
pts是显示时间戳、dts是解码时间戳，视频数据两种时间戳都需要，音频数据的pts和dts相同，所以只需要pts。有pts和dts两种时间戳是B帧引起的，I帧和P帧的pts等于dts。如果一个视频没有B帧，则pts永远和dts相同。从文件中顺序读取视频帧，取出的帧顺序和dts顺序相同。dts算法比较简单，初始值 + 增量即可，pts计算比较复杂，需要在dts的基础上加偏移量。
音频的pes中只有pts（同dts），视频的I、P帧两种时间戳都要有，视频B帧只要pts（同dts）。打包pts和dts就需要知道视频帧类型，但是通过容器格式我们是无法判断帧类型的，必须解析h.264内容才可以获取帧类型。
举例说明：
I P B B B P
读取顺序： 1 2 3 4 5 6
dts顺序： 1 2 3 4 5 6
pts顺序： 1 5 3 2 4 6
点播视频dts算法：
dts = 初始值 + 90000 / video_frame_rate，初始值可以随便指定，但是最好不要取0，video_frame_rate就是帧率，比如23、30。
pts和dts是以timescale为单位的，1s = 90000 time scale , 一帧就应该是90000/video_frame_rate 个timescale。
用一帧的timescale除以采样频率就可以转换为一帧的播放时长
点播音频dts算法：
dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame这个值与编解码相关，aac取值1024，mp3取值1158，audio_sample_rate是采样率，比如24000、41000。AAC一帧解码出来是每声道1024个sample，也就是说一帧的时长为1024/sample_rate秒。所以每一帧时间戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。
直播视频的dts和pts应该直接用直播数据流中的时间，不应该按公式计算。
5.es层
es层指的就是音视频数据，我们只介绍h.264视频和aac音频。
h.264视频：
打包h.264数据我们必须给视频数据加上一个nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type，nalu header固定为0x00000001（帧开始）或0x000001（帧中）。h.264的数据是由slice组成的，slice的内容包括：视频、sps、pps等。nalu type决定了后面的h.264数据内容。
| F | 1b | forbidden_zero_bit，h.264规定必须取0 |
| NRI | 2b | nal_ref_idc，取值0~3，指示这个nalu的重要性，I帧、sps、pps通常取3，P帧通常取2，B帧通常取0 |
| Type | 5b | 参考下表 |
| nal_unit_type | 说明 |
| 0 | 未使用 |
| 1 | 非IDR图像片，IDR指关键帧 |
| 2 | 片分区A |
| 3 | 片分区B |
| 4 | 片分区C |
| 5 | IDR图像片，即关键帧 |
| 6 | 补充增强信息单元(SEI) |
| 7 | SPS序列参数集 |
| 8 | PPS图像参数集 |
| 9 | 分解符 |
| 10 | 序列结束 |
| 11 | 码流结束 |
| 12 | 填充 |
| 13~23 | 保留 |
| 24~31 | 未使用 |
红色字体显示的内容是最常用的，打包es层数据时pes头和es数据之间要加入一个type=9的nalu，关键帧slice前必须要加入type=7和type=8的nalu，而且是紧邻。
aac音频：
打包aac音频必须加上一个adts(Audio Data Transport Stream)头，共7Byte，adts包括fixed_header和variable_header两部分，各28bit。
fixed_header
| syncword | 12b | 固定为0xfff |
| id | 1b | 0表示MPEG-4，1表示MPEG-2 |
| layer | 2b | 固定为00 |
| protection_absent | 1b | 固定为1 |
| profile | 2b | 取值0~3,1表示aac |
| sampling_frequency_index | 4b | 表示采样率，0: 96000 Hz，1: 88200 Hz，2: 64000 Hz，3：48000 Hz，4: 44100 Hz，5: 32000 Hz，6: 24000 Hz，7: 22050 Hz，8: 16000 Hz，9: 12000 Hz，10: 11025 Hz，11: 8000 Hz，12: 7350 Hz |
| private_bit | 1b | 固定为0 |
| channel_configuration | 3b | 取值0~7，1: 1 channel: front-center，2: 2 channels: front-left, front-right，3: 3 channels: front-center, front-left, front-right，4: 4 channels: front-center, front-left, front-right, back-center |
| original_copy | 1b | 固定为0 |
| home | 1b | 固定为0 |
variable_header
| copyright_identification_bit | 1b |
固定为0 |
| copyright_identification_start | 1b |
固定为0 |
| aac_frame_length | 13b |
包括adts头在内的音频数据总长度 |
| adts_buffer_fullness | 11b |
固定为0x7ff |
| number_of_raw_data_blocks_in_frame | 2b |
固定为00 |
mp3音频：
mp3音频不需要加adts头。
6.h264帧类型判断
当nalu type=5或1时，表示后面跟着的数据是视频数据，下面我们只列出前2项。
| first_mb_in_slice | Golomb编码 | 一般为0，一个slice为一帧图像 |
| slice_type | Golomb编码 |
帧类型，2、4、7、9表示I帧，0、3、5、8表示P帧 ，1、6表示B帧。 |
7.mp4转ts
我们假设mp4格式中的视频编码为h.264，音频编码为aac。我们从mp4中获取的视频信息包括：sps、pps、dts、pts、帧率、帧数据、ticks（每秒滴答数）。音频信息包括：pts、采样频率、声道数、帧数据。mp4文件的dts和ts文件的dts是需要进行换算的，都是初始值 + 增量，但是增量计算是不同的。
视频信息获取：
| sps | stsd.avc1.avcC |
| pps | stsd.avc1.avcC |
| dts | stts |
| pts | stts + ctts |
| 帧率 | 帧个数 / 总时长 |
| timescale |
trak.mdia.mdhd |
| 帧数据 | stsc + stco + stsz |
音频信息获取：
| pts | stts |
| 采样频率 | trak.mdia.mdhd |
| 声道数 | stsd.mp4a |
| 帧数据 | stsc + stco + stsz |
8.mp4中关于h264和aac的说明
mp4的stsd原子中包含很多关键的音视频编解码元信息。对于视频数据，不同的编解码格式stsd中包含的子原子类型是不同的。MP4的视频H.264封装有2种格式：h264和avc1，只要看到这两个FOURCC（四字节编码）。就可以肯定是h.264编码，区别在于slice是否有起始码。对于音频数据，stsd中包含的子原子只会是mp4a，mp4a又包含了一个子原子esds，判断音频编码格式的是esds中的第十一个字节，如果是0x40则说明是aac编码，如果是0x69则说明是mp3。
-
AVC1 描述:H.264 bitstream without start codes.一般通过ffmpeg转码生成的视频，是不带起始码0×00000001的，但是带有4字节的长度。
-
H264 描述:H.264 bitstream with start codes.一般对于一下HDVD等电影的压制格式，是带有起始码0×00000001的。
除了avc1和h264还可能是下面的FOURCC，只是名字不同而已。
-
MEDIASUBTYPE_AVC1 'AVC1' H.264 bitstream without start codes.
-
MEDIASUBTYPE_H264 'H264' H.264 bitstream with start codes.
-
MEDIASUBTYPE_h264 'h264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.
-
MEDIASUBTYPE_X264 'X264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.
-
MEDIASUBTYPE_x264 'x264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.
下面这个mp4文件是h.264编码，且不带起始码。
下面这个mp4文件是mpeg4编码。
下面这个mp4文件是aac编码。
下面这个mp4文件是mp3编码。
9.注意
1.纯音频的hls流，ts中需要有pcr字段
附件1：PMT 的 stream type汇总
Value Description
0x00 ITU-T | ISO/IEC Reserved
0x01 ISO/IEC 11172-2 Video
0x02 ITU-T Rec. H.262 | ISO/IEC 13818-2 Video or ISO/IEC 11172-2 constrained parameter video stream
0x03 ISO/IEC 11172-3 Audio
0x04 ISO/IEC 13818-3 Audio
0x05 ITU-T Rec. H.222.0 | ISO/IEC 13818-1 private_sections
0x06 ITU-T Rec. H.222.0 | ISO/IEC 13818-1 PES packets containing private data
0x07 ISO/IEC 13522 MHEG
0x08 ITU-T Rec. H.222.0 | ISO/IEC 13818-1 Annex A DSM-CC
0x09 ITU-T Rec. H.222.1
0x0A ISO/IEC 13818-6 type A
0x0B ISO/IEC 13818-6 type B
0x0C ISO/IEC 13818-6 type C
0x0D ISO/IEC 13818-6 type D
0x0E ITU-T Rec. H.222.0 | ISO/IEC 13818-1 auxiliary
0x0F ISO/IEC 13818-7 Audio with ADTS transport syntax
0x10 ISO/IEC 14496-2 Visual
0x11 ISO/IEC 14496-3 Audio with the LATM transport syntax as defined in ISO/IEC 14496-3/Amd.1
0x12 ISO/IEC 14496-1 SL-packetized stream or FlexMux stream carried in PES packets
0x13 ISO/IEC 14496-1 SL-packetized stream or FlexMux stream carried in ISO/IEC 14496_sections
0x14 ISO/IEC 13818-6 Synchronized Download Protocol
0x15 Metadata carried in PES packets
0x16 Metadata carried in metadata_sections
0x17 Metadata carried in ISO/IEC 13818-6 Data Carousel
0x18 Metadata carried in ISO/IEC 13818-6 Object Carousel
0x19 Metadata carried in ISO/IEC 13818-6 Synchronized Download Protocol
0x1A IPMP stream (defined in ISO/IEC 13818-11, MPEG-2 IPMP)
0x1B AVC video stream as defined in ITU-T Rec. H.264 | ISO/IEC 14496-10 Video
0x1C ISO/IEC 14496-3 Audio, without using any additional transport syntax, such as DST, ALS and SLS
0x1D ISO/IEC 14496-17 Text
0x1E Auxiliary video stream as defined in ISO/IEC 23002-3
0x1F-0x7E ITU-T Rec. H.222.0 | ISO/IEC 13818-1 Reserved
0x7F IPMP stream
0x80-0xFF User Private
#define STREAMTYPE_11172_VIDEO 0x01
#define STREAMTYPE_13818_VIDEO 0x02
#define STREAMTYPE_11172_AUDIO 0x03
#define STREAMTYPE_13818_AUDIO 0x04
#define STREAMTYPE_13818_PRIVATE 0x05
#define STREAMTYPE_13818_PES_PRIVATE 0x06
#define STREAMTYPE_13522_MHPEG 0x07
#define STREAMTYPE_13818_DSMCC 0x08
#define STREAMTYPE_ITU_222_1 0x09
#define STREAMTYPE_13818_A 0x0a
#define STREAMTYPE_13818_B 0x0b
#define STREAMTYPE_13818_C 0x0c
#define STREAMTYPE_13818_D 0x0d
#define STREAMTYPE_13818_AUX 0x0e
#define STREAMTYPE_AAC_AUDIO 0x0f
#define STREAMTYPE_MPEG4_AUDIO 0x11
#define STREAMTYPE_H264_VIDEO 0x1b
#define STREAMTYPE_AVS_VIDEO 0x42
#define STREAMTYPE_AC3_AUDIO 0x81
#define STREAMTYPE_DTS_AUDIO 0x82