作者：叶余
来源：https://www.cnblogs.com/leisure_chn/p/10301831.html
ffplay是FFmpeg工程自带的简单播放器，使用FFmpeg提供的解码器和SDL库进行视频播放。本文基于FFmpeg工程4.1版本进行分析，其中ffplay源码清单如下：
https://github.com/FFmpeg/FFmpeg/blob/n4.1/fftools/ffplay.c
在尝试分析源码前，可先阅读如下参考文章作为铺垫：
[1]. 雷霄骅，视音频编解码技术零基础学习方法
[2]. 视频编解码基础概念
[3]. 色彩空间与像素格式
[4]. 音频参数解析
[5]. FFmpeg基础概念
“ffplay源码分析”系列文章如下：
[1]. ffplay源码分析1-概述
[2]. ffplay源码分析2-数据结构
[3]. ffplay源码分析3-代码框架
[4]. ffplay源码分析4-音视频同步
[5]. ffplay源码分析5-图像格式转换
[6]. ffplay源码分析6-音频重采样
[7]. ffplay源码分析7-播放控制
3. 代码框架
本节简单梳理ffplay.c代码框架。一些关键问题及细节问题在后续章节探讨。
3.1 流程图
3.2 主线程
主线程主要实现三项功能：视频播放(音视频同步)、字幕播放、SDL消息处理。
主线程在进行一些必要的初始化工作、创建解复用线程后，即进入event_loop()主循环，处理视频播放和SDL消息事件：
main() --> static void event_loop(VideoState *cur_stream) { SDL_Event event; ...... for (;;) { // SDL event队列为空，则在while循环中播放视频帧。否则从队列头部取一个event，退出当前函数，在上级函数中处理event refresh_loop_wait_event(cur_stream, &event); // SDL事件处理 switch (event.type) { case SDL_KEYDOWN: switch (event.key.keysym.sym) { case SDLK_f: // f键：强制刷新 ...... break; case SDLK_p: // p键 case SDLK_SPACE: // 空格键：暂停 ...... case SDLK_s: // s键：逐帧播放 ...... break; ...... ...... } } }
3.2.1 视频播放
主要代码在refresh_loop_wait_event()函数中，如下：
static void refresh_loop_wait_event(VideoState *is, SDL_Event *event) { double remaining_time = 0.0; SDL_PumpEvents(); while (!SDL_PeepEvents(event, 1, SDL_GETEVENT, SDL_FIRSTEVENT, SDL_LASTEVENT)) { if (!cursor_hidden && av_gettime_relative() - cursor_last_shown > CURSOR_HIDE_DELAY) { SDL_ShowCursor(0); cursor_hidden = 1; } if (remaining_time > 0.0) av_usleep((int64_t)(remaining_time * 1000000.0)); remaining_time = REFRESH_RATE; if (is->show_mode != SHOW_MODE_NONE && (!is->paused || is->force_refresh)) // 立即显示当前帧，或延时remaining_time后再显示 video_refresh(is, &remaining_time); SDL_PumpEvents(); } }
while()语句表示如果SDL event队列为空，则在while循环中播放视频帧；否则从队列头部取一个event，退出当前函数，在上级函数中处理event。
refresh_loop_wait_event()中调用了非常关键的函数video_refresh()，video_refresh()函数实现音视频的同步及视频帧的显示，是ffplay.c中最核心函数之一，在“4.3节 视频同步到音频”中详细分析。
3.2.2 SDL消息处理
处理各种SDL消息，比如暂停、强制刷新等按键事件。比较简单。
main() --> static void event_loop(VideoState *cur_stream) { SDL_Event event; ...... for (;;) { // SDL event队列为空，则在while循环中播放视频帧。否则从队列头部取一个event，退出当前函数，在上级函数中处理event refresh_loop_wait_event(cur_stream, &event); // SDL事件处理 switch (event.type) { case SDL_KEYDOWN: switch (event.key.keysym.sym) { case SDLK_f: // f键：强制刷新 ...... break; case SDLK_p: // p键 case SDLK_SPACE: // 空格键：暂停 ...... break; ...... ...... } } }
3.3 解复用线程
解复用线程读取视频文件，将取到的packet根据类型(音频、视频、字幕)存入不同是packet队列中。
为节省篇幅，如下源码中非关键内容的源码使用“......”替代。代码流程参考注释。
/* this thread gets the stream from the disk or the network */ static int read_thread(void *arg) { VideoState *is = arg; AVFormatContext *ic = NULL; int st_index[AVMEDIA_TYPE_NB]; ...... ...... // 中断回调机制。为底层I/O层提供一个处理接口，比如中止IO操作。 ic->interrupt_callback.callback = decode_interrupt_cb; ic->interrupt_callback.opaque = is; if (!av_dict_get(format_opts, "scan_all_pmts", NULL, AV_DICT_MATCH_CASE)) { av_dict_set(&format_opts, "scan_all_pmts", "1", AV_DICT_DONT_OVERWRITE); scan_all_pmts_set = 1; } // 1. 构建AVFormatContext // 1.1 打开视频文件：读取文件头，将文件格式信息存储在"fmt context"中 err = avformat_open_input(&ic, is->filename, is->iformat, &format_opts); ...... if (find_stream_info) { ...... // 1.2 搜索流信息：读取一段视频文件数据，尝试解码，将取到的流信息填入ic->streams // ic->streams是一个指针数组，数组大小是ic->nb_streams err = avformat_find_stream_info(ic, opts); ...... } ...... // 2. 查找用于解码处理的流 // 2.1 将对应的stream_index存入st_index[]数组 if (!video_disable) st_index[AVMEDIA_TYPE_VIDEO] = // 视频流 av_find_best_stream(ic, AVMEDIA_TYPE_VIDEO, st_index[AVMEDIA_TYPE_VIDEO], -1, NULL, 0); if (!audio_disable) st_index[AVMEDIA_TYPE_AUDIO] = // 音频流 av_find_best_stream(ic, AVMEDIA_TYPE_AUDIO, st_index[AVMEDIA_TYPE_AUDIO], st_index[AVMEDIA_TYPE_VIDEO], NULL, 0); if (!video_disable && !subtitle_disable) st_index[AVMEDIA_TYPE_SUBTITLE] = // 字幕流 av_find_best_stream(ic, AVMEDIA_TYPE_SUBTITLE, st_index[AVMEDIA_TYPE_SUBTITLE], (st_index[AVMEDIA_TYPE_AUDIO] >= 0 ? st_index[AVMEDIA_TYPE_AUDIO] : st_index[AVMEDIA_TYPE_VIDEO]), NULL, 0); is->show_mode = show_mode; // 2.2 从待处理流中获取相关参数，设置显示窗口的宽度、高度及宽高比 if (st_index[AVMEDIA_TYPE_VIDEO] >= 0) { AVStream *st = ic->streams[st_index[AVMEDIA_TYPE_VIDEO]]; AVCodecParameters *codecpar = st->codecpar; // 根据流和帧宽高比猜测帧的样本宽高比。 // 由于帧宽高比由解码器设置，但流宽高比由解复用器设置，因此这两者可能不相等。此函数会尝试返回待显示帧应当使用的宽高比值。 // 基本逻辑是优先使用流宽高比(前提是值是合理的)，其次使用帧宽高比。这样，流宽高比(容器设置，易于修改)可以覆盖帧宽高比。 AVRational sar = av_guess_sample_aspect_ratio(ic, st, NULL); if (codecpar->width) // 设置显示窗口的大小和宽高比 set_default_window_size(codecpar->width, codecpar->height, sar); } // 3. 创建对应流的解码线程 /* open the streams */ if (st_index[AVMEDIA_TYPE_AUDIO] >= 0) { // 3.1 创建音频解码线程 stream_component_open(is, st_index[AVMEDIA_TYPE_AUDIO]); } ret = -1; if (st_index[AVMEDIA_TYPE_VIDEO] >= 0) { // 3.2 创建视频解码线程 ret = stream_component_open(is, st_index[AVMEDIA_TYPE_VIDEO]); } if (is->show_mode == SHOW_MODE_NONE) is->show_mode = ret >= 0 ? SHOW_MODE_VIDEO : SHOW_MODE_RDFT; if (st_index[AVMEDIA_TYPE_SUBTITLE] >= 0) { // 3.3 创建字幕解码线程 stream_component_open(is, st_index[AVMEDIA_TYPE_SUBTITLE]); } ...... // 4. 解复用处理 for (;;) { // 停止 ...... // 暂停/继续 ...... // seek操作 ...... ...... // 4.1 从输入文件中读取一个packet ret = av_read_frame(ic, pkt); if (ret < 0) { if ((ret == AVERROR_EOF || avio_feof(ic->pb)) && !is->eof) { // 输入文件已读完，则往packet队列中发送NULL packet，以冲洗(flush)解码器，否则解码器中缓存的帧取不出来 if (is->video_stream >= 0) packet_queue_put_nullpacket(&is->videoq, is->video_stream); if (is->audio_stream >= 0) packet_queue_put_nullpacket(&is->audioq, is->audio_stream); if (is->subtitle_stream >= 0) packet_queue_put_nullpacket(&is->subtitleq, is->subtitle_stream); is->eof = 1; } if (ic->pb && ic->pb->error) // 出错则退出当前线程 break; SDL_LockMutex(wait_mutex); SDL_CondWaitTimeout(is->continue_read_thread, wait_mutex, 10); SDL_UnlockMutex(wait_mutex); continue; } else { is->eof = 0; } // 4.2 判断当前packet是否在播放范围内，是则入列，否则丢弃 /* check if packet is in play range specified by user, then queue, otherwise discard */ stream_start_time = ic->streams[pkt->stream_index]->start_time; // 第一个显示帧的pts pkt_ts = pkt->pts == AV_NOPTS_VALUE ? pkt->dts : pkt->pts; // 简化一下"||"后那个长长的表达式： // [pkt_pts] - [stream_start_time] - [start_time] <= [duration] // [当前帧pts] - [第一帧pts] - [当前播放序列第一帧(seek起始点)pts] <= [duration] pkt_in_play_range = duration == AV_NOPTS_VALUE || (pkt_ts - (stream_start_time != AV_NOPTS_VALUE ? stream_start_time : 0)) * av_q2d(ic->streams[pkt->stream_index]->time_base) - (double)(start_time != AV_NOPTS_VALUE ? start_time : 0) / 1000000 <= ((double)duration / 1000000); // 4.3 根据当前packet类型(音频、视频、字幕)，将其存入对应的packet队列 if (pkt->stream_index == is->audio_stream && pkt_in_play_range) { packet_queue_put(&is->audioq, pkt); } else if (pkt->stream_index == is->video_stream && pkt_in_play_range && !(is->video_st->disposition & AV_DISPOSITION_ATTACHED_PIC)) { packet_queue_put(&is->videoq, pkt); } else if (pkt->stream_index == is->subtitle_stream && pkt_in_play_range) { packet_queue_put(&is->subtitleq, pkt); } else { av_packet_unref(pkt); } } ret = 0; fail: ...... return 0; }
解复用线程实现如下功能：
[1]. 创建音频、视频、字幕解码线程
[2]. 从输入文件读取packet，根据packet类型(音频、视频、字幕)将这放入不同packet队列
3.4 视频解码线程
视频解码线程从视频packet队列中取数据，解码后存入视频frame队列。
3.4.1 video_thread()
视频解码线程将解码后的帧放入frame队列中。为节省篇幅，如下源码中删除了滤镜filter相关代码。
// 视频解码线程：从视频packet_queue中取数据，解码后放入视频frame_queue static int video_thread(void *arg) { VideoState *is = arg; AVFrame *frame = av_frame_alloc(); double pts; double duration; int ret; AVRational tb = is->video_st->time_base; AVRational frame_rate = av_guess_frame_rate(is->ic, is->video_st, NULL); if (!frame) { return AVERROR(ENOMEM); } for (;;) { ret = get_video_frame(is, frame); if (ret < 0) goto the_end; if (!ret) continue; // 当前帧播放时长 duration = (frame_rate.num && frame_rate.den ? av_q2d((AVRational){frame_rate.den, frame_rate.num}) : 0); // 当前帧显示时间戳 pts = (frame->pts == AV_NOPTS_VALUE) ? NAN : frame->pts * av_q2d(tb); // 将当前帧压入frame_queue ret = queue_picture(is, frame, pts, duration, frame->pkt_pos, is->viddec.pkt_serial); av_frame_unref(frame); if (ret < 0) goto the_end; } the_end: av_frame_free(&frame); return 0; }
3.4.2 get_video_frame()
从packet队列中取一个packet解码得到一个frame，并判断是否要根据framedrop机制丢弃失去同步的视频帧。参考源码中注释：
static int get_video_frame(VideoState *is, AVFrame *frame) { int got_picture; if ((got_picture = decoder_decode_frame(&is->viddec, frame, NULL)) < 0) return -1; if (got_picture) { double dpts = NAN; if (frame->pts != AV_NOPTS_VALUE) dpts = av_q2d(is->video_st->time_base) * frame->pts; frame->sample_aspect_ratio = av_guess_sample_aspect_ratio(is->ic, is->video_st, frame); // ffplay文档中对"-framedrop"选项的说明: // Drop video frames if video is out of sync.Enabled by default if the master clock is not set to video. // Use this option to enable frame dropping for all master clock sources, use - noframedrop to disable it. // "-framedrop"选项用于设置当视频帧失去同步时，是否丢弃视频帧。"-framedrop"选项以bool方式改变变量framedrop值。 // 音视频同步方式有三种：A同步到视频，B同步到音频，C同步到外部时钟。 // 1) 当命令行不带"-framedrop"选项或"-noframedrop"时，framedrop值为默认值-1，若同步方式是"同步到视频" // 则不丢弃失去同步的视频帧，否则将丢弃失去同步的视频帧。 // 2) 当命令行带"-framedrop"选项时，framedrop值为1，无论何种同步方式，均丢弃失去同步的视频帧。 // 3) 当命令行带"-noframedrop"选项时，framedrop值为0，无论何种同步方式，均不丢弃失去同步的视频帧。 if (framedrop>0 || (framedrop && get_master_sync_type(is) != AV_SYNC_VIDEO_MASTER)) { if (frame->pts != AV_NOPTS_VALUE) { double diff = dpts - get_master_clock(is); if (!isnan(diff) && fabs(diff) < AV_NOSYNC_THRESHOLD && diff - is->frame_last_filter_delay < 0 && is->viddec.pkt_serial == is->vidclk.serial && is->videoq.nb_packets) { is->frame_drops_early++; av_frame_unref(frame); // 视频帧失去同步则直接扔掉 got_picture = 0; } } } } return got_picture; }
ffplay中framedrop处理有两种，一处是此处解码后得到的frame尚未存入frame队列前，以is->frame_drops_early++为标记；另一处是frame队列中读取frame进行显示的时候，以is->frame_drops_late++为标记。
本处framedrop操作涉及的变量is->frame_last_filter_delay属于滤镜filter操作相关，ffplay中默认是关闭滤镜的，本文不考虑滤镜相关操作。
3.4.3 decoder_decode_frame()
这个函数是很核心的一个函数，可以解码视频帧和音频帧。视频解码线程中，视频帧实际的解码操作就在此函数中进行。分析过程参考3.2节。
3.5 音频解码线程
音频解码线程从音频packet队列中取数据，解码后存入音频frame队列
3.5.1 打开音频设备
音频设备的打开实际是在解复用线程中实现的。解复用线程中先打开音频设备(设定音频回调函数供SDL音频播放线程回调)，然后再创建音频解码线程。调用链如下：
main() --> stream_open() --> read_thread() --> stream_component_open() --> audio_open(is, channel_layout, nb_channels, sample_rate, &is->audio_tgt); decoder_start(&is->auddec, audio_thread, is);
audio_open()函数填入期望的音频参数，打开音频设备后，将实际的音频参数存入输出参数is->audio_tgt中，后面音频播放线程用会用到此参数。
音频格式的各参数与重采样强相关，audio_open()的详细实现在后面第5节讲述。
3.5.2 audio_thread()
从音频packet_queue中取数据，解码后放入音频frame_queue：
// 音频解码线程：从音频packet_queue中取数据，解码后放入音频frame_queue static int audio_thread(void *arg) { VideoState *is = arg; AVFrame *frame = av_frame_alloc(); Frame *af; int got_frame = 0; AVRational tb; int ret = 0; if (!frame) return AVERROR(ENOMEM); do { if ((got_frame = decoder_decode_frame(&is->auddec, frame, NULL)) < 0) goto the_end; if (got_frame) { tb = (AVRational){1, frame->sample_rate}; if (!(af = frame_queue_peek_writable(&is->sampq))) goto the_end; af->pts = (frame->pts == AV_NOPTS_VALUE) ? NAN : frame->pts * av_q2d(tb); af->pos = frame->pkt_pos; af->serial = is->auddec.pkt_serial; // 当前帧包含的(单个声道)采样数/采样率就是当前帧的播放时长 af->duration = av_q2d((AVRational){frame->nb_samples, frame->sample_rate}); // 将frame数据拷入af->frame，af->frame指向音频frame队列尾部 av_frame_move_ref(af->frame, frame); // 更新音频frame队列大小及写指针 frame_queue_push(&is->sampq); } } while (ret >= 0 || ret == AVERROR(EAGAIN) || ret == AVERROR_EOF); the_end: av_frame_free(&frame); return ret; }
3.5.3 decoder_decode_frame()
此函数既可以解码音频帧，也可以解码视频帧，函数分析参考3.2节。
3.6 音频播放线程
音频播放线程是SDL内建的线程，通过回调的方式调用用户提供的回调函数。
回调函数在SDL_OpenAudio()时指定。
暂停/继续回调过程由SDL_PauseAudio()控制。
3.6.1 sdl_audio_callback()
音频回调函数如下：
// 音频处理回调函数。读队列获取音频包，解码，播放 // 此函数被SDL按需调用，此函数不在用户主线程中，因此数据需要保护 // \param[in] opaque 用户在注册回调函数时指定的参数 // \param[out] stream 音频数据缓冲区地址，将解码后的音频数据填入此缓冲区 // \param[out] len 音频数据缓冲区大小，单位字节 // 回调函数返回后，stream指向的音频缓冲区将变为无效 // 双声道采样点的顺序为LRLRLR /* prepare a new audio buffer */ static void sdl_audio_callback(void *opaque, Uint8 *stream, int len) { VideoState *is = opaque; int audio_size, len1; audio_callback_time = av_gettime_relative(); while (len > 0) { // 输入参数len等于is->audio_hw_buf_size，是audio_open()中申请到的SDL音频缓冲区大小 if (is->audio_buf_index >= is->audio_buf_size) { // 1. 从音频frame队列中取出一个frame，转换为音频设备支持的格式，返回值是重采样音频帧的大小 audio_size = audio_decode_frame(is); if (audio_size < 0) { /* if error, just output silence */ is->audio_buf = NULL; is->audio_buf_size = SDL_AUDIO_MIN_BUFFER_SIZE / is->audio_tgt.frame_size * is->audio_tgt.frame_size; } else { if (is->show_mode != SHOW_MODE_VIDEO) update_sample_display(is, (int16_t *)is->audio_buf, audio_size); is->audio_buf_size = audio_size; } is->audio_buf_index = 0; } // 引入is->audio_buf_index的作用：防止一帧音频数据大小超过SDL音频缓冲区大小，这样一帧数据需要经过多次拷贝 // 用is->audio_buf_index标识重采样帧中已拷入SDL音频缓冲区的数据位置索引，len1表示本次拷贝的数据量 len1 = is->audio_buf_size - is->audio_buf_index; if (len1 > len) len1 = len; // 2. 将转换后的音频数据拷贝到音频缓冲区stream中，之后的播放就是音频设备驱动程序的工作了 if (!is->muted && is->audio_buf && is->audio_volume == SDL_MIX_MAXVOLUME) memcpy(stream, (uint8_t *)is->audio_buf + is->audio_buf_index, len1); else { memset(stream, 0, len1); if (!is->muted && is->audio_buf) SDL_MixAudioFormat(stream, (uint8_t *)is->audio_buf + is->audio_buf_index, AUDIO_S16SYS, len1, is->audio_volume); } len -= len1; stream += len1; is->audio_buf_index += len1; } // is->audio_write_buf_size是本帧中尚未拷入SDL音频缓冲区的数据量 is->audio_write_buf_size = is->audio_buf_size - is->audio_buf_index; /* Let's assume the audio driver that is used by SDL has two periods. */ // 3. 更新时钟 if (!isnan(is->audio_clock)) { // 更新音频时钟，更新时刻：每次往声卡缓冲区拷入数据后 // 前面audio_decode_frame中更新的is->audio_clock是以音频帧为单位，所以此处第二个参数要减去未拷贝数据量占用的时间 set_clock_at(&is->audclk, is->audio_clock - (double)(2 * is->audio_hw_buf_size + is->audio_write_buf_size) / is->audio_tgt.bytes_per_sec, is->audio_clock_serial, audio_callback_time / 1000000.0); // 使用音频时钟更新外部时钟 sync_clock_to_slave(&is->extclk, &is->audclk); } }
3.6.2 audio_decode_frame()
audio_decode_frame()主要是进行音频重采样，从音频frame队列中取出一个frame，此frame的格式是输入文件中的音频格式，音频设备不一定支持这些参数，所以要将frame转换为音频设备支持的格式。
audio_decode_frame()的实现在后面第5节讲述。
3.7 字幕解码线程
实现细节略。以后有机会研究字幕时，再作补充。
「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实践技术文章，在这里与音视频领域一流工程师交流切磋。