【VLC核心一】播放流程梳理->live555收流+ffmpeg:AVCodec解码

2023-10-26 11:30:28

一、前言

VLC播放音视频的核心流程梳理，从live555收流到ffmpeg解码的整套流程

涉及到MultiFramedRTPSource、RTPSource、FramedSource、live555、es_out、decoder、video、clock、video_output、araw、mtime、dec、input、output、filters、directx等核心类。

二、核心点备注
1、RTPSource中使用报文时间戳与当前时间计算抖动的核心代码

unsigned arrival = (timestampFrequency*timeNow.tv_sec);//音频8000，视频90000
    arrival += (unsigned)
((2.0*timestampFrequency*timeNow.tv_usec + 1000000.0)/2000000);
            // note: rounding
    int transit = arrival - rtpTimestamp;
    if (fLastTransit == (~0)) fLastTransit = transit; // hack for first time
    int d = transit - fLastTransit;
    fLastTransit = transit;
    if (d < 0) d = -d;
    fJitter += (1.0/16.0) * ((double)d - fJitter);

2、RTPSource中使用报文时间戳差值计算出timeval 类型的presentationTime的核心代码

// Return the 'presentation time' that corresponds to "rtpTimestamp":
  if (fSyncTime.tv_sec == 0 && fSyncTime.tv_usec == 0) {
    // This is the first timestamp that we've seen, so use the current
    // 'wall clock' time as the synchronization time. (This will be
    // corrected later when we receive RTCP SRs.)
    fSyncTimestamp = rtpTimestamp;
    fSyncTime = timeNow;
  }

  int timestampDiff = rtpTimestamp - fSyncTimestamp;
      // Note: This works even if the timestamp wraps around
      // (as long as "int" is 32 bits)

  // Divide this by the timestamp frequency to get real time://视频timeDiff =0.040000000000000001
  double timeDiff = timestampDiff/(double)timestampFrequency; 
  // Add this to the 'sync time' to get our result:
  unsigned const million = 1000000;
  unsigned seconds, uSeconds;
  if (timeDiff >= 0.0) {
    seconds = fSyncTime.tv_sec + (unsigned)(timeDiff);
    uSeconds = fSyncTime.tv_usec
      + (unsigned)((timeDiff - (unsigned)timeDiff)*million);
    if (uSeconds >= million) {
      uSeconds -= million;
      ++seconds;
    }
  } else {
    timeDiff = -timeDiff;
    seconds = fSyncTime.tv_sec - (unsigned)(timeDiff);
    uSeconds = fSyncTime.tv_usec
      - (unsigned)((timeDiff - (unsigned)timeDiff)*million);
    if ((int)uSeconds < 0) {
      uSeconds += million;
      --seconds;
    }
  }

3、live555.cpp中将timeval转换为微秒级时间戳i_pts的要点

int64_t i_pts = (int64_t)pts.tv_sec * INT64_C(1000000) +
        (int64_t)pts.tv_usec;
/* XXX Beurk beurk beurk Avoid having negative value XXX */
    i_pts &= INT64_C(0x00ffffffffffffff);

<span style="color:#3333FF;">1）注意避免翻转为负数 2、block里i_pts+1,i_dts根据sdp中的packetization-mode=1字段判断</span>

4、处理H.264视频的要点

1）丢帧策略可以设置丢B帧、非参考帧、除关键帧以外所有帧等，可以在处理延时的情况下加速解码，尝试赶上发流速度，是明智之举；

2）如果存在过期的帧，且当前时间减第一个过期帧的时间>5S，则认为该帧过期时间太长，直接释放；如果统计的过期帧数>4且<12，则设置ffmpeg的解码器丢帧策略；

3）解码后得到pts，如果frame_rate和frame_rate_base>0，或者p_context->time_base.den > 0计算获得下一帧的pts，更新p_sys->i_pts，用于下一帧解码时校验数据；

4）每次ffmpeg解码后，使用clock机制将pts流时间戳转换为系统时间，然后检查转换后的时间是否过期，过期算法为：判断显示时间<=mdate() 说明已过期，累加过期帧数；备注：*pi_ts0 >= mdate() + i_ts_delay + i_ts_buffering + i_ts_bound（ i_ts_bound默认值为9s）

5）最后在送渲染队列前使用clock::input_clock_ConvertTS将时戳拉伸到播放rate对应区间。

5、处理音频的要点

1）计算比特率和样本数 unsigned samples = (8 * p_block->i_buffer) / framebits;

2）通过采样数计算时间增量 mtime_t date_Increment( date_t *p_date, uint32_t i_nb_samples )

3）a、发现正确的播放频率 b、重新制作音频帧。核心流程如下：

1、仅正常播放速率支持音频播放，否则丢弃
2、if ( start_date != VLC_TS_INVALID && start_date < now )期望时间戳帧已严重过期，重刷音频缓存数据，停止重采样（主要发生在用户暂停或解码器错误）
3、if ( p_buffer->i_pts < now + AOUT_MIN_PREPARE_TIME )帧已过期，直接丢弃;AOUT_MIN_PREPARE_TIME为40ms
4、mtime_t drift = start_date - p_buffer->i_pts;偏移量drift = 期望播放时间戳-当前帧的实际时间戳,drift<0说明帧滞后来了，drift>0说明帧提前来了;
5、if( drift < -i_input_rate * 3 * AOUT_MAX_PTS_ADVANCE / INPUT_RATE_DEFAULT )如果偏移量<-3*40ms，则停止缓冲，停止重采样。预设值。
6、if( drift > +i_input_rate * 3 * AOUT_MAX_PTS_DELAY / INPUT_RATE_DEFAULT )如果偏移量>3*60ms，缓冲太晚，直接丢弃
7、if ( ( p_input->i_resampling_type == AOUT_RESAMPLING_NONE ) && ( drift < -AOUT_MAX_PTS_ADVANCE || drift > +AOUT_MAX_PTS_DELAY ) && p_input->i_nb_resamplers > 0 )drift漂移量<-40ms或>60ms，则重新发现播放频率.即滞后40ms或提前60ms（主要原因是：1、输入时钟偏移有误2、用户短暂暂停 3、输出端有点延时，丢失了一点同步--费解，4、现网有部分摄像头的采样率和码流里的时间戳不匹配，也会导致该问题）
8、根据偏移结果微调采样频率
9、p_buffer->i_pts = start_date;最终将期望时间戳送渲染;

三、核心流程时序图

码农公寓

相关文章