要播放H264裸码流,可以分拆为以下三个工作:
1.解码H264裸码流获取YUV数据
2.将YUV数据转换为RGB数据填充图片
3.将获取的图片进行显示
要完成工作1,我们可以直接使用海思的解码库,由于海思的解码库是C++的动态库,要完成在C#中进行调用可以参考海思h264解码库这篇文章,介绍的很详细。但是对于该博文只介绍了一种帧解码的方法,并没有介绍真正实用的流式解码方法。自己根据解码库的参考文档写了一份C#版的流式解码算法。
//初始化
// 这是解码器输出图像信息
hiH264_DEC_FRAME_S _decodeFrame = new hiH264_DEC_FRAME_S();
// 这是解码器属性信息
hiH264_DEC_ATTR_S decAttr = new hiH264_DEC_ATTR_S();
decAttr.uPictureFormat = ;
decAttr.uStreamInType = ;
/* 解码器最大图像宽高, D1图像(1280x720) */
decAttr.uPicWidthInMB = (uint)width / ;
decAttr.uPicHeightInMB = (uint)height / ;
/* 解码器最大参考帧数: 16 */
decAttr.uBufNum = ;
/* bit0 = 1: 标准输出模式; bit0 = 0: 快速输出模式 */
/* bit4 = 1: 启动内部Deinterlace; bit4 = 0: 不启动内部Deinterlace */
decAttr.uWorkMode = 0x10;
//创建、初始化解码器句柄
IntPtr _decHandle = H264Dec.Hi264DecCreate(ref decAttr);
//解码结束
bool isEnd = false;
int bufferLen = 0x8000;
//码流段
byte[] buf = new byte[bufferLen];
while (!isEnd)
{
//获取一段码流,积累一定缓存量再解
if (streamBuf.Count >= bufferLen || isStop == )
{
byte tempByte;
int j = ;
for (int i = ; i < bufferLen; i++)
{
if (streamBuf.TryDequeue(out tempByte))
buf[j++] = tempByte;
else
{
break;
}
}
IntPtr pData = Marshal.AllocHGlobal(j);
Marshal.Copy(buf, , pData, j);
int result = ;
result = H264Dec.Hi264DecFrame(_decHandle, pData, (UInt32)j, , ref _decodeFrame, (uint)isStop);
while (HI_H264DEC_NEED_MORE_BITS != result)
{
if (HI_H264DEC_NO_PICTURE == result)
{
isEnd = true;
break;
}
if (HI_H264DEC_OK == result)/* 输出一帧图像 */
{
//获取yuv
UInt32 tempWid = _decodeFrame.uWidth;
UInt32 tempHeig = _decodeFrame.uHeight;
UInt32 yStride = _decodeFrame.uYStride;
UInt32 uvStride = _decodeFrame.uUVStride;
byte[] y = new byte[tempHeig * yStride];
byte[] u = new byte[tempHeig * uvStride / ];
byte[] v = new byte[tempHeig * uvStride / ];
Marshal.Copy(_decodeFrame.pY, y, , y.Length);
Marshal.Copy(_decodeFrame.pU, u, , u.Length);
Marshal.Copy(_decodeFrame.pV, v, , v.Length); //转为yv12格式
//byte[] yuvBytes = new byte[y.Length + u.Length + v.Length];
//Array.Copy(y, 0, yuvBytes, 0, y.Length);
//Array.Copy(v, 0, yuvBytes, y.Length , v.Length);
//Array.Copy(u, 0, yuvBytes, y.Length + v.Length, u.Length);
//更新显示
this.d3dSource.Render(_decodeFrame.pY, _decodeFrame.pU, _decodeFrame.pV);
}
/* 继续解码剩余H.264码流 */
result = H264Dec.Hi264DecFrame(_decHandle, IntPtr.Zero, , , ref _decodeFrame, (uint)isStop);
}
}
System.Threading.Thread.Sleep();
}
/* 销毁解码器 */
H264Dec.Hi264DecDestroy(_decHandle);
要完成工作2,有多种方式,一是自己实现转换,二是使用ffmpeg的库进行yuv和rgb的转换,三是使用D3D进行转换,效率最高的是第三种方式,因为它是利用显卡来进行转换的,更详细的内容可以参考WPF下YUV播放的D3D解决方案 。
要完成工作3就非常简单了,弄个ImageView进行显示就好了。