全网首发:DeepStream中,获得视频帧数据的代码

根据工作安排,最近对gstreamer进行了研究。工作中要求,把播放的视频帧画面拿到,进行一些处理。这东西可是够偏门的,搜索的资料实在太少。经过反复搜索,连蒙带猜,终于解决了。


解决之后觉得自己真的好幸运:


之前对gstreamer/cuda等等一无所知,临时上手。

并没有代码告诉说如何取得视频画面,完全是通过搜索到的一点蛛丝马迹,连蒙带猜找到正确的路子。

自己的反复测试、验证、分析。

一两天的时间解决(21号入职,之前安装、搭建环境折腾了好几天)。


想想自己觉得有点神奇。除了自己勤快,还要真心感恩勤劳的程序员们,感恩观世音菩萨!


 要解决这个问题,确实不是一下子能搞定的,因为其中涉及到cuda。


 有三个关键点:


对osd增加一个探头。这个相对容易。

通过gst_buffer_map得到GstMapInfo。这个很难想到。吾怎么想到的?一个是网上搜索,另外是把相应的头文件、结构体仔细研究过。

通过cudaMemcpy将数据抓出来。这个也很难想到,地址拿到了一访问就崩溃,一般认为获取的方法不对、得到的结果不对等等。吾亦是看到有人用类似的cuda进行缩放,才想到这个可能。也很幸运,找到了正确的办法。

为了避免同志们的苦恼,在此共享出来,希望能够给大家带来帮助。

  • 增加一个探头:
GstElement*   sink_pad2 = gst_element_get_static_pad (osd, "sink");
    osd_probe_id = gst_pad_add_probe (sink_pad2, GST_PAD_PROBE_TYPE_BUFFER,  osd_sink_pad_buffer_probe, NULL, NULL);
  • 实现osd_sink_pad_buffer_probe函数:
static GstPadProbeReturn osd_sink_pad_buffer_probe (GstPad * pad, GstPadProbeInfo * probe_info, gpointer u_data)
 
{
   GstBuffer *gstbuf = (GstBuffer *) probe_info->data;
   GstMapInfo map_info;
   NvBufSurface *nvsurface = NULL;
 
   if (gstbuf == NULL)
   {
      return NULL;
   }
 
   //memset(&map_info, 0, sizeof(map_info));
   if (!gst_buffer_map (gstbuf, &map_info, GST_MAP_READ))
   {
     g_print ("gst_buffer_map() error!");
     return NULL;
   }
 
   nvsurface =  *((NvBufSurface **) map_info.data);
   //nvsurface->width;
   //nvsurface->height;
 
   nPixcelByteCount = nvsurface->width*nvsurface->height*BYTES_ARGB;
   if (pFrameVideoDataBuffer == NULL)
   {
       pFrameVideoDataBuffer = malloc(nPixcelByteCount);
   }
 
   //NvBufMemType=2, 即:
   //MEM_CUDA_DEVICE, < Device memory allocated using cudaMalloc
   if (nvsurface->mem_type == MEM_CUDA_DEVICE)
   {
       //不能直接访问,必须复制出来。
       cudaMemcpy(pFrameVideoDataBuffer, nvsurface->buf_data[0], nPixcelByteCount, cudaMemcpyDeviceToHost);
   }
   else
   {
       memcpy(pFrameVideoDataBuffer, nvsurface->buf_data[0], nPixcelByteCount);
   }
 
   gst_buffer_unmap (gstbuf, &map_info);
 
   //进行一些处理。
   //free(pFrameVideoDataBuffer);
   return GST_PAD_PROBE_OK;
}
 


上一篇:myrocks之事务处理


下一篇:中国人工智能学会通讯——计算机视觉:下一步是什么?