前言：

该篇文章旨在帮助刚接触javaCV的盆友系统的认识音视频、javaCV、图像处理相关的体系知识和一些实用的知识。

序：

javaCV早期因为内置了openCV库，所以常用来做图像识别应用，现在网上一搜一大把的就是这种应用场景下的javaCV教程，在这里就不多讲这一块知识了。

这里我们将围绕Frame类系统的讨论javaCV能帮我们做什么？能实现什么功能？ffmpeg和openCV能实现的功能，使用javaCV如何做到更快、更简单的实现相应的功能。

补充：javaCV之所以叫javaCV就是因为openCV而得名，所以javaCV在图像处理上的能力等同于openCV，但在视频处理上要比openCV好，因为javaCV内置了7个视觉库，ffmpeg和opencv只是其中两个，而我们常用的也就是这两个库，另外5个库暂时用不到。

1、javaCV操作流程汇总：

javaCV一般的操作流程只有两步：抓取->（Frame）->录制

抓取包含一些初始化操作，文件或者网络流数据源获取，查找解码器等等操作

录制包含解复用、编码、输出、释放资源等等操作

大家可能有些疑惑了，封装成这样，抓取后我要对音视频源数据进行调整怎么办？而且这个经常会用到

所以我们应该调整一下补充一下我们的流程，我们的流程应该在录制之前进行处理这个Frame对象。

2、关于对Frame对象的联想

Frame类在javaCV里面很重要。Frame对象作为数据容器，可以存放一帧视频数据、一堆视频参数和多个通道的音频数据、音频参数（补充：这里的多通道也就是支持多路音频组装的意思，多路音频算是复杂场景了吧；下面也会讲到复杂视频场景，画中画，多画面组装，文字、图像、动态水印等等）

2.1、抓取后的Frame对象使用

既然是一个容器，那么当我们使用grabber（抓取器）抓取音/视频的时候自然也就可以从这里面获取想要的的数据。

补充：抓取，通过grabber从本地视频文件，摄像头视频，rtp/rtsp/rtmp等等获取视频源的这个动作统称为：抓取，我们完成这个操作的类叫做抓取器，这是个很形象的翻译，也很好理解。

比如我们需要给抓取到的视频加个水印，或者抓取两个视频，进行合并（至于怎么合并咱先不管这个），而这些操作都不需要直接从frame中获取数据源，而是直接通过javacv-opencv来帮助我们调整每一帧视频，这时候还没有开始解复用编码的操作，详细的内容不在这里赘述，javaCV开发详解的系列文章中有提到该块内容。

补充：java本身是支持图像相关操作的，可以添加水印之类的还是可以实现的

3、关于字节流的处理

一般移动端设备在进行推流的时候不会直接推送到流媒体服务器，而是推送一个字节流，我们需要将这个字节流在服务器做一个中转然后由中转服务器推送到流媒体服务器

之前我们讲了Frame是一个容器，那么自然可以放音视频数据。在Frame中设置好你的音视频参数，就可以通过recorder（录制器）到流媒体服务器了

补充：录制，我们把音视频数据解复用，编码和推送到流媒体服务器的动作称为录制，为方便理解这里的recorder就叫录制器