用Delphi实现网络视频编程

在MSN、QQ等聊天类的应用程序中,都应用到了网络视频技术。Delphi使用Object Pascal语言是一种完全面向对象语言,可以开发出灵活强大的程序,开发网络视频程序也不在话下。一个完整的网络视频程序应包括以下几个关键技术:视频捕获、视频压缩与解压、数据传输。

一、视频获捕

1.基本概念

微软为软件开发人员提供了一个专门用于视频捕获的VFW (Video for Windows) SDK,为在Windows系统中实现视频捕获提供了标准的接口,从而大大方便了视频捕获程序的开发。由于VFW SDK只有VC和VB版,没有Delphi版,因此需要在Delphi中重新声明DLL中的各个函数和变量(可以参考MSDN中的VC的函数声明以及变量定义,也可以从网上下载写好的头文件vfw.pas)。

VFW是Microsoft 1992年推出的关于数字视频的一个软件包,它能使应用程序数字化并播放从传统模拟视频源得到的视频剪辑。VFW的一个关键思想是播放时不需要专用硬件,为了解决数字视频数据量大的问题,需要对数据进行压缩。它引进了一种叫AVI的文件标准,该标准未规定如何对视频进行捕获、压缩及播放,仅规定视频和音频该如何存储在硬盘上,在AVI文件中交替存储视频帧和与之相匹配的音频数据。VFW给程序员提供VBX和AVICap窗口类的高级编程工具,使程序员能通过发送消息或设置属性来捕获、播放和编辑视频剪辑。

2.AVICap编程

AVICap支持实时的视频流捕获和单帧捕获并提供对视频源的控制,它能直接访问视频缓冲区,不需要生成中间文件,实时性很强,效率很高。同时,它也可将数字视频捕获到文件。AVICap编程的基本步骤包括:

第一步,创建AVICap窗口。通过capCreateCaptureWindow函数创建一个捕获窗,所有的捕获操作及其设置都以它为基础。窗口风格一般为WS_CHILD和WS_VISIBLE。

第二步,设置AVICap窗口的相关属性。通过capPreviewRate函数设置视频捕获速率;通过capPreview函数或capOverlay函数设置显示视频时的模式(普通的摄像头不能用overlay的方式);通过capSetVideoFormat函数设置视频格式(包括长度、宽度等);通过capDlgVideoSource、capDlgVideoFormat、capDlgVideoCompression显示控制视频源、视频格式、视频压缩的对话框。

第三步,定义回调函数。定义捕获帧回调函数,获得每一帧的数据,并对每一帧的数据进行处理,比如压缩、传输到客户端等;定义窗口状态回调函数,获得窗口的状态;定义错误回调函数,获得并处理错误信息。

3.相关控件

虽然利用上面介绍的API可以实现视频捕获编程,但如果将这些API封装成一个控件则编程更为方便,这样的控件可以从常用Delphi网站找到。本文以TvideoCap控件为例,实现视频捕获。

(1)相关属性及方法

DriverIndex该属性是用来指定视频捕获设备序号,从0开始。

DriverOpen该属性是用来确定是否打开指定的视频捕获设备。设置为True表示打开,False表示关闭。

CapToFile该属性是用来确定捕获的同时是否将捕获的画面保存成AVI格式的视频文件。设置为True表示保存,False表示不保存。

VideoPreview该属性是确定捕获的同时是否预览。设置为True表示预览,False表示不预览。

StartCapture该方法是用来捕获视频数据,执行该方法后才会触发相关事件。

其他的属性和方法这里就不一一介绍。

(2)相关事件

OnVideoStream当捕获视频数据时触发该事件,在这里可以获得每一帧的数据,进行相关处理,发送到客户端。

二、视频压缩与解压

通过AVICap窗口捕获的每一帧的数据是以BMP(RAW)文件格式存放的,若直接进行传输,数据量非常大,对网络的带宽要求非常高,因此在传输之前必须对每一帧的数据进行压缩处理后再进行传输。具体步骤:

第一步,安装视频压缩引擎。媒体播放器软件都带有压缩引擎,也可以从网上下载单独的解压缩引擎,比如MPEG4或DIVX等。

第二步,初始化压缩引擎。选择压缩引擎,获得压缩引擎的支持,确定输入、输出格式,设置压缩器。

第三步,压缩帧数据。通过指定的压缩引擎,对获取的每一帧数据进行压缩。

解压的过程与压缩的过程类似,通过选择相对应的解压引擎,将压缩的数据解压,以便于回放。

三、数据传输

1.基本概念

计算机在传输数据时有两种方式:分别是TCP(Transmission Control Protocol,传输控制协议)及UDP(User Datagram Protocol,用户数据报协议),两者分别因数据传输的不同请求而提供不同的数据传输方式。

(1)  TCP协议

TCP是一个基于连接的通信协议,主要目的是提供大量数据传输并确保其传输无误,因此提供错误检查、数据复原及数据重传等机制。TCP在传输数据之前,会先在主机间(例如主控端与被控端)创建连接。根据此连接,数据可在计算机间相互传输,即所谓的双向传输模式。

(2)  UDP协议

UDP是一个非连接式的通信协议,主要目的在于传输少量的数据。与TCP不同的是,TCP在传输之前必须创建连接,而UDP不需要,只要设置计算机间的IP及使用相同的端口,就可以相互传输数据。因此UDP只提供单向的数据传输,即所谓的单向无连接传输模式。

由于UDP不需要先创建连接,节省了TCP创建连接所需的时间,所以适合在主机间进行单向的数据传输。由于视频数据的传输对于实时性要求很高,即使传输过程中有个别帧的数据有错,也不会影响整个视频的效果,故本文将会详细介绍如何通过UDP实现视频数据的传输。

2.控件及相关内容介绍

在Delphi中对于UDP及TCP都提供了很好的支持,而且将它们封装起来。开发人员无须知道协议的具体实现细节,而只要使用Delphi提供的TIdUDPServer元件(在Indy Servers页)即可完成相应的功能。下面我们一起来认识一下这个元件。

(1)  相关属性

DefaultPort该属性是用来指定作为客户端时要打开的端口号,也就是通过该端口来接收数据。

Active该属性是用来打开指定的端口号,设置为True表示打开端口,False表示关闭端口。

BroadcastEnabled该属性是用来设置是否用来实现广播,设置为True表示可以广播,False表示不能广播。

(2)  相关事件

OnUDPRead当客户端收到服务器端发来数据时触发该事件,通过该事件我们可以取得服务器端发的每一帧的数据,以便在客户端回放。

除了以上提到的一些属性及事件外,TIdUDPServer还有一个重要的方法需要了解,那就是SendBuffer,通过该方法可以在服务器端向指定客户端的指定端口发送数据。

四、具体实现

1.服务器端程序

新建一个项目,并将VFW.PAS包含到USES中。在窗体上加入一个控件TVideoCap,命名为VideoCap1,该控件用于视频捕获、显示;放置一个TIdUDPServer,命名为VideoSender,用于传输视频数据;放置两个文本框,CilentIP设置客户端IP,ClientPort设置发送到客户端的端口;一个复选框CheckSend用来决定是否向客户端传输视频;放置两个TButton控件,一个命名为“StartVideo”,用来打开视频,另一个命名为“Closevideo”,用来关闭视频,整体布局如图1所示。

用Delphi实现网络视频编程

图1 服务器端界面

定义发送数据包的结构:

type

VideoData=record

buf:array[0..8079] of byte; //压缩后的视频数据

Num:integer;//帧数据过大时,分几个数据包发送,数据包在这一帧中的编号

IsLast:boolean;//是否是这一帧的最后一个数据包

end;

定义全局变量:

Var

FCV: TCOMPVARS;//帧压缩结构

FInInfo: TBitmapInfo;//压缩时输入结构

FOutInfo: TBitmapInfo;//压缩时输出结构

FoutActSize: DWORD;//压缩后帧数据的大小

Buffer:^byte; //压缩后帧数据地址

Buf: array of Byte;// 压缩后帧数据

主要代码:

//填充BMP头结构

procedure TForm1.FillBitmapStruc;

begin

FillChar(FInInfo.bmiHeader, SizeOf(TBitmapInfoHeader), 0);

with FInInfo.bmiHeader do

begin

biBitCount := 24;

biCompression := BI_RGB;

biHeight := 240;

biPlanes := 1;

biSize := SizeOf(TBitmapInfoHeader);

biWidth := 320;

end;

end;

//初始化压缩引擎

procedure TForm1.InitCompressor;

begin

FillChar(FCV, SizeOf(FCV), 0);

with FCV do

begin

dwFlags := ICMF_COMPVARS_VALID;

cbSize := SizeOf(FCV);

fccHandler := mmioFOURCC('d','i','v','x');   //选择压缩引擎,这里选择divx

fccType := ICTYPE_VIDEO;

hic := ICOpen(ICTYPE_VIDEO,fccHandler, ICMODE_COMPRESS);

lDataRate := 780;

lKey := 15;

lQ :=dword(ICQUALITY_DEFAULT);

if hic <> 0 then

begin

FillChar(FOutInfo, SizeOf(FOutInfo), 0);

ICCompressGetFormat(hic, @FInInfo, @FOutInfo);

FInInfo.bmiHeader.biCompression:=BI_RGB;

FOutInfo.bmiHeader.biCompression:=fccHandler;

ICSeqCompressFrameStart(@FCV, @FInInfo);

end;

end;

end;

//FormOnShow事件

procedure TForm1.FormShow(Sender: TObject);

begin

FillBitmapStruc;

InitCompressor;

//设置VideoCap1的相关属性

VideoCap1.DriverIndex:=0;

VideoCap1.CapToFile:=false;

VideoCap1.DriverOpen:=true;

videocap1.VideoPreview:=true;

end;

//StartVideoOnClick事件

procedure TForm1.StartVideoClick(Sender: TObject);

begin

VideoCap1.StartCapture;

end;

// VideoCap1OnVideoStream事件

procedure TForm1.VideoCap1VideoStream(sender: TObject; lpVhdr: PVIDEOHDR);

var

KeyFrame:boolean;

MyVideo:VideoData;

i:integer;

begin

if CheckSend.Checked then

begin

FOutActSize:=0;

MyVideo.Num:=0;

//压缩帧数据

Buffer:= ICSeqCompressFrame(@FCV, 0, lpVHdr^.lpData, @KeyFrame, @FOutActSize);

SetLength(buf,FOutActSize);

Move(Buffer^, Buf[0], FOutActSize);

//当帧数据太大时,分几个数据包发送

while FOutActSize>8080 do

begin

MyVideo.Num:=MyVideo.Num+1;

MyVideo.IsLast:=false;

for i:=0 to 8079 do

begin

MyVideo.buf[i]:= buf[(MyVideo.Num-1)*8080+i];

end;

FOutActSize:=FOutActSize-8080;

// 向客户端发送数据包

VideoSender.SendBuffer(CilentIP.text,strtoint(ClientPort.text),MyVideo,sizeof(MyVideo));

end;

if FOutActSize<8080 then

begin

MyVideo.Num:=MyVideo.Num+1;

MyVideo.IsLast:=true; //当前帧最后一个数据包

for i:=0 to FOutActSize  do

begin

MyVideo.buf[i]:= buf[(MyVideo.Num-1)*8080+i];

end;

//向客户端发送数据包

VideoSender.SendBuffer(CilentIP.text,strtoint(ClientPort.text),MyVideo,sizeof(MyVideo));

end;

end;

application.ProcessMessages;

end;

//StopVideoOnClick事件

procedure TForm1. StopVideoClick (Sender: TObject);

begin

VideoCap1.StopCapture;

end;

//FormOnClose事件

procedure TForm1.FormClose(Sender: TObject; var Action: TCloseAction);

begin

if FCV.hic <> 0 then

begin

ICSeqCompressFrameEnd(@FCV);

ICCompressorFree(@FCV);

ICClose(FCV.hic);

end;

end;

2.客户端程序

新建一个项目,并将VFW.PAS包含到USES中。在窗体上加入一个控件TImage,命名为Image1,该控件用于视频显示;放置一个TIdUDPServer,命名为VideoReceiver,用于接收视频数据,DefaultPot属性设置为6000,整体布局如图2所示。

用Delphi实现网络视频编程

图2 客户器端界面

定义全局变量:

Var

FCV: TCOMPVARS;//帧压缩结构

FInInfo: TBitmapInfo;//解压时输入结构

FOutInfo: TBitmapInfo;//解压时输出结构

FoutActSize: DWORD;//压缩后帧数据的大小

Buf: array of Byte;// 未解压时帧数据

myout:array[0..230399] of byte;// 解压后帧数据

主要代码:

//填充BMP头结构

procedure TForm1.FillBitmapStruc;

begin

//略,见服务器端程序

end;

//初始化解压缩引擎

procedure TForm1.InitDeCompressor;

begin

//略,见服务器端程序

end;

//FormOnShow事件

procedure TForm1.FormShow(Sender: TObject);

begin

FillBitmapStruc;

InitDeCompressor;

VideoReceiver.Active:=true;

end;

//VideoReceiverOnUDPRead事件

procedure TForm1.VideoReceiverUDPRead(Sender: TObject; AData: TStream;

ABinding: TIdSocketHandle);

var

RetVal:integer;

MyVideo:VideoData;

i:integer;

begin

RetVal:=-1;

AData.Position:=0;

//读取数据

AData.ReadBuffer(MyVideo,sizeof(MyVideo));

if MyVideo.Num=1 then  SetLength(buf,0);

SetLength(buf,(MyVideo.Num)*8080);

for i:=0 to 8079 do

begin

buf[(MyVideo.Num-1)*8080+i]:=MyVideo.buf[i];

end;

if MyVideo.IsLast  then  //当前帧最后一个数据包

begin

//解压数据

RetVal := ICDeCompress(FCV.hic,0,@FoutInfo.bmiHeader,@Buf[0],@FOutInfo.bmiHeader,@myout);

if  RetVal= ICERR_OK then

begin

//在Image1上画出一帧图像

StretchDIBits(Image1.Canvas.Handle,0,0,Image1.Width,Image1.Height,0,0,FOutInfo.bmiHeader.biWidth,FOutInfo.bmiHeader.biHeight,@myout,FOutInfo,0,SRCCOPY );

Image1.Repaint;

end;

end;

end;

//FormOnClose事件

procedure TForm1.FormClose(Sender: TObject; var Action: TCloseAction);

begin

//略,同服务器端

end;

到此为止,整个网络视频程序就全部实现了。当然本程序的功能还有限,不过只要掌握了网络视频的的基本原理及相关知识后,根据需要在本程序的基础上进行扩充,完全可以成为一个实用的网络视频软件。本程序所有代码在Delphi7、Windows 2000/XP 及局域网中调试运行通过。

上一篇:X86 架构和 ARM 架构


下一篇:C#中的String类