1.2      硬件/软件区分

目前相机在移动式电话中越发有用，支持静态图片和视频短片的采集和传输(多媒体信息服务)。随着网络带宽(如，3G UMTS)的增加实时移动视频连接将是可行的，新功能如移动视频电话和视频聊天。必须指出，这些功能的易用性非常重要，这将是市场接受这个新服务的关键要求。因此不但要关注质量问题如帧和图像的稳定性，还有用户体验。例如自动检测跟踪用户人头位置功能，用以帮助移动视频电话会议中保持人脸处于相机视野中。但是图像设备处理单元需要低成本，低能耗，同时支持上述移动通信应用功能。为了满足成本和性能需求，图像设备系统通常有几个不同部件组成，有用户自定义加速器和标准处理器。这些部件的范围，速度，编程方法各有不同，系统功能性就是对这些部件进行划分达到最佳应用。然而对于性能的关键设计，只堆叠关键零件如客户自定义的高性能硬件是不够的，还需要在多个粒度级别上传输系统。通过可重新配置的硬件设备可以实现用户自定义加速器，如现场可编程门阵列(FPGAs)。软硬件区分(如，算法被智能地分成硬件加速和软件模块的结构定义)不是简单地设计软件或硬件，因为这些应用功能本质上是软硬件联合设计实现的。举个例子，一个应用功能跑在FPGA上可能就1、2个指令，速度上极快于其跑在软件上，但硬件上处理会导致额外的成本，这些在软件上就不需要。这些成本包括硬件初始化消耗，边缘情况下额外的简单处理，和图像进出可重新配置设备的通信。图像处理应用功能的运行时间随图像大小改变，由于额外的开销在FPGA上处理小图像可以就不那么经济。图像加速器常被设计成多数据通道，能同时处理几个图像像素。为定义这些数据通过可通过如下几个熟知的方法：

l  SIMD并行，典型数据通道并行处理N个像素，或对于一些二进制处理器，8xN像素。这中处理方式因为通用CPUs中的多媒体扩展而被熟知。

l  更深层次运算管道，通过1个微指令实现编码和复杂运算处理的执行。

光学和传感器概念

摘要：本章节主要描述图像采集系统中光学系统和sensor的相关内容。光学系统是图像采集系统的初始步骤，由1个或多个镜头组成，目的在于将光线聚集到sensor表面得到聚焦正常的图像。是图像系统中最贵的部分之一。移动式相机上的镜头通常是一个由塑料和玻璃透镜堆叠而成的系统，在单镜头反射相机中，一组玻璃透镜系统用于去除图像伪影。本章节会对透镜进行概述。此外，会介绍一些典型的伪影现象(如，串扰和色差)。Sensor是将光学图像转化成电信号的部分。Sensor有几种不同类型，按技术分(CCD-电荷耦合器件和COMS-互补金属氧化物半导体)，按CFA分(Bayer,Foveon,3CCD,全色)，按转换功能分(LDR-低动态范围，WDR-宽动态范围和HDR-高动态范围)。

2.1引言

 

图2.1 黄鸭系统：从真实世界到最终数字图像

 

图2.1 是经典的”黄鸭”系统，描述了从现实世界，采集系统，数字处理到最后数字压缩图像的过程。第一个单元，镜头部分和其合适系统下工作情况，将在第4章进行详细研究。本章主要致力于图像传感器的内部部件解析。硅sensor，其表层，技术和基本单元：像素(图像单元)。

在接下来的部分会解释sensor系统的概述，不同sensor的技术和实际设备中的彩色模式。