位置:51电子网 » 技术资料 » 传感与控制

图像传感器与软件图像处理流水线

发布时间:2008/5/29 0:00:00 访问次数:445

david katz和rick gentile

  当今数码照相机基本都是基于电荷耦合器件(ccd)或cmos传感器技术。这两种技术都能将光信号转换为电信号,但它们的转换方式不同。

  在ccd组件中,由数百万光敏像素组成的阵列覆盖在ccd传感器的表面。在传感器曝光后,首先ccd的末端读出覆盖整个ccd像素阵列上的累积电荷,然后经模拟前端(afe)芯片或ccd处理器数字化。另外一种传感器,cmos传感器可直接将每个像素单元的曝光程度数字化。

  通常,ccd具有最高的图像质量和最低的噪声,但是其功耗较高。cmos传感器容易制造并且具有低功耗特性,但是其图像质量较低。部分原因是因为位于每个像素的晶体管容易阻挡到达像素的部分光信号。然而,如果在质量竞争过程中与ccd比价格,那么cmos具有优势,并且目前采用cmos传感器的中挡数码照相机的数量越来越多。

  无论数码照相机内部采用哪种传感器,传感器阵列的所有像素都需对灰度等级灵敏——从全暗(黑)到全亮(白)。对灰度等级敏感程度被称为“比特深度”。因此,8 bit像素可区分28或256个灰度梯度,而12 bit像素可区分4096个灰度梯度。分层的整个像素阵列是一种将每个像素分为几个对颜色敏感的“子像素”的滤色镜。这种安排允许测量每个像素单元不同颜色的成分。因此,每个像素单元的颜色可看作是红色(r)、绿色(g)和蓝色(b)通道光的成分以加法方式叠加的总和。比特深度越高, rgb空间能产生的颜色越丰富。例如,24 bit颜色(r、g和b每通道为8 bit)可产生224或1,670万种离散的颜色。

  为了恰当地表示彩色图像,每个像素单元,每个传感器需要3种颜色采样——最通常是r,g和b。然而,为每个数码照相机配备3个单独的传感器并不是经济有效的解决方案(虽然最近这种解决方案变得比较实际)。而且,当传感器的分辨率增加到5百万~1千万像素时,就会需要一些图像压缩格式防止为每个像素单元需要输出3个字节(或更坏情况下,对于更高分辨率的传感器,还会需要输出3个12 bit字)。

  不用担忧,因为数码照相机生产厂商已经开发出了减少必要的颜色采样数目的巧妙方法。最常用的方法是采用色彩滤镜阵列(cfa),它仅测量任何给定像素单元的一种颜色。然后,用图像处理器对测量结果进行插值运算以便看起来好像在每个像素单元测量了3种颜色。

  当今最流行使用的cfa是bayer模式,如图1所示。该方案由kodak创立,它利用这样的原理:人眼对绿色成分的识别灵敏度大于红色或蓝色。因此,在bayer滤光镜阵列中,通过绿色滤光镜的光强是通过蓝色滤光镜或红色滤光镜的两倍。这便引出一种通常称作的“4:2:2 rgb”的输出格式,即每发送2份红色光和2份蓝色光就对应发送4份绿色光。

 
图1: bayer模式图像传感器排列

图像传感器的连接

  cmos传感器通常按照ycbcr或rgb格式输出像素单元的并行数据流,同时伴随水平同步和垂直同步以及像素时钟。有时,它们允许使用外部时钟和同步信号来控制来自传感器的帧图像输出。

  另一方面,ccd传感器通常需要随后连接“模拟前端(afe)”芯片,例如ad9948,它可处理模拟输出信号、将其数字化并且产生扫描ccd阵列的合适时序。处理器为afe提供同步信号,它需要这种控制信号来管理ccd阵列。从afe输出的并行数据流可能为每像素单元提供10 bit或12 bit的分辨率。

  最近,低电压差分信号传输(lvds)技术已经成为取代并行数据总线的重要方法。lvds技术是一种低成本、低引脚数和高速串行的连接方法,它比标准并行方案提高了抗噪声性能并且降低了功耗。随着传感器分辨率和色深度增加以及便携式多媒体应用越来越普遍,这种lvd连接方法显得格外重要,

图像流水线

  当然,照相过程并不是终止于传感器,相反,传感器仅是处理过程的开始。让我们看一下原始图像在显示器上呈现出精美的图像之前是什么样子。在数码照相机中,这些处理阶段的顺序被称为“图像处理流水线”,或简称为“图像流水线”。请参见图2所示的一个数据流程。这些算法通常由多媒体处理器来完成,例如adi公司的blackfin处理器系列。

 
图2: 软件图像处理流水线流程示例

机械反馈控制

  在你平静地释放快门按钮之前,聚焦和曝光系统与照相机的机械部件一起工作,根据场景特性控制镜头的位置。自动曝光算法测量分立景物区域的亮度,通过调节快门速度和(或)光圈以对曝光过度或曝光不足的区域进行补偿。我们的主要目标是维持图像中不同区域之间的相对对比度并且达到所要求的平均亮度。

  自动聚焦算法可分为两类。其中主动算法采用红外线或超声波发射器和接收器估计照相机和拍摄对象之间的距离。另一种被动算法是根据照相机所接收的图像进行聚焦。

  在这两种子系统中,多媒体处理器通过

david katz和rick gentile

  当今数码照相机基本都是基于电荷耦合器件(ccd)或cmos传感器技术。这两种技术都能将光信号转换为电信号,但它们的转换方式不同。

  在ccd组件中,由数百万光敏像素组成的阵列覆盖在ccd传感器的表面。在传感器曝光后,首先ccd的末端读出覆盖整个ccd像素阵列上的累积电荷,然后经模拟前端(afe)芯片或ccd处理器数字化。另外一种传感器,cmos传感器可直接将每个像素单元的曝光程度数字化。

  通常,ccd具有最高的图像质量和最低的噪声,但是其功耗较高。cmos传感器容易制造并且具有低功耗特性,但是其图像质量较低。部分原因是因为位于每个像素的晶体管容易阻挡到达像素的部分光信号。然而,如果在质量竞争过程中与ccd比价格,那么cmos具有优势,并且目前采用cmos传感器的中挡数码照相机的数量越来越多。

  无论数码照相机内部采用哪种传感器,传感器阵列的所有像素都需对灰度等级灵敏——从全暗(黑)到全亮(白)。对灰度等级敏感程度被称为“比特深度”。因此,8 bit像素可区分28或256个灰度梯度,而12 bit像素可区分4096个灰度梯度。分层的整个像素阵列是一种将每个像素分为几个对颜色敏感的“子像素”的滤色镜。这种安排允许测量每个像素单元不同颜色的成分。因此,每个像素单元的颜色可看作是红色(r)、绿色(g)和蓝色(b)通道光的成分以加法方式叠加的总和。比特深度越高, rgb空间能产生的颜色越丰富。例如,24 bit颜色(r、g和b每通道为8 bit)可产生224或1,670万种离散的颜色。

  为了恰当地表示彩色图像,每个像素单元,每个传感器需要3种颜色采样——最通常是r,g和b。然而,为每个数码照相机配备3个单独的传感器并不是经济有效的解决方案(虽然最近这种解决方案变得比较实际)。而且,当传感器的分辨率增加到5百万~1千万像素时,就会需要一些图像压缩格式防止为每个像素单元需要输出3个字节(或更坏情况下,对于更高分辨率的传感器,还会需要输出3个12 bit字)。

  不用担忧,因为数码照相机生产厂商已经开发出了减少必要的颜色采样数目的巧妙方法。最常用的方法是采用色彩滤镜阵列(cfa),它仅测量任何给定像素单元的一种颜色。然后,用图像处理器对测量结果进行插值运算以便看起来好像在每个像素单元测量了3种颜色。

  当今最流行使用的cfa是bayer模式,如图1所示。该方案由kodak创立,它利用这样的原理:人眼对绿色成分的识别灵敏度大于红色或蓝色。因此,在bayer滤光镜阵列中,通过绿色滤光镜的光强是通过蓝色滤光镜或红色滤光镜的两倍。这便引出一种通常称作的“4:2:2 rgb”的输出格式,即每发送2份红色光和2份蓝色光就对应发送4份绿色光。

 
图1: bayer模式图像传感器排列

图像传感器的连接

  cmos传感器通常按照ycbcr或rgb格式输出像素单元的并行数据流,同时伴随水平同步和垂直同步以及像素时钟。有时,它们允许使用外部时钟和同步信号来控制来自传感器的帧图像输出。

  另一方面,ccd传感器通常需要随后连接“模拟前端(afe)”芯片,例如ad9948,它可处理模拟输出信号、将其数字化并且产生扫描ccd阵列的合适时序。处理器为afe提供同步信号,它需要这种控制信号来管理ccd阵列。从afe输出的并行数据流可能为每像素单元提供10 bit或12 bit的分辨率。

  最近,低电压差分信号传输(lvds)技术已经成为取代并行数据总线的重要方法。lvds技术是一种低成本、低引脚数和高速串行的连接方法,它比标准并行方案提高了抗噪声性能并且降低了功耗。随着传感器分辨率和色深度增加以及便携式多媒体应用越来越普遍,这种lvd连接方法显得格外重要,

图像流水线

  当然,照相过程并不是终止于传感器,相反,传感器仅是处理过程的开始。让我们看一下原始图像在显示器上呈现出精美的图像之前是什么样子。在数码照相机中,这些处理阶段的顺序被称为“图像处理流水线”,或简称为“图像流水线”。请参见图2所示的一个数据流程。这些算法通常由多媒体处理器来完成,例如adi公司的blackfin处理器系列。

 
图2: 软件图像处理流水线流程示例

机械反馈控制

  在你平静地释放快门按钮之前,聚焦和曝光系统与照相机的机械部件一起工作,根据场景特性控制镜头的位置。自动曝光算法测量分立景物区域的亮度,通过调节快门速度和(或)光圈以对曝光过度或曝光不足的区域进行补偿。我们的主要目标是维持图像中不同区域之间的相对对比度并且达到所要求的平均亮度。

  自动聚焦算法可分为两类。其中主动算法采用红外线或超声波发射器和接收器估计照相机和拍摄对象之间的距离。另一种被动算法是根据照相机所接收的图像进行聚焦。

  在这两种子系统中,多媒体处理器通过

相关IC型号

热门点击

 

推荐技术资料

滑雪绕桩机器人
   本例是一款非常有趣,同时又有一定调试难度的玩法。EDE2116AB... [详细]
版权所有:51dzw.COM
深圳服务热线:13751165337  13692101218
粤ICP备09112631号-6(miitbeian.gov.cn)
公网安备44030402000607
深圳市碧威特网络技术有限公司
付款方式


 复制成功!