揭开可拍照手机图像处理“魔术”的秘密
发布时间:2008/6/3 0:00:00 访问次数:605
    
    
    在可拍照手机中每个漂亮照片的背后,都有大量的电子/光学/机械处理“魔术”在上演着。而用户通常不留意这些处理“魔术”,因为它们静悄悄且不为人注意地进行着。本文讨论用一个可拍照手机内的cmos传感器生成一个优异图像所面临的各种挑战。
    
    图像的生成
    
    在一个胶片相机中,通过一个光学系统采集的光照射在一段胶片上,胶片经过曝光以及随后的化学冲洗过程。而在数码相机中,光依然是穿过一个带有多元件镜头和镜头筒的光学系统,不过此时这些光是照射在一个传感器行列阵上,该传感器阵由几百万个微小图像元素即像素组成。图1是一个数码相机的机械示意图。
    
    当光照射到该像素阵列上,穿过一个色彩滤波器阵列,确保只有蓝色、红色或绿色光真正到达适当的像素上。在每个像素上生成一个模拟信号,它再经过一个adc被变换成一个数字信号。该信号随后穿过一个被称为图像管道(即i-pipe)的部件,该部件由一系列使信号看起来像一幅真实照片的电子滤波器构成。
    
    
    
    图1:一个数码相机的机械示意图,其光学系统和一个常规胶片相机的光学系统基本一致。
    
    i-pipe调整白色平衡和色彩,并消除由拍照方法本身引入的某些异常。这些异常包括镜头阴影、几何失真、偏离镜头中心的照片跑焦模糊和数字传感器噪声。安捷伦的i-pipe还把该图像压缩成jpeg格式以便生成可迅速写入一个存储媒介的容量小且精确的压缩图像。
    
    对光进行预处理
    
    一个吸收性或反射性红外滤波器被用来阻止780纳米以上的红外辐射,而只让光谱的可见光部分通过。这确保图像传感器只关注人眼将看到的东西,并对色彩的完整度进行优化。如果不以这种方式截断红外光,它就可能引起模糊并降低镜头所拍图像的清晰度。
    
    
    
    图2:人眼对绿色的敏感度是对红色和蓝色的两倍。bayer色彩滤波器采用一行蓝色和绿色滤波器与一行红色和绿色滤波器相交替,使得绿色像素是蓝色、红色像素的两倍。
    
    一个微镜头还用来预处理下落光,以便这些光被尽可能地折射进垂直方向的像素中。该微镜头提高了该像素的感光度,它通常位于色彩滤波阵列的正上方。
    
    色彩滤波器阵列——bayer滤波器
    
    光电二极管对亮度很敏感但对色彩不敏感。因而,必须采用某种机制,通过人工调整使其对特定的色彩敏感,以便这些色彩可以最终能够展现在人眼前。一个色彩滤波器阵列可用来确保每个传感器像素接收到的只是一种颜色的光:典型的是红色、蓝色或绿色。
    
    有多种不同的模式可用于色彩滤波器阵列。基于人眼感觉颜色的方式,以及人眼对绿色的敏感度是对红色和蓝色敏感度的两倍这个事实,意味着为了模仿人眼感觉,相机需要更多的绿色像素。在图2所示的bayer模式中,一行蓝色和绿色滤波器与一行红色和绿色滤波器相交替,其结果是所具有的绿色像素比蓝色和红色多出一倍。bayer滤波器的原始输出是一个亮度不同的蓝色、绿色和红色像素组成的马赛克图,其亮度变化取决于照射在一个特定像素上的光亮度。
    
    去马赛克效应和白色平衡
    
    当该色彩滤波器阵列生成一个图像时,四个独立的像素决定一个单一像素的颜色。这形成一个看起来不像真实图像的分离色彩马赛克图。除非通过一种去马赛克效应的算法,利用目标像素最靠近的若干像素颜色值的平均来接近目标像素的真正颜色。
    
    
    
    图3:一个微镜头用于把进入像素的光线尽可能折射到垂直方向上。较高端的传感器采用一个辅助的微镜头把这个光再次弯曲,进一步下移像素,从
    
    
    在可拍照手机中每个漂亮照片的背后,都有大量的电子/光学/机械处理“魔术”在上演着。而用户通常不留意这些处理“魔术”,因为它们静悄悄且不为人注意地进行着。本文讨论用一个可拍照手机内的cmos传感器生成一个优异图像所面临的各种挑战。
    
    图像的生成
    
    在一个胶片相机中,通过一个光学系统采集的光照射在一段胶片上,胶片经过曝光以及随后的化学冲洗过程。而在数码相机中,光依然是穿过一个带有多元件镜头和镜头筒的光学系统,不过此时这些光是照射在一个传感器行列阵上,该传感器阵由几百万个微小图像元素即像素组成。图1是一个数码相机的机械示意图。
    
    当光照射到该像素阵列上,穿过一个色彩滤波器阵列,确保只有蓝色、红色或绿色光真正到达适当的像素上。在每个像素上生成一个模拟信号,它再经过一个adc被变换成一个数字信号。该信号随后穿过一个被称为图像管道(即i-pipe)的部件,该部件由一系列使信号看起来像一幅真实照片的电子滤波器构成。
    
    
    
    图1:一个数码相机的机械示意图,其光学系统和一个常规胶片相机的光学系统基本一致。
    
    i-pipe调整白色平衡和色彩,并消除由拍照方法本身引入的某些异常。这些异常包括镜头阴影、几何失真、偏离镜头中心的照片跑焦模糊和数字传感器噪声。安捷伦的i-pipe还把该图像压缩成jpeg格式以便生成可迅速写入一个存储媒介的容量小且精确的压缩图像。
    
    对光进行预处理
    
    一个吸收性或反射性红外滤波器被用来阻止780纳米以上的红外辐射,而只让光谱的可见光部分通过。这确保图像传感器只关注人眼将看到的东西,并对色彩的完整度进行优化。如果不以这种方式截断红外光,它就可能引起模糊并降低镜头所拍图像的清晰度。
    
    
    
    图2:人眼对绿色的敏感度是对红色和蓝色的两倍。bayer色彩滤波器采用一行蓝色和绿色滤波器与一行红色和绿色滤波器相交替,使得绿色像素是蓝色、红色像素的两倍。
    
    一个微镜头还用来预处理下落光,以便这些光被尽可能地折射进垂直方向的像素中。该微镜头提高了该像素的感光度,它通常位于色彩滤波阵列的正上方。
    
    色彩滤波器阵列——bayer滤波器
    
    光电二极管对亮度很敏感但对色彩不敏感。因而,必须采用某种机制,通过人工调整使其对特定的色彩敏感,以便这些色彩可以最终能够展现在人眼前。一个色彩滤波器阵列可用来确保每个传感器像素接收到的只是一种颜色的光:典型的是红色、蓝色或绿色。
    
    有多种不同的模式可用于色彩滤波器阵列。基于人眼感觉颜色的方式,以及人眼对绿色的敏感度是对红色和蓝色敏感度的两倍这个事实,意味着为了模仿人眼感觉,相机需要更多的绿色像素。在图2所示的bayer模式中,一行蓝色和绿色滤波器与一行红色和绿色滤波器相交替,其结果是所具有的绿色像素比蓝色和红色多出一倍。bayer滤波器的原始输出是一个亮度不同的蓝色、绿色和红色像素组成的马赛克图,其亮度变化取决于照射在一个特定像素上的光亮度。
    
    去马赛克效应和白色平衡
    
    当该色彩滤波器阵列生成一个图像时,四个独立的像素决定一个单一像素的颜色。这形成一个看起来不像真实图像的分离色彩马赛克图。除非通过一种去马赛克效应的算法,利用目标像素最靠近的若干像素颜色值的平均来接近目标像素的真正颜色。
    
    
    
    图3:一个微镜头用于把进入像素的光线尽可能折射到垂直方向上。较高端的传感器采用一个辅助的微镜头把这个光再次弯曲,进一步下移像素,从
上一篇:可拍照手机吹响图像性能革新的号角