结合传感器的并行处理器实现高速成像
发布时间:2008/8/26 0:00:00 访问次数:459
如果一幅图像的数据量相当于一千个字符,那么100,000幅图像的数据量有多大?能否设计一个数字成像系统来处理如此高帧速的图像。这样一个成像系统可以应用于机器视觉,智能视频系统,瞬间事件的科学分析,工业过程监控,互动游戏以及无人运输器和导弹的制导系统等众多领域。
2000年,来自匈牙利、西班牙和美国的科学家在布达佩斯成立了analogic计算机公司。该公司的目标就是设计每秒能存储、分析和增强几千帧图像的数字成像系统。3年后,他们又在美国加利福尼亚州,伯克利城成立了analogic的后继公司,eutecus。在美国导弹防御局以及海军研究办公室的许可下,他们开发了cellular visual technology(cvt).
cvt由大规模并行处理器和优化成像处理软件构成。有些实现方法使用一种创新的半导体制造工艺把图像传感器和并行处理阵列直接结合在一起,创造出一个多层芯片。图1是c-ton的照片。c-ton是第一款为商业市场设计的此类芯片。
公司首席技术官dr akos zarandy和dr csaba rekeczky 奔波于布达佩斯和伯克利之间。cvt技术的发明人,公司技术副主席,zarandy10月份在秋季微处理器论坛上发表了关于cvt的技术介绍。这篇文章也吸取了该技术的另一名发明人,公司研发副主席rekeczky的意见。
并非传统数字相机
eutecus的设计与传统数字相机以及家庭摄像机大相径庭。经典的数字相机有ccd或cmos成像传感器,这些传感器由微小感应单元组成的阵列覆盖而成。几乎每个感应单元都对应一个像素。在曝光过程中,照射到感应单元的光被转化为电。也就是说,感应单元将光子转化为电子。照射到感应单元上的光子越多,产生的电子越多,从而形成的像素越亮。经过模数转换,嵌在risc核中的传统微处理器读取每个感应单元的值把像素聚合成图像。然后经过增强的图像被存储到照相机的闪存或其它存储媒介上之前。
传统数字相机的帧速很低,经常是几秒一帧而不是一秒几帧。处理器读取感应单元数据和聚合图像很费时间。为了解决这一问题,几乎所有的数字相机都有缓存。前一次曝光的数据就存在这些缓存中供处理器进行处理,以便相机进行下一次曝光。
家庭数字摄像机有更大的缓存。通过降低像素分辨率,它每秒可以处理25到30帧图像,满足pal,secam或ntsc视频的要求。通过使用更大的成像传感器,高清晰度家庭数字摄像机可以录制更高帧速和画质更好的图像。当然,由于使用了更大的传感器,这种摄像机的价钱更高。但是,传统摄像机无法在超高帧速下录制和处理图像。
图像处理是实现高速成像的主要障碍:所有的光子几乎在同一瞬间到达各感应单元并被计入同一“时间窗”,但是聚合图像的处理器却是顺序处理这些数据。图像感应几乎是并行的,图像处理却不是。因此,从逻辑上解决该问题的方案是应用大规模并行处理。所以,每一个或每一组感应单元应该有专属的处理器。除此之外为了实现高速成像,eutecus还应用了人眼视觉特性仿真的技术。
大规模图像并行处理
首先,我们要注意的是eutecus为了达到梦幻般的帧速这一目标使用了大规模并行处理,但同时还是牺牲了像素的分辨率和色彩。这是在目前半导体技术水平下无法避免的。eutecus最新的cvt感应处理器仅能处理64×64像素,8或16位灰度级或者完全黑白的图像。eutecus相信在同样工艺结构下可以制造出处理能力达到256×256像素图像的芯片,大概是0.06兆像素。
与现今流行的10.2兆像素数字slr (single-lens teflex)相比,cvt的分辨率看起来有些低。但是这种分辨率已经可以满足很多应用领域。例如,机器视觉,低分辨率的图像足以让机器人绕开小的物体和避免撞墙。在另一些应用领域中,与记录更多的细节相比,瞬间检测高速进程中变化的能力更重要。比如就有客户使用cvt成像系统研究玻璃摔碎瞬间碎片产生的过程。此外,和人类的眼睛关注视野中的细节一样,cvt可以通过对大的区域里所感兴趣的点进行快速计算来充分利用它有限的分辨率。
尽管在分辨率和色彩上做出了一些牺牲,cvt通过使用大规模图像并行处理获得的成就仍然令人印象深刻。芯片设计者可以用两种基本的方法实现这一技术。第一种方法可以传送最高帧速的图像。它是由单一芯片组成的,这种芯片使用一种3d bump bonding的技术在处理单元顶上加上图像感应单元。
在数以千计的微小铟凸点上,感应单元结合在处理单元顶部,构成了紧密连接在一起的多层芯片。传感器可以是传统的cmos或ccd设备。但是,为了最大化性能,eutecus使用了一种少见的材料—砷化铟(ingaas)。砷化铟(ingaas)感应器对光的敏感度比硅感应器高大约十倍,因此它们可以在更短的曝光时间中记录图像,从而满足高帧速的要求。处理器可以用传统cmos工艺制造。
第2种实现cvt的基本方法是分别使用成像芯片和处理器阵列。逻辑上与第1种方法一样,但物理结构不尽相同。虽然有一个高速并行接口将成像
如果一幅图像的数据量相当于一千个字符,那么100,000幅图像的数据量有多大?能否设计一个数字成像系统来处理如此高帧速的图像。这样一个成像系统可以应用于机器视觉,智能视频系统,瞬间事件的科学分析,工业过程监控,互动游戏以及无人运输器和导弹的制导系统等众多领域。
2000年,来自匈牙利、西班牙和美国的科学家在布达佩斯成立了analogic计算机公司。该公司的目标就是设计每秒能存储、分析和增强几千帧图像的数字成像系统。3年后,他们又在美国加利福尼亚州,伯克利城成立了analogic的后继公司,eutecus。在美国导弹防御局以及海军研究办公室的许可下,他们开发了cellular visual technology(cvt).
cvt由大规模并行处理器和优化成像处理软件构成。有些实现方法使用一种创新的半导体制造工艺把图像传感器和并行处理阵列直接结合在一起,创造出一个多层芯片。图1是c-ton的照片。c-ton是第一款为商业市场设计的此类芯片。
公司首席技术官dr akos zarandy和dr csaba rekeczky 奔波于布达佩斯和伯克利之间。cvt技术的发明人,公司技术副主席,zarandy10月份在秋季微处理器论坛上发表了关于cvt的技术介绍。这篇文章也吸取了该技术的另一名发明人,公司研发副主席rekeczky的意见。
并非传统数字相机
eutecus的设计与传统数字相机以及家庭摄像机大相径庭。经典的数字相机有ccd或cmos成像传感器,这些传感器由微小感应单元组成的阵列覆盖而成。几乎每个感应单元都对应一个像素。在曝光过程中,照射到感应单元的光被转化为电。也就是说,感应单元将光子转化为电子。照射到感应单元上的光子越多,产生的电子越多,从而形成的像素越亮。经过模数转换,嵌在risc核中的传统微处理器读取每个感应单元的值把像素聚合成图像。然后经过增强的图像被存储到照相机的闪存或其它存储媒介上之前。
传统数字相机的帧速很低,经常是几秒一帧而不是一秒几帧。处理器读取感应单元数据和聚合图像很费时间。为了解决这一问题,几乎所有的数字相机都有缓存。前一次曝光的数据就存在这些缓存中供处理器进行处理,以便相机进行下一次曝光。
家庭数字摄像机有更大的缓存。通过降低像素分辨率,它每秒可以处理25到30帧图像,满足pal,secam或ntsc视频的要求。通过使用更大的成像传感器,高清晰度家庭数字摄像机可以录制更高帧速和画质更好的图像。当然,由于使用了更大的传感器,这种摄像机的价钱更高。但是,传统摄像机无法在超高帧速下录制和处理图像。
图像处理是实现高速成像的主要障碍:所有的光子几乎在同一瞬间到达各感应单元并被计入同一“时间窗”,但是聚合图像的处理器却是顺序处理这些数据。图像感应几乎是并行的,图像处理却不是。因此,从逻辑上解决该问题的方案是应用大规模并行处理。所以,每一个或每一组感应单元应该有专属的处理器。除此之外为了实现高速成像,eutecus还应用了人眼视觉特性仿真的技术。
大规模图像并行处理
首先,我们要注意的是eutecus为了达到梦幻般的帧速这一目标使用了大规模并行处理,但同时还是牺牲了像素的分辨率和色彩。这是在目前半导体技术水平下无法避免的。eutecus最新的cvt感应处理器仅能处理64×64像素,8或16位灰度级或者完全黑白的图像。eutecus相信在同样工艺结构下可以制造出处理能力达到256×256像素图像的芯片,大概是0.06兆像素。
与现今流行的10.2兆像素数字slr (single-lens teflex)相比,cvt的分辨率看起来有些低。但是这种分辨率已经可以满足很多应用领域。例如,机器视觉,低分辨率的图像足以让机器人绕开小的物体和避免撞墙。在另一些应用领域中,与记录更多的细节相比,瞬间检测高速进程中变化的能力更重要。比如就有客户使用cvt成像系统研究玻璃摔碎瞬间碎片产生的过程。此外,和人类的眼睛关注视野中的细节一样,cvt可以通过对大的区域里所感兴趣的点进行快速计算来充分利用它有限的分辨率。
尽管在分辨率和色彩上做出了一些牺牲,cvt通过使用大规模图像并行处理获得的成就仍然令人印象深刻。芯片设计者可以用两种基本的方法实现这一技术。第一种方法可以传送最高帧速的图像。它是由单一芯片组成的,这种芯片使用一种3d bump bonding的技术在处理单元顶上加上图像感应单元。
在数以千计的微小铟凸点上,感应单元结合在处理单元顶部,构成了紧密连接在一起的多层芯片。传感器可以是传统的cmos或ccd设备。但是,为了最大化性能,eutecus使用了一种少见的材料—砷化铟(ingaas)。砷化铟(ingaas)感应器对光的敏感度比硅感应器高大约十倍,因此它们可以在更短的曝光时间中记录图像,从而满足高帧速的要求。处理器可以用传统cmos工艺制造。
第2种实现cvt的基本方法是分别使用成像芯片和处理器阵列。逻辑上与第1种方法一样,但物理结构不尽相同。虽然有一个高速并行接口将成像
上一篇:大功率LED品质测试
上一篇:全功能视觉传感器应用解答