机器人视觉与触觉的融合在智能机器人中，手眼系统是最具有代表性的，通过这AD8611ARZ些机器人可以进行物体的识别、测量和控制。由于有了可以进行触摸的机械手，可以用视觉信息引导触觉系统的运动，同时触觉系统反过来又能验证视觉系统的结果。图5-50所示是一个典型的手眼系统，可以用来识别普通的没有明显纹理特征及颜色相近的物品，这对于单纯的视觉系统来说是非常困难的。如果这时只利用视觉识别系统，那么就会缺少用以匹配及深度分析的特征。通过融合视觉信息和触觉信息可以有效地识别洞、坑和曲面形状等信息。

   这种手眼系统的一殷工作可分为如下五个步骤。

   ①利用二维视觉处理技术确定边界区域，利用立体视觉确定物体的质心，由此作为触觉探测的起点，同时立体视觉可以提供对深度和朝向的初步计算结果，并除去由遮拦、噪声等原因形成的孤立特征。在只有视觉处理的系统中，对于非稠密的深度只有通过内插来估计。借助于触觉可以大大提高内插的精度。

   ②利用触觉系统进一步检查视觉系统识别到每个区域，以决定其是表面还是洞或坑。

   ③对于平滑区域，利用视觉和前面触觉的结果以及当前的触觉信息相融合，生成与模型数据库相匹配的三维表面，从与表面相连的位置开始。触觉通道利用结点决定表面踪迹的方向，将这些点沿着每条踪迹连接成闭合曲线，用以补充立体视觉处理过程中获取的信息。

   ④利用表面和闭合曲线（对应孔或坑）与模型数据库相匹配，得到与传感信息一致的物体。如果一致的物体是多个，那么用概率测量，需要验证的物体进行排队。

   ⑤一旦确定了与数据库对应的物体，下一步需要对未被感知的特征进行验证。对于视觉上被遮挡的洞和坑就需要用触觉感知来检测，但只靠触觉感很难的，因此视觉检测在这里所起的作用是对触觉系统的引导和确定，需要触觉探测的区域。