视觉伺服系统如何将视觉信息作为反馈信号

机器人传感系统是机器人与外界进行信息交换的主要窗口，机器人根据布置在机器人身上的不同传感元件对周围环境状态进行瞬间测量，将结果通过接口送入单片机进行分析处理，控制系统则通过分析结果按预先编写的程序对执行元件下达相应的动作命令。

视觉传感系统是机器人的各种类型的眼睛。它可以是两架电子显微镜，也可以是两台摄像机，还可以是红外夜视仪或袖珍雷达。这些视觉传感器有的通过接收可见光变为电信息，有的通过接收红外光变为电信息，有的本身就是通过电磁波形成图像。它们可以观察微观粒子或细菌世界，观看几千度高温的炉火或钢水，在黑暗中看到人看不到的东西。机器人的视觉传感系统要求可靠性高、分辨力强、维护安装简便。听觉传感系统是一些高灵敏度的电声变换器，如各种“麦克风”，它们将各种声音信号变成电信号，然后进行处理，送入控制系统。触觉传感系统即各种各样的机器人手，手上装有各类压敏、热敏或光敏元器件。不同用途的机器人，具有的手大不相同，如用于外科缝合手术的，用于大规模集成电路焊接和封装的，残废人的假肢，专提拿重物的大机械手，能长期在海底作业的采集矿石的地质手等。嗅觉传感系统是一种“电子鼻”。它能分辨出多种气味，并输出一个电信号;也可以是一种半导体气敏电阻，专门对某种气体作出迅速反应。在机器人触觉传感系统中还有各种各样的机器人脚，如人行足、四只足、有轮胎足、有履带足、蛙式足、节肢动物足，还有像蛇爬行的足等，这些“足”上都装有光敏、热敏等传感元器件。

机器人感知系统把机器人各种内部状态信息和环境信息从信号转变为机器人自身或者机器人之间能够理解和应用的数据、信息，除了需要感知与自身工作状态相关的机械量，如位移、速度、加速度、力和力矩外，视觉感知技术是工业机器人感知的一个重要方面。

视觉伺服系统将视觉信息作为反馈信号，用于控制调整机器人的位置和姿态。这方面的应用主要体现在半导体和电子行业。机器视觉系统还在质量检测、识别工件、食品分拣、包装的各个方面得到了广泛应用。

通常，机器人视觉伺服控制是基于位置的视觉伺服或者基于图像的视觉伺服，它们分别又称为三维视觉伺服和二维视觉伺服，这两种方法各有其优点和适用性，同时也存在一些缺陷。

基于位置的视觉伺服系统，利用摄像机的参数来建立图像信息与机器人末端执行器的位置/姿态信息之间的映射关系，实现机器人末端执行器位置的闭环控制。

末端执行器位置与姿态误差由实时拍摄图像中提取的末端执行器位置信息与定位目标的几何模型来估算，然后基于位置与姿态误差，得到各关节的新位姿参数。基于位置的视觉伺服要求末端执行器应始终可以在视觉场景中被观测到，并计算出其三维位置姿态信息。消除图像中的干扰和噪声是保证位置与姿态误差计算准确的关键。

二维视觉伺服通过摄像机拍摄的图像与给定的图像(不是三维几何信息)进行特征比较，得出误差信号。然后，通过关节控制器和视觉控制器和机器人当前的作业状态进行修正，使机器人完成伺服控制。相比三维视觉伺服，二维视觉伺服对摄像机及机器人的标定误差具有较强的鲁棒性，但是在视觉伺服控制器的设计时，不可避免地会遇到图像雅克比矩阵的奇异性以及局部极小等问题。

针对三维和二维视觉伺服方法的局限性，有人提出了2.5维视觉伺服方法。它将摄像机平动位移与旋转的闭环控制解耦，基于图像特征点，重构物体三维空间中的方位及成像深度比率，平动部分用图像平面上的特征点坐标表示。

这种方法能成功地把图像信号和基于图像提取的位姿信号进行有机结合，并综合他们产生的误差信号进行反馈，很大程度上解决了鲁棒性、奇异性、局部极小等问题。但是，这种方法仍存在一些问题需要解决，如怎样确保伺服过程中参考物体始终位于摄像机视野之内，以及分解单应性矩阵时存在解不唯一等问题。

在建立视觉控制器模型时，需要找到一种合适的模型来描述机器人的末端执行器和摄像机的映射关系。图像雅克比矩阵的方法是机器人视觉伺服研究领域中广泛使用的一类方法。图像的雅克比矩阵是时变的，所以，需要在线计算或估计。

第一点动态感知

机器人视角不动后，会出现不会动的事物和会动的事物，这里ai会在一秒内拍摄多组照片，先进行固定颜色和形状进行识别比如车牌蓝色，树木绿色等，不同照片进行对比， 提示机器人可能好几年在一个范围进行活动，有时间进行拍摄无人的街头，以这张无人的街头环境照片为零号底片，和工作时的拍摄照片进行对比，更容易对比出动态的事物，

第二点距离感知

人体认识物体距离是依靠自身大小，与事物常识性，眼睛焦距变化，来判断的，最重要的是眼睛焦距变化，因此机器人算法可以与可变焦距摄像头的焦距变化来测定距离，配合着激光距离测定，相互配合，在识别距离上有用，另外机器人行走会出现1、机器人自身视觉点，和2、要识别的物体，与3、识别物体背景，行成一条三点直线，机器人任意方向行走一步，便形成了X形状的二维视角，X的交叉点就是要识别的物体，根据激光测试距离与二维视角，两者互相印证，这里的算法就不说了。自己想

第三点空间识物

在识别要识别的物体确定距离后，机器人行走会出现之前说过的二维视角，类似于X形状，可以之前第二点距离将物体的形状描述出来。

第四点事物的识别

人的识物方式有，视觉，听觉，温度，重量，其中视觉是根据颜色，形状，结构，进行识别物体的，我们平常是不会把物体的精确数据存储在大脑中，只有大概的形状，和知道的一些常识性问题，比如扫把的形状，树木的形状，车子的形状，汽车轮胎的四个体积都是一样的。等。。。。机器人可能好几年在一个范围进行活动，并且一些东西是好几年不会变化，机器人便可以记录该事物的数据，机器人识物方式有，视觉，听觉，温度，重量，其中视觉是可以和我之前的说的人的识物方法一样，“我们平常是不会把物体的精确数据存储在大脑中，只有大概的形状，和知道的一些常识性问题，比如扫把的形状，树木的形状，车子的形状，汽车轮胎的四个体积都是一样等。。。。”一些具体的数据可以进行云数据来解决。