相关下载|ABOUT US

产品搜索

编码器,机械臂,触摸屏,镜头,传感器 …

爱电精(上海)商贸有限公司,是爱电株式会社(日本•东京)在中国投资的全资子公司,于2006年在上海成立。公司立足于自动化控制领域,致力于为终端客户及设备制造商提供工控机器部品及自动化装置、控制柜等集成系统,来满足其不断提升的要求。伴随着中国FA行业... 阅读更多>>

相关下载

乐投体育官网视觉控制系统

作者: admin 来源: 未知 发布时间:2020-10-06 09:40

  声明:,,,。详情

  视觉控制是指机器人通过视觉系统接收和处理图像,并通过视觉系统的反馈信息进行相应的操作。

  机器视觉产生于工业自动化。在现代工业自动化生产中,涉及到各种各样的检查、测量和零件识别应用,例如汽车零配件尺寸检查和自动装配的完整性检查,电子装配线的元件自动定位,饮料瓶盖的印刷质量检查,产品包装上的条码和字符识别等。这类应用的共同特点是连续大批量生产、对外观质量的要求非常高。通常这种带有高度重复性和智能性的工作只能靠人工检测来完成,我们经常在一些工厂的现代化流水线后面看到数以百计甚至逾千的检测工人来执行这道工序,在给工厂增加巨大的人工成本和管理成本的同时,仍然不能保证100%的检验合格率,而当今企业之间的竞争,己经不允许哪怕是0.1%的缺陷存在。有些时候,如微小尺寸的精确快速测量,形状匹配,颜色辨识等,用人眼根本无法连续稳定地进行,其它物理量传感器也难有用武之地。这时,人们开始考虑把计算机的快速性、可靠性、结果的可重复性,与人类视觉的高度智能化和抽象能力相结合,由此逐渐形成了一门新学科—机器视觉。

  机器视觉是研究用计算机来模拟生物宏观视觉功能的科学和技术。通俗地说,就是用机器代替人眼来做测量和判断。首先采用CCD照相机将被摄取目标转换成图像信号,传送给专用的图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,如:面积、长度、数量、位置等:最后,根据预设的容许度和其他条件输出结果,如:尺寸、角度、偏移量、个数、合格/不合格、有/无等。机器视觉的特点是自动化、客观和非接触,与一般意义上的图像处理系统相比,机器视觉强调的是识别和判断,以及工业现场环境下的可靠性。

  机器视觉是一个相当新且发展十分迅速的研究领域。人们从20世纪50年代开始研究二维图像的统计模式识别,60年代Roberts开始进行三维机器视觉的研究,70年代中,MIT人工智能实验室正式开设“机器视觉”课程,80年代开始了全球性的研究热潮,机器视觉获得了蓬勃发展,新概念、新理论不断涌现。现在,机器视觉仍然是一个非常活跃的研究领域,与之相关的学科涉及:图像处理、计算机图形学、模式识别、人工智能、人工神经元网络等。

  计算机视觉开始于在20世纪50年代的统计模式识别,当时的工作主要集中在二维图象分析、识别和理解上,如光学字符识别、工件表面、显微图片和航空照片的分析和解释等。20世纪60年代,Roberts将环境限制在所谓的“积木世界”,即周围的物体都是由多面体组成的,需要识别的物体可以用简单的点,直线,平面的组合表示。通过计算机程序从数字图象中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构,并对物体形状及物体的空间关系进行描述。Roberts的研究工作开创了以理解三维场景为目的的三维机器视觉的研究。到70年代,己经出现了一些视觉应用系统。 70年代中后期,电视摄像技术的成熟与计算机的发展为研究计算机视觉提供了先进的技术手段期,这一时期麻省理工学院(MIT)人工智能(AI实验室创立了计算机视觉研究小组,并开设了“机器视觉”(Machine Vision)课程,这吸引了许多知名学者参与机器视觉的理论、算法、系统设计的研究。1977年,Marr提出了不同于“积木世界”分析方法的计算机视觉理论(Computational Vision),该理论在20世纪80年代成为计算机视觉研究领域中的一个十分重要的理论框架。Marr提出,对于视觉信息处理过程的研究应分为三个层次,即计算理论层,表示算法层,硬件实现层。三者分别回答了信息处理过程中的输入和输出及两者之间的约束,输入和输出的表示和相应的算法,以及在物理上如何实现这种表示和算法。这一框架虽然在细节上甚至在主导思想上还存在不完备的方面,许多方面还有很多争议,但至今仍是目前计算机视觉研究的基本框架。Marr理论为我们提供了研究机器视觉许多珍贵的哲学思想和研究方法,同时也给计算机视觉研究领域创造了许多研究起点。

  80年代以后,计算机视觉获得了蓬勃发展,新概念、新方法、新理论不断涌现,越来越多的计算机视觉研究者对传统的基于Marr框架的通用视觉提出挑战,最具代表性的是出现了以美国马里兰大学计算机视觉研究实验室的Aloimonos Y为首的目的(Purposive)视觉学派;美国宾夕法尼亚大学计算机系Bajcsy的主动(Active)视觉学派;罗切斯特大学Ballade和Brown的活跃(Animate)视觉学派等。目的视觉、主动视觉,是近年来计算机视觉的研究热点。与基于Marr的通用视觉理论不同,主动视觉强调两点,一是认为视觉系统应具有主动感知的能力;二是认为视觉系统应基于一定的任务(Task Directed)或目的(Purposive Directed)。同时,主动视觉认为不基于任何目的视觉的过程是毫无意义的,必须将视觉系统与具体的目的(如导航、识别、操作等)相联系,从而形成感知/作用环(Perception/Action Cycle)。目的视觉认为视觉都有目的,目的就是行为。针对具体的对象和应用场合,目的视觉己经广泛应用于工农业及其他各行各业。通用视觉的研究更偏重于基础理论,目的视觉更面向应用。通用视觉的研究应借鉴于目的视觉中的主动感知、反馈控制等成果,目的视觉的研究为通用视觉的研究寻求新的生长点。

  机器人视觉控制是指机器人通过视觉系统接收和处理图像,并通过视觉系统的反馈信息进行相应的操作。机器人按构型一般分为直角平面构型、SCARA平面关节构型、球坐标构型、圆柱坐标构型和链式构型等几种。其中SCARA即选择顺应性装配机器人于1978年由日本山梨大学牧野洋发明,目前己成为世界上应用数量最多的装配机器人,广泛应用于精密产品的装配和搬运。美国AdeptTechnology研制的Python直角坐标构型装配机器人由三个线性关节构成,具有结构简单、操作简便、编程简易等特点,应用于零部件的移送、插入和旋拧操作。德国Kuka和美国FANUC Robotics公司研制的链式坐标构型重型负载视觉机器人,能举起上千公斤的重量,己在大型装配制造业得到应用。随着技术的不断进步,各种新型装配机器人层出不穷,并且随着电子显微技术的发展,微装配机器人将工作领域扩展到微米甚至纳米空间,如John等研制的微装配机器人,通过遥操作可以实现50-100微米大小的零件的抓取、移动和释放操作。丁汉等研制的多传感信息协调的微装配机器人,结合多传感信息进行多任务操作,具有速度快和精度高的特点。除此之外适用于大型装配任务多机协调、双臂协调以及人机协调技术亦是装配机器人未来的研究方向之一,而随着新材料的不断出现,装配机器人也向着高强度和轻量化的趋势发展。

  视觉控制可分为基于位置、图像和混合视觉控制三类。基于位置的视觉控制利用标定得到的摄像机内外参数对目标位姿进行三维重建,进而可以通过轨迹规划求得机器人末端执行器下一周期的期望位姿,再根据机器人逆运动学求出的各关节量通过控制器对关节进行控制,按重建坐标的作用进一步可分为位置给定型和反馈型两类[fill。在立体视觉系统中,可以通过多条光路对目标位姿进行三维重建,Bradley等研制的插孔装配机器人采用全局与局部观测,共四条光路,其中一条光路用于粗定位,其余几条光路用于精定位,张秀峰等研制的光纤对接机器人采用两条正交光路分别获取垂直和水平平面的图像,其中一条光路专门获取深度信息,但这些方法均使用多台摄像机故需要对图像进行特征匹配,另外也增加了系统成本。而在单目视觉系统中深度估计是最为重要的问题,许多学者提出了不同的深度估计方法,Grossmana}20〕提出的经典的变焦深度法利用目标清晰时的相对深度作为其深度信息,Guiseppe等提出以投影的像素数量作为依据求取深度,因此该方法需要较高分辨率的摄像机,以及冯精武等使用梯度能量法作为图像清晰度函数,利用函数极大值估计深度,但这些方法都只能确定是否在同一水平面而无法获得具体的深度。而随着多信息融合技术的发展,借助其它类型传感器如超声波、激光和红外等手段获取深度信息,王敏等在智能抓取机器人中结合使用摄像机和超声波两种传感器,利用超声波的发射和接受来探测深度信息,另外还有激光和红外测距等,但需要对多传感信息进行融合,而最新的ToF(Time-of-Flight)深度摄像机的出现也提供了一种新的解决方法向目标连续发送光脉冲后用接收器接收从目标反射的光脉冲,通过计算光脉冲的往返时间获得目标的距离,该方法能对整幅图像进行钡」距,但精度还需进一步提局。

  基于图像的视觉控制则直接利用目标和末端执行器在图像上的期望投影与实际投影进行操作,利用反映机器人运动与图像对应信息变换之间关系的图像雅克比矩阵计算关节量,无需计算其在世界坐标系中的坐标,因此无需事先标定摄像机,但图像雅克比矩阵的计算量较大,Kim等提出使用无需估计深度的反馈方法求图像雅克比矩阵。Piepmeier等针对图像雅克比矩阵展开了一系列研究,提出在图像雅克比矩阵中引入摄像机参数再进行基于图像的视觉控制方法,从而极大地减少了计算量。为了克服基于位置和图像视觉控制的缺点,混合视觉控制结合了两者的优点,如Chaumette等提出的2D 1/2视觉伺服,分别使用基于图像和位置的视觉伺服控制位置和姿态,由于结合了两种伺服方式因此计算过程极其复杂。

  机器视觉自起步发展到现在,已有很长一段的发展历史了。应该说机器视觉作为一种应用系统,其功能特点是随着工业自动化的发展而逐渐完善和发展的。

  目前全球整个视觉市场总量大概在60^-70亿美元,是按照每年8.8%的增长速度增长的。而在中国,这个数字目前看来似乎有些庞大,但是随着加工制造业的发展,中国对于机器视觉的需求将呈上升趋势。

  机器视觉是计算机视觉的产业化部分,这两者之间存在的微妙区别就在于前者假设计算机是能够模拟视觉的,而后者只是认为人类视觉的处理机制可以用机器来模拟的。机器视觉既是工程领域,也是科学领域中的一个富有挑战性的重要研究领域。它是一门综合性的学科,已经吸引了来自各个学科的研究者参加到对它的研究之中。乐投体育官网其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学,神经生理学和认知科学等。视觉是各个应用领域,如制造业、检验、文档分析、医疗诊断和军事等领域中各种智能、自主系统中不可分割的一部分。由于它的重要性,一些先进国家,例如美国把对机器视觉的研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题,即所谓的重大挑战(grand challenge)。机器视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。

  在国外,机器视觉的应用普及主要体现在半导体及电子行业,其中大概40%-50%都集中在半导体行业。另外机器视觉系统还在质量检测的各个方面也已经得到了广泛的应用,并且其产品在应用中占据着举足轻重的地位。除此之外,机器视觉还用于其他各个领域。

  而在国内,以上行业本身就属于新兴的领域,再加之机器视觉产品技术的普及不够,导致以上各行业的应用很少,即便是有,也只是低端方面的应用。目前在我国随着配套基础建设的完善,技术、资金的积累,各行各业对采用图像和机器视觉技术的工业自动化、智能化需求开始广泛出现。国内有关大专院校、研究所和企业近两年在图像和机器视觉技术领域进行了积极思索和大胆的尝试,逐步开始了工业现场的应用。这些应用大多集中在如药品检测分装、印刷色彩检测等低端方面的应用,而真正高端的应用还很少。因此,以上相关行业的应用空间还比较大。当然,其他领域如指纹检测等等领域也有着很好的发展空间。

  在机器视觉赖以普及发展的诸多因素中,有技术层面的,也有商业层面的,但制造业的需求是决定性的。制造业的发展,带来了对机器视觉需求的提升;也决定了机器视觉将由过去单纯的采集、分析、传递乐投体育数据,判断动作,逐渐朝着开放性的方向发展,这一趋势也预示着机器视觉将与自动化更进一步的融合。

  典型的机器视觉控制系统一般包括如下部分:光源,镜头,CCD照相机,图像处理单元(或图像采集卡),图像处理软件,监视器,通讯/输入输出单元等。视觉系统的输出并非图像视频信号,而是经过运算处理之后的检测结果,如尺寸数据或者判断分类。上位机如PC和PLC实时获得检测结果后,指挥运动系统或I/0系统执行相应的控制动作,如定位和分选。其基本组成模块如图所示。

  根据运行环境的不同,目前机器视觉系统可分为PC-BASED系统和PLC-BASED系统。基于PC的系统利用了其开放性,高度的编程灵活性和良好的Windows界面。系统内含高性能图像采集卡,一般可接多个镜头。配套软件方面,从低到高有几个层次,如Windows95/98/NT环境下C/C一编程用DLL,可视化控件ActiveX提供VB和VC一下的图形化编程环境,甚至Windows下的面向对象的机器视觉组态软件,用户可用它快速开发复杂高级的应用。在基于PLC的系统中,机器视觉的作用更像一个智能化的传感器,图像处理单元独立于系统,通过串行总线和I/O与PLC交换数据。系统硬件一般利用高速专用ASIC或嵌入式计算机进行图像处理,系统软件保存在图像处理器中。基于PLC的系统体现了可靠性高、集成化,小型化、高速化的特点。

  视觉控制涉及的研究内容比较广泛,主要包括摄像机标定、图像处理、特征提取、视觉测量和控制算法等以下几方面:

  对摄像机的内部参数和外部参数进行求取的过程。视觉系统从摄像机获取的图像信息出发,计算三维环境中物体的位置、形状等几何信息,并由此重建三维物体。图像上每一点的位置与空间物体表面相应点的几何位置有关。这些位置的相互关系,由摄像机成像几何模型所决定,几何模型的参数称为摄像机参数,主要包括内参数和外参数。其中内参数主要包括光轴中心点的图像坐标、成像平面坐标到图像坐标的放大系数、镜头畸变系数等。外参数是摄像机坐标系在参考坐标系中的表示。摄像机标定提供了非测量摄像机与专业摄像机之间的联系。而所谓非测量摄像机是指这样一类摄像机,其内部参数完全未知,部分未知或者原则上不确定。摄像机标定就是通过标定实验获得摄像机的内、外参数。

  根据摄像机获得的视觉信息对目标的位置和姿态进行的测量。视觉测量主要研究从二维图像信息到三维笛卡尔空间信息的映射以及视觉测量系统的构成。图像上每一点的亮度反映了空间物体表面某点反射光的强度,而该点在图像上的位置和空间物体表面相应点的几何位置有关,视觉测量的研究主要在于测量速度和精度等。

  机器人视觉控制本质上是利用摄像机采集到的二维图像信息对机器人的运动进行控制,对视觉信息的不同利用会得到不同的控制效果。在笛卡儿空间构成的闭环控制系统,只能保证视觉测量出的目标在笛卡儿空间的位置和姿态达到期望值,由于摄像机的模型误差以及特征点的匹配误差,导致视觉测量本身具有较大误差,再加上机器人的模型误差,所以目标在笛卡儿空间的实际位置和姿态与期望值之间有时候会有较大的误差,控制精度较低。在图像空间构成闭环系统,虽然可以提高精度但是控制的稳定性难以保证。

  游志宇. 基于嵌入式机器视觉控制系统的研究[D].西华大学,2009.

  王宁. PUMA560机械臂视觉控制系统研究[D].哈尔滨工业大学,2009.

上一篇:实时视觉处理系乐投体育统

下一篇:智能视觉处理系统乐投体育网址