视觉追踪机器人系统构建研究

张子洋,孙作雷,曾连荪

(上海海事大学 信息工程学院,上海201306)


摘  要: 以低成本机器人Rovio WowWee作为下位机平台,通过上位机编程,实现对单目视觉图像和红外数据的在线解析,辨识指定物体,基于前向回溯一致性误差确定待追踪的点,构建视觉追踪机器人系统;并引入在线学习方法,使用追踪、学习和检测算法框架提升了机器人目标追踪的性能。通过PID对机器人进行伺服控制。三组实验初步验证了所提系统的可行性。实验使用C++在Linux下编程实现,并在Github上开源,对科研及市场应用具有一定参考价值。

关键词: 视觉追踪;移动机器人;在线学习;PID;开源

中图分类号: TP242

文献标识码: A

DOI:10.16157/j.issn.0258-7998.2016.10.032


中文引用格式: 张子洋,孙作雷,曾连荪. 视觉追踪机器人系统构建研究[J].电子技术应用,2016,42(10):123-126,130.

英文引用格式: Zhang Ziyang,Sun Zuolei,Zeng Liansun. The construction of visual tracking robot[J].Application of Electronic Technique,2016,42(10):123-126,130.

0 引言

机器视觉是一种利用视觉传感器与计算机实现人的视觉功能的技术,它从采集的图像中提取信息并进行处理和理解[1],处理后的结果用于机器人决策和控制。视觉追踪是对移动目标的识别和对其移动属性(如方向、速度、轨迹、加速度等)的持续获取,然后对获取的图像序列进行目标提取和检测,从而通过深入的分析和理解,达到对移动目标的行为的理解。视觉追踪的本质就是对机器人获取的视觉图片进行合理利用,快速地对图像信息进行处理,以便最快地为决策控制提供反馈信息,从而构成视觉追踪的整个闭环系统[2]。而视觉追踪机器人要实现的功能包括[3]:先通过摄像机获取目标的方位信息,核心控制器通过相关算法判断机器人下一步该如何移动,再将这些控制信号送给机器人移动的执行元件的驱动器,使之能追踪目标物。

1 硬件平台

视觉追踪技术作为计算机视觉领域的热门课题之一,所需硬件要具备视觉部件摄像头、与上位机通信的硬件模块(如WiFi天线蓝牙等)和灵活的移动控制模块。此外,为实现避障,除了单目摄像头之外,通常还会引入激光、红外线传感器等。Rovio WowWee机器人(如图1),作为一款成本低而功能相对完善的玩具机器人,十分适合移动机器人的视觉追踪及导航算法的研究。其摆臂前端的摄像头数据通过无线连接实时传回上位机,同时,3个全向轮确保了其运动的灵活性,下端的红外传感器可以用于避障。本文将基于Rovio构建视觉追踪移动机器人系统。

jsj3-t1.gif

2 通信与景物辨识

2.1 数据通信

Rovio可以接入互联网,也可工作在Adhoc模式,在此模式下机器人的IP固定,通过Socket依托TCP/IP链路向机器人发送官方API文档所指定的HTTP请求[4],机器人收到请求后产生动作并返回数据。整个流程如图2所示。

图像采集模块是机器人进行视觉追踪的重要组成部分,该模块获取当前图像并提供保存接口,提供了离线处理数据的能力。为避免机器人与物体产生碰撞,使用红外传感器设计一简单接口来实现检测障碍物功能,根据传感器返回数据结构使用8 bit的信息量来存储信息,Bit0存储LED灯的开关状态,Bit1存储IR传感器的开关状态,Bit2存储IR检测是否有障碍的状态,0表示无,1表示有,分别定义3个检测码:(1<<0)、(1<<1)、(1<<2),用检测码与用户接口的传感器获取的数据进行位与操作,所获取结果即可作为传感器检测结果,如表1所示。

jsj3-b1.gif

传感器返回信息显示此时IR打开,有障碍物。使用IR障碍物检测码检测结果为1,表示有障碍物。

系统中的传感器数据包括:3个轮子的方向、电机编码器信息、电池状态、摆臂位置、相机亮度、分辨率、帧率和WiFi信号强度等信息。

2.2 目标识别与追踪

追踪部分引入Tracking-Learning-Detection(TLD)追踪算法[5],基于其在线追踪机制,追踪机器人所采集的每一帧图像,处理追踪结果并送入控制算法模块。TLD的追踪器、检测器和机器学习之间关系如图3所示。

jsj3-t3.gif

用户喜欢...

基于MCU的室外移动机器人组合导航定位系统

对于在室外环境工作的移动机器人通常使用惯导/卫星组合导航方式。惯性导航系统具有完全自主、抗干扰强、隐蔽能...


绝对干货!10个最佳在线学习资源助力游戏开发

本文编译整理自devzum网站,原文:10 Best Online Resources That Help You to Learn Game Developmen 游戏开发可以说是时下发展最迅速的产业之一。不过现在通过脚本创建游戏的开发方式已经和从前的方法大...


移动机器人结合RFID无线传输,在户外也能物联网

机器人的发明,为人类带来了许多便利,甚至能代替人力进行许多工作,像是应用最广的工业用机器人,可以快速、...


2013亚太地区学习与发展趋势报告

报告发现,新兴市场的学习者和企业对学习方案及服务的需求在不断增加。而亚太地区的组织中,82% 的学习者喜欢通...


移动机器人定位与地图创建(SLAM)方法

1.引言: 机器人的研究越来越多的得到关注和投入,随着计算机技术和人工智能的发展,智能自主移动机器人成为机器人领域的一个重要研究方向和研究热点。移动机器人的定位和地图创建是...


移动机器人无线局域网控制系统

设计了一种移动机器人无线局域网控制系统,采用OpenWrt系统的无线路由器建立无线局域网,与FPGA进行数据转换,设计...


[多图]CES 2017第一天 15款最有趣的科技产品

北京时间1月5日消息,据《财富》杂志网络版报道,CES 2017在拉斯维加斯正式开幕,吸引了18万游客前来捧场。在为期...


多刚体系统的一致性控制研究

基于非自治级联系统理论,以非完整移动机器人为研究对象,研究多刚体系统的一致性问题,提出了一种新的分布式...


移动机器人避障常用的传感器

移动机器人避障常用的传感器 1、激光传感器 激光测距传感器利用激光来测量到被测物体的距离或者被测物体的位移等参数。比较常用的测距方法是由脉冲激光器发出持续时间极短的脉冲激光...


基于5l型单片机轮式移动机器人设计

基于5l型单片机的自动巡线轮式机器人控制系统运行平稳可靠,抗干扰能力强,不仅满足了机器人大赛的设计要求,同时也为 智能机器人 搭建了良好的控制平台。 1 引言 轮式移动机器人是机器...


视觉追踪 GS1全球标准的框架内产品进行跟踪和追溯

无论是法规要求非常严格的行业,比如食品和制药;还是产量非常大的行业,比如汽车和电子,自动化视觉系统都在保证安全、可靠和高效方面发挥了巨大的作用。...


基于 MEMS 陀螺的微小型移动机器人嵌入式导航定位系统的研究

本文针对微小型移动机器人的实时导航定位需求,采用嵌入式系统设计思想,以新型村田公司的 MEMS 陀螺器件为核心,利用 ARM/CPLD 构建了一种结构紧凑、低功耗、低成本、通用性强的实时导航定位系统硬件平台...


基于ARM9与linux平台的轮式移动机器人平台的未知环境的避障导航系统

本文采用新型的超声波传感器,设计并开发基于ARM9 与嵌入式linux 为平台的轮式移动机器人平台下的未知环境的避障导航系统。本文重点介绍该超声波传感器的实现原理以及在机器人平台中的整个软件实现流程以及控制机器人行走的实现方法。...