基于多传感器多目标跟踪的机器人足球视觉系统

摘　要: 为了适应机器人足球视觉系统图像采集设备从单个到多个的改变，提高系统的跟踪成功率和速度，以信息融合技术为基本思路，提出了一种基于多传感器多目标跟踪的半自主足球机器人视觉跟踪方法。 各跟踪模块对覆盖区域的目标进行航迹关联、滤波后再对各传感器信息进行融合得到所有目标单一的航迹。 实验表明，该方法具有简单、有效，满足系统实时性要求等特点。

关键词：多传感器多目标跟踪；信息融合；机器人足球；视觉系统

随着机器人足球技术的迅速发展，其规模愈来愈大。 跟踪空间的扩大、跟踪目标的增多给视觉系统带来了单个图像采集设备难以覆盖整个场地和更高的实时性要求等新的挑战。 为适应图像采集设备从单个到个多的改变，满足系统的实时性要求，提高跟踪能力，基于航迹关联的跟踪算法的基础上进一步提出基于多传感器多目标跟踪的机器人足球视觉跟踪方法。

多传感器多目标跟踪算法

信息融合是一种多层次的、多角度的信息处理过程， 实现完整、及时的态势评估和威胁估计。 多目标跟踪(MTT)是为了维持对多个目标当前状态的估计而对所接收到的量测信息进行处理的过程。机器人足球比赛技术的研究可以在一定程度上借鉴信息融合系统已有的研究成果。 结合FIRA LLM比赛的实际情况，在相互独立的两跟踪模块内完成对各自采集设备输入实时图像的预处理，跟踪空间内目标的航迹关联、滤波后再对各传感器信息进行融合得到所有目标单一的航迹，如图1所示。



航迹关联
航迹预测
目标在下周期的位置可以利用其当前的位置和速度的估计来预测(航迹预测) 。 设目标的当前位置为( x_k ， y_k ) ，方向角为， 那么目标下个周期的预测位置和方向角为 。
式中v_{x， k +1} ， v_{y， k +1} 和ω_k+1 分别为预测的目标下个周期x， y 方向速度分量和角速度。 我方机器人v_{x， k +1} ， v_{y， k +1} 和ω_{k +1} 由下式求出:

其中， (L， R ) 为本周期发送给机人的左右轮速指令， a_ij ， b_i 是常数。对于对方机器人和球， 由于它们不接受我方指令，下周速度和方向角(取速度方向) 由本周期速度来估计:


航迹关联
在以目标的预测位置为中心的动态窗口搜索下一时刻目标的点迹位置，按下列规则进行航迹关联，关联成功后给每个目标的航迹一个编号予以标记:
1)若落入动态窗口的点迹只有一个，则目标航迹就与这个点迹配对。
2)若落入动态窗口的点迹不止一个，则可能存在多个目标或杂波，对所有的可能情况先合成该目标位置和速度向量，然后按最临近准则进行速度关联，将目标航迹与预测位置统计距离最小
的点迹配对。
3)若动态窗口内没有目标点迹，则目标可能已丢失，用预测位置作为估计;若相继数个点迹丢失，则航迹被终止。图2是单个周期内航迹关联的流程。


航迹滤波
航迹关联后，用新获取的点迹来更新和改善目标位置的估计。 滤波公式如下:

式中( x′， y′) 为识别点迹坐标， ( x， y) 为预测点迹坐标，η =| 1 - A /A₀ | 为色块的识别冗余， A₀ 为色块实际含有的象素的个数， A 为识别的象素个数。

航迹融合
以2个图像采集设备的机器人足球视觉系统为例，各个图像采集设备的采集区域存在重叠。 当目标位于重叠区域时，目标的航迹在两独立的跟踪模块识别结果中出现，此时应进行航迹融合。 航迹融合后得到场上所有目标单一的航迹。

数据时空对准
由于各个图像采集设备采集的数据精度相当，采集频率一致且各跟踪模块在每个周期内完成对其跟踪区域内目标的识别跟踪，只需简单地按式(1)将同一周期内跟踪识别得到的各个目标航迹从各自的图像采集设备局部坐标系转换到全局坐标系即可实现数据的时空对齐。

式中x， y为目标在全局坐标系下的坐标值， x₀ ， y₀为目标在各自局部坐标系下的坐标值， X_i ， Y_i 为图像采集设备i ( i = 1， 2) 的局部坐标系原点在全局坐标系中的坐标值。

重复航迹的判断
进行航迹融合之前需要判断同一周期内各跟踪模块得到的航迹是否是属于同一目标的航迹，若是，则进行航迹融合。 若两航迹同时满足下列条件则认为它们是属于同一目标的重复航迹:
1)都位于跟踪公共区域。
2)航迹编号相同且两点迹的距离差小于给定阈值，或航迹编号不相同但两点迹的距离小于给定阈值且阈值半径覆盖区域内没有其他的目标航迹。若航迹编号相同但两点迹的距离不小于给定阈值，或是航迹编号不相同但两点迹的距离小于给定阈值且阈值半径覆盖区域内没有其他的目标航迹，则认为有一跟踪模块给出的航迹编号有误，应通知其予以修正。

融合算法
设(R_x1 ， R_y1 ) 是由跟踪模块1得到的目标在全局坐标系中的航迹， 其滤波后的后验均方根误差为(σ_x1 ，σ_y1 ) ; (R_x2 ， R_y2 ) 是由跟踪模块2得到　的目标在全局坐标系中的航迹， 其滤波后的后验均方根误差为(σ_x2 ，σ_y2 ) 。 令融合后的航迹为(R_x ，R_y ) ，则设:

其中

设R_x1 ，R_y1 独立， R_x2 ， R_y2 独立， 利用Lagrange乘子法求最小值，可得λ₁ =σ²_x2 / (σ²_x2 +σ²_x1 ) ，λ₂ =σ²_y2 / (σ²_y2 +σ²_y1 ) 。
代入式(2)得到最后的融合结果。

实现方法

如图3所示，系统由两个位于不同处理机的独立跟踪模块和一个融合模块组成。 各跟踪模块对各自采集设备采集的实时图像做预处理得到识别目标集(包含噪音) ，利用航迹关联找到与航迹预测最匹配的组合;滤波后将各自的跟踪结果送入融合模块进行航迹融合，最终得到场地上所有跟踪目标无重复的航迹作为决策系统的决策依据。当跟踪的目标从一个跟踪模块i ( i = 1， 2) 的跟踪空间移动到另一个跟踪模块j( j = 1， 2) 的跟踪空间时，融合模块通知跟踪模块j下一个周期启动对该目标的跟踪， 而跟踪模块i终止对该目标的跟踪。 若融合模块发现某一跟踪模块给出的目标航迹编号有误，则通知其予以修正。


实验效果分析

基于本文所提出的方法，进行了多次LLM比赛测试。 测试中跟踪两方22个机器人和球;两个图像采集设备分管左右半场，中间重叠区域约为60 ×280 cm² ; 实时图像采集频率为30 帧/秒，跟踪识别时间超过25 ms认定为超时;每场比赛测试时间为10 min，总跟踪次数为约300次;假定只知道对方机器人的队标颜色，只根据队标颜色跟踪对方机器人。 表1是5场比赛测试的平均跟踪效果记录。


分析实验结果可以得出:
1)本方法简单有效地适应了机器人足球视觉系统的图像采集设备由单个到多个的改变，且跟踪的成功率高。
2)两跟踪模块相互独立，可部署于不同的处理机，能很好地满F IRA LLM比赛跟踪目标增多带来的实时性要求且互不产生干扰和依赖。
3)两跟踪模块独立地跟踪对跟踪区域内的目标，再将跟踪结果送入融合模块进行融合，不仅得到了整个场地所有目标单一的航迹，而且在目标出现频率和密度最大的中场区域产生冗余航迹，融合后可减少跟踪失败和错误次数。

结　语

提出的基于多传感器多目标跟踪的机器人足球视觉系统简单有效地适应了机器人足球视觉系统由图像采集设备由单个到多个的改变，能很好地满FIRA LLM比赛的实时性要求， 且跟踪成功率高。