实现目标： 利用摄像头目标检测结果vision_darknet_yolo3（人、车）、利用激光雷达获得目标的几何信息lidar_euclidean_cluster_detect（大小、距离）、利用感知融合模块融合摄像头和激光雷达信息range_vision_fusion，并在三维地图中可视化。

效果展示：

激光雷达-摄像头感知融合展示

数据准备： ROSBAG数据包、激光雷达-摄像头联合矫正文件 提取码：1234 操作步骤：

摄像头的视觉检测是基于YOLO-V3，在开始前请确定已下载好yolo3的权重文件，并保证autoware中的vision_darknet_yolo3模块可以正常使用。部署方法可参照Autoware1.14-摄像头目标检测YOLO-V3

加载数据包。数据包内只包含/point_raw 和/image_raw 两个话题。点击Play后，点击Pause暂停。

加载激光雷达-摄像头联合矫正文件（相机外参）。点击Autoware runtime manager 中Sensing选项卡内的Calibration Publisher。在Ref处选择下载的激光雷达-摄像头联合矫正文件，并勾选其他选项，如图所示。

打开Rviz。添加图像界面，左上角Panels界面 > Add new Panel > imageViewerPlugin，然后在image Topic处选择/image_raw

在rviz中，将Global Options中的Fixed Frame选择至velodyne（若选项卡中没有则直接手动输入），此时可出现点云图

开启YOLO。在Autoware runtime manager 的 Computing 选项卡中找到vision_darknet_yolo3,在imageViewerPlugin中Object Rect Topic选择/detection/image_detector/objects,如图

开启激光雷达欧式聚类检测。在Autoware runtime manager 的 Computing 选项卡中找到lidar_euclidean_cluster_detect配置界面如图

开启融合模块。在Autoware runtime manager 的 Computing 选项卡中找到 range_vision_fusion,配置界面如图，detected_objects_range选择激光雷达目标检测的话题，detected_objects_vision选择摄像头目标检测的话题

返回rviz，在Dispaly左下角Add添加融合后的话题。在By topic中找到/detection/fusion_tools/objects_markers/MarkerArray

不出意外，在RVIZ中即可看到融合后的目标。

其中，有蓝色立方体框住的是感知融合后的目标，带有点云团的是激光雷达欧式聚类出的未融合的目标。

欢迎点赞、收藏👌

---

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。