王晟越 · 机器人定位与导航

智慧物流机器人 · 面单识别与自动分拣

2022.04 – 2022.08 | 第十五届中国大学生计算机设计大赛人工智能挑战赛 · 智慧物流赛道 · 队长(作品《物流小车》)
PaddleOCRROSGmappingNavigationMoveIt视觉识别机械臂抓取

项目概述

大一第一个机器人项目:在 LEO 底盘 + DOBOT Magician 平台上识别快递面单上的收件地址,自动按省份分拣投递。国赛三等奖 / 省赛二等奖。

获奖证书

2022 年(第 15 届)中国大学生计算机设计大赛 国家三等奖
2022 年(第 15 届)中国大学生计算机设计大赛 国家三等奖点击放大
2022 年(第 15 届)中国大学生计算机设计大赛人工智能挑战赛 直报赛区选拔赛(省级) 二等奖
2022 年(第 15 届)中国大学生计算机设计大赛人工智能挑战赛 直报赛区选拔赛(省级) 二等奖点击放大

演示

图 1 机器人停在分拣台前,识别快递盒上的面单
图 1 机器人停在分拣台前,识别快递盒上的面单点击放大
图 2 快递面单:运单号 + 收件地址 + 收件人 + 电话
图 2 快递面单:运单号 + 收件地址 + 收件人 + 电话点击放大
图 3 分拣箱按省份标识
图 3 分拣箱按省份标识点击放大
分拣演示

技术栈

LEO 移动底盘 + DOBOT Magician 机械臂(吸盘末端)+ ROS(话题 / 服务 / 动作)+ Gmapping + Navigation + MoveIt + 百度飞桨 PaddleOCR + OpenCV

我做了什么

  • 任务与规则:赛项为模拟快递分拣:机器人需识别贴在快递盒上的面单(运单号、收件地址、收件人与电话),按收件地址所属省份投递到对应分拣箱;按赛事规则单次最多抓取两件并暂存于底盘,再统一投递。
  • 面单识别(PaddleOCR):使用百度飞桨 PaddleOCR 完成面单文字的检测与识别,从收件地址中解析出省市区,映射到目标分拣箱。
  • 抓取目标定位:按快递盒轮廓抠图:面单为白色、与台面背景接近,直接在整幅图上做检测会与背景混淆;因此先按快递盒轮廓抠图分割出盒体区域,再在盒体区域内定位面单,换算成机械臂末端需要移动的相对坐标。
  • 底盘补偿与抓取执行:若目标超出机械臂工作空间,则先控制底盘移动补偿距离,再执行抓取;取件后按规则暂存(单次最多两件)并统一投递。
  • ROS 从零学起:掌握话题 / 服务 / 动作三种通信方式,完成 Gmapping 同步建图、Navigation 导航框架路径规划与 MoveIt 机械臂运动规划配置。

关键结果

作品名《物流小车》
全国总决赛国家三等奖
省级选拔赛二等奖 ×2