本项目名称为《警用智能机器人关键技术研究与应用》，为2020年向达州市科技局申请并获批准的达州市科技攻关项目，项目组成员共5人，主要研发人员是：侯翔、杨成福、刘笃晋、彭小利、黄晨。课题组以研发并掌握警用智能机器人的关键技术和方法为核心，围绕警用智能机器人“整体系统架构”、“全天候远程控制（通信）系统”、“灵巧作业机械系统”、“环境感知、检测系统”、“基于改进Faster-RCNN 算法的视觉识别系统”、“云视频采集传输系统”和“跨平台人机交互系统”7个方面开展研究，制造了 1 台警用智能机器人样机，优化了警用机器人应用技术。本项目发表学术论文2篇，申请专利3项，获软著授权5项，获达州市科技创新二等奖。现将研究情况总结如下：

1、课题研究目标

目前，警用机器人虽然取得了一定的发展成果，总体来看还是处于行业起步阶段，还面临许多关键技术问题待解决，这些问题的解决将是促进警用机器人产业快速发展的重要推动 力。因此，对警用智能机器人关键技术的研究和技术的衍生应用具有研究的必要性。同时， 机器人技术作为战略性高技术， 未来产业链长并带动性强。通过开展机器人核心技术与产品 的攻关，不仅可以弥补省内、市内在该领域的技术空白，而且对于我市重点产业战略发展具有重要的推动作用。 

本课题将（1）综合运用人工智能、物联网、云视频、自动控制理论等基础理论和技术方法，研发 并掌握警用智能机器人的关键技术和方法。（2）制造 1 台警用智能机器人样机，集运动、环境感知、侦察排爆、视觉识别、远程控制等于一体的多功能综合系统，提高全社会的公安安全防范水平。

2、课题主要研究内容

本项目围绕7个方面开展研究：

（1）警用智能机器人“整体系统架构”；

（2）“全天候远程控制（通信）系统”；

（3）“灵巧作业机械系统”；

（4）“环境感知、检测系统”；

（5）“基于改进Faster-RCNN 算法的视觉识别系统”；

（6）“云视频采集传输系统”；

（7）“跨平台人机交互系统” 。

3、课题完成情况

（1）设计并完成了警用智能机器人“整体系统架构”

设计并完成了机器人主控系统3层架构。该机器人总体架构由感知层、网络层和应用层３层组成。

其中：

a.应用层。在应用层，运用开源嵌入式操作系统，搭建视频服务器、数据库服务器，开发控制系统软件，运行目标识别算法，为操控机器人和机器人自主决策提供平台。操作者通过平板电脑或PC等终端设备，连接人机交互系统后，即可对机器人数据信息进行分析和处理，并对机器人进行远程控制。

b.网络层。网络层，主要负责提供数据交互以及人机交互的通信条件。主要负责将5G/4G通信模块、WiFi模块等无线设备接入机器人本体，实现远程、双向通信，同时兼容本地无线（有线）连接机器人。

c.感知层。感知层，主要包括机器人控制指令的接收和执行，各种数据信息的采集上报，为机器人移动、传感、追踪目标等功能提供软硬件支撑。

（2）实现了警用智能机器人“全天候远程控制（通信）系统”

为给机器人建立高速、安全、远距离的无线通信渠道，本项目将5G通信嵌入到机器人本体。5G通信模块使用了华为巴龙模块（HUAWEI-MH5000全网通工业级模组）。同时完成5G巴龙模块驱动开发，并移植入机器人控制系统。嵌入本体后，配合使用公网IP设备，支持5G及4G广域网通信，速率、带宽等主要指标符合国家标准。同时，为方便操作者本地控制机器人，进一步完善了组网方案，将WIFI模块接入了机器人本体，支持WIFI联网及本地局域网直接连接。

其中，完成了华为5G巴龙模块驱动开发，并成功移植入机器人控制系统。

经测试，机器人支持5G及4G通信，速率、带宽等主要指标符合国家标准。5G巴龙模块接入机器人本体后，通信速率、带宽均大幅提升。

（3）实现了警用智能机器人“灵巧作业机械系统”。

本体平台是移动靶机器人的基础，为机器人行走、采集数据及智能控制系统提供载体。

本项目设计了一款多功能的实用新型产品，是一种四轮运载平台，采用四轮差速结构，原地转向，体型小，灵活性强，并且采用模块化设计，具有相对独立性、互换性、通用性，模块接口部位的结构、尺寸和参数标准化，容易实现模块间的互换，也可以对模块单独进行设计、制造、调试、修改和存储，有利于实现模块的通用，同时内部排布不紧凑，空间较大，可快速便捷地进行二次开发。

通过搭载传感器、GPS、惯导等一系列扩展设备，该机器人可应用于巡检、安防、科研等不同领域。

（4）实现了警用智能机器人“环境感知、检测系统”

为实时检测火灾警情、有毒有害气体以及其他环境数据，本项目开发了环境感知、检测系统，实现了主控系统与下位机双向、实时通信（兼顾RS232和TTL串口）。数据上传方面：编写了应用程序，对下位机（单片机）上报的各类型环境数据，进行检查和过滤，并实时存储到数据库中。数据下发方面：将控制系统产生的字符或数值类型的命令，下发给下位机执行。

（5）实现了警用智能机器人“基于改进Faster-RCNN 算法的视觉识别系统”

为提高警用机器人的智能化水平，实现对移动目标的检测、识别和定位，协助警务人员发现潜在的犯罪行为，项目组设计了基于改进 Faster-RCNN 算法的视觉识别系统。提出：运用多尺度特征融合检测算法 (MSF Faster R-CNN)，实现机器人对目标物体的检测、识别和定位。首先，通过多尺度高斯金字塔增强图像细节；然后，采用多层次提取并融合目标特征策略，兼顾大目标和小目标检测；最后，根据目标的聚集分布情况，优化锚点尺寸和纵横比设置，进一步提升检测精度。在一般手势和复杂手势两种数据集下的实验结果表明，算法的mAP分别为99.7%和93.3%，优于当前主流的目标检测算法。

TensorFlow可视化工具TensorBoard展示的训练结果。当进行完150k次迭代的训练后，模型的识别准确率为 99.74%。

同时，在复杂手势数据集下，把MSF Faster R-CNN算法与FastR-CNN、Faster R-CNN、SSD、YOLO算法的mAP进行比较，实验结果如表2所示。可以看出，MSF Faster R-CNN 的mAP优于其他算法， 较 Fast R-CNN 提高4.8%, 较 Faster R-CNN 提高2.1%, 较SSD提高2.5%, 较 YOLO提高9.9%, 模型具有较高的mAP和较低的漏检率。

（6）实现了警用智能机器人“云视频采集传输系统”。

完成了远程移动监控系统开发。通过将5G通信模块接入机器人本体，为机器人建立了高速、安全、远距离的无线通信渠道。同时，将5G与高清编码（HD.264/265）、推流（RTMP/RTSP）等技术相结合，解决了现有远程视频传输分辨率、速率等瓶颈问题。

本项目搭建了基于RTMP（real time messaging protocol）协议的流媒体服务器，使用H.264作为压缩格式。首先，获取摄像头的视频流。然后，将视频流经过流服务器推送到机器人主控系统后台视频处理。最后，推送到机器人控制中心视频显示区域的页面，从而实现了实时音视频通信。

同时，考虑控制项目硬件成本，本项目同时支持MJPEG格式的USB摄像头，支持实时采集、上传低成本网络USB摄像头采集的MJPEG格式视频，并解码、传输。

（7）实现了警用智能机器人“跨平台人机交互系统”。

研发了基于Linux的机器人主控系统。针对市场现有产品智能化程度较低的问题，依托自有专利技术，开发了基于Linux的机器人主控系统，搭建了核心平台。包括架构设计，固件开发及编译，搭建视频服务器、数据库服务器、web服务器，开发应用软件等工作。在基于x86芯片的工控机上完成了主控系统开发。

完成了应用软件开发。控制系统软件采用Web数据库B/S架构，坚持面向服务的 SOA 架构的思想，达到数据层与业务应用分离。控制系统软件包括登录界面、控制中心、数据中心、系统设置4个页面，可运行在多种类型的终端上。其中，控制中心包括：1）视频显示区域；2）信息显示区域；3）操作区域等。

系统基于B/S模式的web人机交互界面，以图形化的方式提供各种操作手段，信息的表现方式更直观，效率更高，摆脱过去那种面对大量枯燥的训练表格进行数据挖掘的状况。

特别是该系统使用消费级平板电脑无线连接并远程、实时控制机器人。能够在PC、平板等多种设备、多类平台上运行，从而实现交互方式更加友好、便捷，解决了市场上现有产品，使用专用控制箱操控机器人带来的携带不便等问题。

4、研究创新点

本项目的创新点在于：

（1）创新研发了基于嵌入式系统的机器人控制系统。基于嵌入式系统的机器人控制系统，并配套研发了视频图像服务器和WEB 服务器等应用软件，整体具有较好的运算能力和扩展能力。

（2）创新研发了基于云视频的视频图像采集传输系统。运用云视频技术，采用推流（HD.264/265+rtsp/rtmp）采集现场视频图像。

（3）基于改进Faster-RCNN 算法的视觉识别系统。提出并运用多尺度特征融合检测算法（MSF Faster R-CNN)，实现机器人对目标物体的检测、识别和定位。

（4）全天候远程控制（通信）系统。支持4G/5G、宽带、WIFI、本地局域网接入等多种网络接入方式实施远程控制。

（5）跨平台人机交互系统。针对现有产品使用专用控制箱操控机器人带来的携带不便等问题，改进人机交互系统，并可在多种设备、多种平台上运行，人机交互方式友好、便捷。