手把手教你使用LabVIEW实现Mask R-CNN图像实例分割( 二 ) _生活百科

2、LabVIEW调用 Mask R-CNN （mask rcnn.vi）注意：Mask R-CNN模型是没办法使用OpenCV dnn去加载的，因为有些算子不支持，所以我们主要使用LabVIEW开放神经网络交互工具包（ONNX)来加载推理模型。

onnxruntime调用onnx模型并选择加速方式

文章插图

图像预处理

【手把手教你使用LabVIEW实现Mask R-CNN图像实例分割】

文章插图

执行推理我们使用的模型是：maskrcnn_resnet50_fpn，其输出有四层，分别为boxes,labels,scores,masks,数据类型如下：

文章插图

可以看到，labels的类型为INT64,所以我们的源码中需要“Get_Rresult_int64.vi,index为1，因为labels为第二层，即下标为1;

文章插图

另外三个输出我们都可以使用float32来获取了，masks虽然数据类型是uint8,但在实操过程中发现，它其实做过归一化处理了，也可以使用float32.

文章插图

后处理并实现实例分割因为后处理内容较多，所以直接封装为了一个子VI，mask_rcnn_post_process.vi，源码如下：

文章插图

整体的程序框架如下：

文章插图

实例分割结果如下，我们会发现这个模型跑起来，他花的时间比之前就更长了。因为他不但要获取每一个对象的区域，还要也要把这个区域的轮廓给框出来，我们可以看到五个人及篮球都框出来了，使用不同的颜色分割出来了。

文章插图
3、LabVIEW调用 Mask R-CNN 实现实时图像分割（mask rcnn_camera.vi）整体思想和上面检测图片的实力分割差不多，不过使用了摄像头，并加了一个循环，对每一帧对象进行实力分割，3080系列显卡可选择TensorRT加速推理，分割会更加流畅。我们发现这个模型其实很考验检测数量的，所以如果你只是对人进行分割，那可以选择一个干净一些的背景，整体检测速度就会快很多。