RT-Thread-【RA8D1-Vision Board】openmv实现鸟巢识别RT-Thread问答社区

【RA8D1-Vision Board】openmv实现鸟巢识别

发布于 2024-06-15 23:56:13 浏览：623 订阅该版

[tocm]

## 项目简介
本项目使用Edge Impulse进行模型的训练。Edge Impulse是一个端到端的开发平台，专为构建和部署嵌入式机器学习模型而设计。它使开发人员能够使用传感器数据来构建自定义的机器学习模型，并在边缘设备上运行这些模型，而无需互联网连接。Edge Impulse提供了一系列的工具和库，使开发人员能够快速有效地构建和部署自定义的嵌入式机器学习应用程序。
之所以使用鸟巢作为项目的识别对象，是因为鸟巢的特征繁多不容易提取，可以充分测试本设备的运算能力，为日后识别模型和设备的选型提供参考。

### 一、需要用到的工具和安装包和源码包
工程源码:
https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board
RT-Thread env工具: 
https://www.rt-thread.org/download.html
Renesas Flash Programmer烧录工具:
https://www.renesas.com/us/en/software-tool/renesas-flash-programmer-programming-gui
openmv ide
https://openmv.io/pages/download
模型开发平台：
https://edgeimpulse.com/

### 二、开发过程
1. openmv工程的下载与编译
- 克隆sdk-bsp-ra8d1-vision-board源码包，使用env工具切换至目录$PRJ/sdk-bsp-ra8d1-vision-board/projects/vision_board_openmv
- 运行mklinks.bat生成两个链接
- 运行env并切换至vision_board_openmv/, 使用scons命令进行编译
- 编译过程会报如下错误
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/db2de921449b90435a5277eb410c53f8.png.webp)
参考https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board/pull/88，使用 arm-gnu-toolchain-13.2.rel1 版本工具链进行编译。下载工具链，并在env中设置环境变量set RTT_EXEC_PATH=D:\your toolchain path\bin

2. 模型训练
- 进行模型开发平台https://edgeimpulse.com/
- 按提示新建工程并设置工程配置项
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/cc49301c604ecdfe4107df2e7b11278a.png.webp)
- 选择左栏进行原始数据上传，配置如下，我选择的是自动划分训练和测试项，自定义标签
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/1001cb464c9f574a76330adf49e81b09.png.webp)
- 图片上传后，可以分别查看训练集和测试集的内容
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/c289069e348a50c38b8d8da0e3e301bb.png.webp)
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/8a9a5ff631745b48399efad1ef62051f.png.webp)
- 根据![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/936597bdf667b0322cb6bd8293e5a7a5.png)进行图片的标注
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/0b272c8c9838321b9638aecb6b25727c.png.webp)
- 使用![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/444d2896043d325d0cca665338cd4dce.png)-> Create impulse 进行模型配置
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/ae1554c4e489935f5ca464efd7151482.png.webp)
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/d17c3dafcbdd494c2b8dec8cee69702f.png.webp)
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/c7e926d0434d7784678edf99e30f0119.png.webp)
- 使用![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/444d2896043d325d0cca665338cd4dce.png) -> image
配置颜色深度为RGB，并生成特征。
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/5b5b7288ff076661e32de894a823bd84.png.webp)
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/459cea820a1c331ae41525c5b44263f4.png.webp)
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/37bc845473cae5d70b6a0cbdd125bd74.png.webp)
- 使用![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/444d2896043d325d0cca665338cd4dce.png) -> Object Detection 配置训练参数并开始训练
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/cfe4fdb35d7f70401fa9401fc3414384.png.webp)
- 训练结果
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/064aaef2dca4474422cfd5e3a0c17eb4.png.webp)
- 工程库的生成![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/7e699772dd8929fcfee06e8ee47eb22d.png)-> build
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/53bb77e724e92a8e2b665289dc486be0.png.webp)
- 生成文件
![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/9c0a2ffe015fb09af3f264e1e5385530.png.webp)

三. 项目测试
- 将labels.txt和trained.tflite两个文件复制到sd卡，并将卡插入开发板
- 烧录vision_board_openmv/工程的hex文件到开发板
- 打开openmv ide并打开ei_object_detection.py
- 连接并运行脚本

![screenshot_image.png](https://oss-club.rt-thread.org/uploads/20240615/ba4f0c1e05321184788468d593c5bace.png.webp)
可以看到训练效果，已经能识别到鸟巢。