Toggle navigation
首页
问答
文章
积分商城
专家
专区
更多专区...
文档中心
返回主站
搜索
提问
会员
中心
登录
注册
OPENMV
RA8-M85-vision-board
[Vision Board创客营]使用openmv识别阿尼亚
发布于 2024-05-12 10:19:33 浏览:592
订阅该版
[TOC] # [Vision Board创客营]使用openmv识别阿尼亚 > 🚀🚀五一和女朋友去看了《间谍过家家 代号:白》,入坑二刺螈(QQ头像也换阿尼亚了😄 😆 😊 😃),刚好不知道做什么项目来交作业,突然想到可以做一个阿尼亚识别器,于是有了这篇文章。 > > 🚀🚀水平较菜,大佬轻喷。😰😰😰 参考大佬文章:https://club.rt-thread.org/ask/article/d7b83ada66a196d5.html ## 介绍 🚀🚀Vision-Board 开发板是 RT-Thread 推出基于瑞萨 Cortex-M85 架构 RA8D1 芯片,为工程师们提供了一个灵活、全面的开发平台,助力开发者在机器视觉领域获得更深层次的体验。 🚀🚀Vision Board搭载全球首颗 480 MHz Arm Cortex-M85芯片,拥有Helium和TrustZone技术的加持。SDK包里集成了OpenMV机器视觉例程,配合MicroPython 解释器,使其可以流畅地开发机器视觉应用。 ![img](https://www.rt-thread.org/document/site/rt-thread-version/rt-thread-standard/hw-board/ra8d1-vision-board/figures/postcard.png) ## 环境搭建 🚀🚀环境搭建可以查看这个Vision Board 环境搭建文档(https://docs.qq.com/doc/DY2hkbVdiSGV1S3JM) 特别需要注意的就是,版本一定要新,我使用之前老版的RASC是不行的,如果开发过程中遇到奇奇怪怪的问题,可以首先检查自己版本的问题。 🚀🚀我们使用openmv只需要烧录官方的openmv demo就好了,官方视频教程以及文档已经很详细了,我就不重复介绍了,只需要把demo烧录进来就好了。 ## 训练模型 🚀🚀训练模型我们使用的是edge impulse (https://studio.edgeimpulse.com/), 首先准备大量的阿尼亚图片作为数据集,这里我测试的时候只选了11张,肯定是太少了,大家可以多几张,这样效果会更准确,识别精度更高,我这里只是测试学习用的,大家请勿模仿。 ![image-20240511210204911.png](https://oss-club.rt-thread.org/uploads/20240512/175827b769b3da30c5cc337eeb80350e.png.webp) 🚀🚀然后我们还需要准备一份其他的图片用来训练,因为训练模型必须两类及以上,这里我选择了几张花园宝宝的图片(就不一一展示了),大家可以自己更换其他的: ![image-20240511210712687.png](https://oss-club.rt-thread.org/uploads/20240512/02240e3bd78fc2ce3ec79a6b37d826c3.png.webp) 🚀🚀之后我们进入edge impulse,进行简单的设置,选择One label per data item(每个数据项一个标签)以及M7,然后就可以上传图片进行训练了。 ![image-20240511210435053.png](https://oss-club.rt-thread.org/uploads/20240512/96ea5643b5b2da0c2a6aa04765c7c41f.png) ### 上传图片 🚀🚀选择图片进行上传,我们先上传阿尼亚的图片。 > 🚀🚀这个地方注意,如果上传失败,大概率网络问题,要关闭加速器(神奇,我特地开的加速器😰)。 ![image-20240511211212131.png](https://oss-club.rt-thread.org/uploads/20240512/70fc0fbfd30e7c254c34fffc84ea5a4a.png.webp) 🚀🚀再上传其他的,如下所示: ![image-20240511211256712.png](https://oss-club.rt-thread.org/uploads/20240512/62227d51b779e2a15652e529a990e5fd.png.webp) ### 生成模型 🚀🚀之后就到impulse design里面训练模型,差不多一直默认就好,比较简单。 ![image-20240511211740790.png](https://oss-club.rt-thread.org/uploads/20240512/f811629a5a85f05a1057035323e0de83.png.webp) ![image-20240511211923645.png](https://oss-club.rt-thread.org/uploads/20240512/141a817e73d2313a42f5f6ae787e0dfe.png.webp) ![image-20240511212028478.png](https://oss-club.rt-thread.org/uploads/20240512/0ea6fe4a3a4d2e304734e78ec1567fd5.png.webp) 🚀🚀训练结束就好了,然后直接生成模型。 ![image-20240511212126024.png](https://oss-club.rt-thread.org/uploads/20240512/13754a36c3ff2479ee767bed7e4e4847.png.webp) 🚀🚀就会有一个压缩包下载,我们打开压缩包就能发现模型,到这里,训练模型部分就结束了。 ![image-20240511212225302.png](https://oss-club.rt-thread.org/uploads/20240512/78fa6ea8cd2df32136f1e73a30db1be8.png) ## 使用 🚀🚀然后我们把labels.txt和trained.tflite放入openmv的SD里面去,同时需要新建一个captures文件夹用来存放图片,复制py文件到openmv IDE 里面去,就可以直接运行了,这里我对自动生成的程序做了一点修改,加上了LED灯,拍摄以及红框,结果如下(简陋的代码,甚至没封装,太懒了😭😭😭): ```python # This work is licensed under the MIT license. # Copyright (c) 2013-2023 OpenMV LLC. All rights reserved. # https://github.com/openmv/openmv/blob/master/LICENSE # # Hello World Example # # Welcome to the OpenMV IDE! Click on the green run arrow button below to run the script! import sensor, image, time, os, tf, uos, gc from machine import LED sensor.reset() # Reset and initialize the sensor. sensor.set_pixformat(sensor.RGB565) # Set pixel format to RGB565 (or GRAYSCALE) sensor.set_framesize(sensor.QVGA) # Set frame size to QVGA (320x240) sensor.set_windowing((240, 240)) # Set 240x240 window. sensor.skip_frames(time=2000) # Let the camera adjust. net = None labels = None led = LED("LED_BLUE") try: # load the model, alloc the model file on the heap if we have at least 64K free after loading net = tf.load("trained.tflite", load_to_fb=uos.stat('trained.tflite')[6] > (gc.mem_free() - (64*1024))) except Exception as e: print(e) raise Exception('Failed to load "trained.tflite", did you copy the .tflite and labels.txt file onto the mass-storage device? (' + str(e) + ')') try: labels = [line.rstrip('\n') for line in open("labels.txt")] except Exception as e: raise Exception('Failed to load "labels.txt", did you copy the .tflite and labels.txt file onto the mass-storage device? (' + str(e) + ')') clock = time.clock() last_capture_time = time.time() while(True): clock.tick() img = sensor.snapshot() for obj in net.classify(img, min_scale=1.0, scale_mul=0.8, x_overlap=0.5, y_overlap=0.5): img.draw_rectangle(obj.rect()) # This combines the labels and confidence values into a list of tuples predictions_list = list(zip(labels, obj.output())) x1, y1, w1, h1 = obj.rect() margin = 10 # 设置一个边距,避免紧贴头像边缘 x1 += margin y1 += margin w1 -= margin * 2 h1 -= margin * 2 if (predictions_list[0][1] > 0.95): img.draw_rectangle((x1, y1, w1, h1), color=(255, 0, 0)) # 在检测到的对象周围绘制红色矩形框 led.on() print("Anya") print("********") if time.time() - last_capture_time >= 2: # 检查距离上次拍照是否已经超过两秒 img.save("/captures/Anya_capture_%s.jpg" % str(time.time())) # 使用时间戳作为文件名保存图片 last_capture_time = time.time() # 更新上次拍照时间 print("Shooting a photo of Anya was successful") else: led.off() print("Other") print("********") ``` 🚀🚀然后我们运行看一下结果: > 🚀🚀我们注意到4个地方,一个是终端打印了Anya,第二个是拍照功能,第三个是红框,第四个是LED灯亮了。 ![image-20240511212802645.png](https://oss-club.rt-thread.org/uploads/20240512/58456ec0f5b771b2c9267a17d5d3dc61.png.webp) 🚀🚀我们打开文件夹看一下拍摄的图片: ![image-20240511213055381.png](https://oss-club.rt-thread.org/uploads/20240512/bafaa148065a9a730502cabcfe4c550a.png.webp) 🚀🚀差不多到这里就结束了,模型训练其实还不是很准,大家可以多高一点数据集,不要像我这样懒。 ## 结语 🚀🚀因为是第一次接触,所以很多地方不太懂,请大家见谅,不过这个确实很好玩,哈哈哈!
3
条评论
默认排序
按发布时间排序
登录
注册新账号
关于作者
Meursault
这家伙很懒,什么也没写!
文章
2
回答
0
被采纳
0
关注TA
发私信
相关文章
1
OPENMV软件包怎么使用
2
OPENMV STM32H7 编译失败
3
openMV+micropy与RT1064的一个尝试
4
Vision Board连接不上OpenMV IDE
5
Vision Board使用openmv无法下载脚本
6
在visonboard开发中尝试在openmv中加载个人训练的YOLOv5模型,报错,超出内存
7
Vision Board 的openmv如何部署socket 模块
8
Vison Board 如何在openmv 、main.py脚本中实现和其它线程通信?
9
那个vision board 在 openmv ide 设置波特率的时候,是不是有一个小bug ,设置成0的时候就是115200?
10
Vision Broad连接OTG口后openMV显示错误:系统找不到指定的文件,Renesas Flash也显示连接不上
推荐文章
1
RT-Thread应用项目汇总
2
玩转RT-Thread系列教程
3
国产MCU移植系列教程汇总,欢迎查看!
4
机器人操作系统 (ROS2) 和 RT-Thread 通信
5
五分钟玩转RT-Thread新社区
6
【技术三千问】之《玩转ART-Pi》,看这篇就够了!干货汇总
7
关于STM32H7开发板上使用SDIO接口驱动SD卡挂载文件系统的问题总结
8
STM32的“GPU”——DMA2D实例详解
9
RT-Thread隐藏的宝藏之completion
10
【ART-PI】RT-Thread 开启RTC 与 Alarm组件
热门标签
RT-Thread Studio
串口
Env
LWIP
SPI
AT
Bootloader
Hardfault
CAN总线
FinSH
ART-Pi
USB
DMA
文件系统
RT-Thread
SCons
线程
RT-Thread Nano
MQTT
STM32
RTC
FAL
rt-smart
ESP8266
I2C_IIC
UART
WIZnet_W5500
ota在线升级
PWM
cubemx
freemodbus
flash
packages_软件包
BSP
潘多拉开发板_Pandora
定时器
ADC
GD32
flashDB
socket
中断
编译报错
Debug
SFUD
msh
rt_mq_消息队列_msg_queue
keil_MDK
ulog
C++_cpp
MicroPython
本月问答贡献
出出啊
1517
个答案
342
次被采纳
小小李sunny
1443
个答案
289
次被采纳
张世争
807
个答案
174
次被采纳
crystal266
547
个答案
161
次被采纳
whj467467222
1222
个答案
148
次被采纳
本月文章贡献
catcatbing
2
篇文章
2
次点赞
xnosky
2
篇文章
1
次点赞
Woshizhapuren
1
篇文章
4
次点赞
YZRD
1
篇文章
2
次点赞
用RTT跑流水灯
1
篇文章
2
次点赞
回到
顶部
发布
问题
投诉
建议
回到
底部