Toggle navigation
首页
问答
文章
积分商城
专家
专区
更多专区...
文档中心
返回主站
搜索
提问
会员
中心
登录
注册
K210
RT-AK_AI-Kit_人工智能
基于RTT-Draco 的疲劳驾驶监控系统
发布于 2022-05-20 15:15:24 浏览:1973
订阅该版
[tocm] 疲劳驾驶一直是交通界的焦点与痛点,每年都有大量司机因疲劳驾驶导致伤亡。传统的疲劳驾驶预防,大都基于司机 自身角度,通过正常的作息和合理的行车安排来提前减少疲劳驾驶发生的可能性,而未能从疲劳驾驶已经可能发生的角度及时的避免疲劳驾驶的继续。 从这个角度出发,我们将传统的疲劳驾驶预防与提醒方式,与人脸识别结合,设计了疲劳驾驶监测与提醒装置。可以识别抽烟、喝水、使用手机、闭眼、睁眼、闭嘴、张嘴等行为状态。 注:本项目为2022中国大学生计算机设计大赛RT-Thread@中智讯物联网专项赛参赛作品。项目已在github上整体开源,赛后将在本论坛整体开源,这里只做部分代码及流程解释。 使用平台:RTT—DracoAI套件 模型部署插件:[RT-AK](https://github.com/RT-Thread/RT-AK) 代码编写工具:RT-Thread Stdio 2.1.5 我就不按比赛要求写那种产品介绍类的东西了,技术平台直接上干货,模型部分使用yolo-fastest,模型流程图如下(部分,整个传不上来,开源后自己下模型看吧)  使用RT-AK进行部署 ``` # 基础运行命令 python aitools.py --project=
--model=
--model_name=
--platform=k210 --clear # 示例 $ D:\Project\edge-ai\RT-AK\rt_ai_tools>python aitools.py --project=D:\Project\K210_Demo\k210_rthread_bsp --model=.\Models\mnist.tflite --model_name=mnist --platform=k210 --embed_gcc=D:\Project\k210_third_tools\xpack-riscv-none-embed-gcc-8.3.0-1.2\bin --dataset=.\platforms\plugin_k210\datasets\mnist_datasets ``` 部署成功示意图  在RT-Thread stdio中工程目录下更新软件包,将会使用到LCD,Camera,USART做监控串口,SPI1(wifi),以及co2传感器使用的i2c。setting中配置图如下  接下来就是软件包的包含,使用了sgp30和gps_rmc,rw007驱动软件包会自动包含,具体配置不做赘述(rw007驱动记得改频率不然用不了),会在整体开源后补充。 这里展示以下部分代码流程截图,首先进行硬件初始化和模型初始化  之后为了保证流畅运行,各外设进行了多线程的创建和处理  这里遇到了一个神奇的bug,将摄像头采集的图片裁剪后放入kpu中会倒是kpu的图像失败,效果如下图  只有不裁剪的240*320图片直接进入kpu中才能完美显示,这里重写了一个image_seg函数解决了这个问题,进入模型进行运算并对运算结果进行处理  之后就是屏幕显示onenet上传图片巴拉巴拉的就可以了,上传图片使用了http post,onenet自己的那个软件包不好用,这里就不赘述了。模型各类别的准确度如下图  因为抽烟这样的行为在屏幕中表现的实在是太小了,准确度相较于其他略有下降,在RTT-Draco上的运行时间约为360ms。这里没有办法插入视频,就从视频里截了一张识别的效果图,之后上传个bilibili啥的再来补个网址。  到此,该项目完成了车辆定位,车内co2浓度检测,驾驶员不良行为检测等功能,且具备了声光震动提醒,基本符合疲劳驾驶监控系统的定位和要求,项目的不足欢迎大家留言,如有兴趣可以一起讨论,谢谢
3
条评论
默认排序
按发布时间排序
登录
注册新账号
关于作者
DLMU_lcc
嘛尼叭咪哄
文章
3
回答
0
被采纳
0
关注TA
发私信
相关文章
1
K210 esp32 初始化完成后程序崩溃
2
K210 BSP 在线调试有问题,裸跑官方没问题
3
关于交叉编译工具链路径问题
4
关于K210使用RW007的注意
5
如何在k210上移植rt-thread nano
6
RTT下K210两路SPI不能同时使用问题,求大神
7
K210平台,开启NTP功能后。stack overflow
8
K210 交流一起共建生态
9
K210 spi驱动问题
10
请教K210编译报错
推荐文章
1
RT-Thread应用项目汇总
2
玩转RT-Thread系列教程
3
国产MCU移植系列教程汇总,欢迎查看!
4
机器人操作系统 (ROS2) 和 RT-Thread 通信
5
【技术三千问】之《玩转ART-Pi》,看这篇就够了!干货汇总
6
五分钟玩转RT-Thread新社区
7
关于STM32H7开发板上使用SDIO接口驱动SD卡挂载文件系统的问题总结
8
STM32的“GPU”——DMA2D实例详解
9
RT-Thread隐藏的宝藏之completion
10
【ART-PI】RT-Thread 开启RTC 与 Alarm组件
热门标签
RT-Thread Studio
串口
Env
LWIP
SPI
Bootloader
AT
Hardfault
CAN总线
ART-Pi
FinSH
DMA
USB
文件系统
RT-Thread
SCons
RT-Thread Nano
线程
MQTT
STM32
FAL
RTC
rt-smart
I2C_IIC
UART
cubemx
ESP8266
BSP
ota在线升级
WIZnet_W5500
PWM
packages_软件包
flash
freemodbus
GD32
潘多拉开发板_Pandora
ADC
keil_MDK
定时器
flashDB
编译报错
ulog
socket
rt_mq_消息队列_msg_queue
msh
中断
Debug
SFUD
C++_cpp
MicroPython
本月问答贡献
出出啊
1524
个答案
343
次被采纳
小小李sunny
1444
个答案
290
次被采纳
张世争
821
个答案
179
次被采纳
crystal266
555
个答案
162
次被采纳
whj467467222
1222
个答案
149
次被采纳
本月文章贡献
出出啊
1
篇文章
2
次点赞
小小李sunny
1
篇文章
1
次点赞
张世争
1
篇文章
2
次点赞
crystal266
2
篇文章
1
次点赞
whj467467222
2
篇文章
1
次点赞
回到
顶部
发布
问题
投诉
建议
回到
底部