RT-Thread-基于RT-Thread+RA6M4的心电情绪识别RT-Thread问答社区

基于RT-Thread+RA6M4的心电情绪识别

发布于 2022-07-24 18:34:58 浏览：696 订阅该版

[tocm]

## 概要

提取心电的部分参数使用支持向量机进行情绪模型的训练，并进行情绪预测。

支持向量机SVM解释（大概知道下原理即可，python 直接调命令进行使用）: https://blog.csdn.net/qq_31347869/article/details/88071930

## 演示视频

[情绪预测演示.mp4](https://club.rt-thread.org/file_download/b36f63379cabb6ad)

## 作品图片

![硬件.jpg](https://oss-club.rt-thread.org/uploads/20220724/bcd1a21d063666edd5cf34baa87e68f4.jpg.webp "硬件.jpg")

RAM64 \* 1，esp8266 \* 1，ad8232 \* 1，电极片 \* 3

## 系统框架

![整体框架.png](https://oss-club.rt-thread.org/uploads/20220724/1bf14bc9a96e090c4f5c3b957f3f8886.png "整体框架.png")

![RTT包使用.png](https://oss-club.rt-thread.org/uploads/20220724/6d3bc45f891bd71e3e74e7a4e201a13a.png "RTT包使用.png")

* at 客户端：esp8266（uart2: p301,p302）, 用于将心电原始数据上传至TCP 服务器
* ssd1306: 0.96OLED（SDA: p512, SCL: p511）, 用于显示心电波形（上）和R峰位置（下） [tophat演示.mp4](https://club.rt-thread.org/file_download/7f44629ef4cc5203)
* ad8232: adc0_channel0(p000)

本想用 rtt 里的 tensorflow lite micro 的，但是 c++ 没调通...

### 实现功能

* 心电波形显示
* 心电R峰寻找
* TCP传输数据
* 模型训练
* 情绪预测

### 心电采集流程

使用定时器 rt_timer（采样频率 fs=25Hz，即定时器间隔设定未40ms）和 adc0_channel0 进行心电采集，在采集完成后停止定时器，并释放信号量 rt_sem, 主循环获取到信号量后，进行数据上传、R峰解算和波形绘制，并再次开启采样时钟进行采样。

![大体流程.png](https://oss-club.rt-thread.org/uploads/20220730/c159c254cec5154cbea95e5846614ece.png.webp "大体流程.png")

### 电极贴法

![电极位置](https://oss-club.rt-thread.org/uploads/20220730/539f750e058775d48b25016fed25bc65.webp "电极位置")

### TOPHAT算法

https://club.rt-thread.org/ask/article/83a22d5ff5d55d3f.html

算法流程

1. 腐蚀：取`下包络面`，也就是`滑动窗口取最小值`（leetcode的题，标准解法是使用队列，代码里用的就是标准解法，也可以简单点使用下方的解法）
```python
def minWindows(nums,wndsize): # 数组 nums，窗口大小 wndsize
    ret=[]
    for i in range(len(nums)-wndsize+1):
       ret.append(min(nums[i:i+wndsize]))
    return ret
```
2. 相减：使用`原波形减去包络面`得到结果f
3. 过窗：也是使用滑动窗口 rpeak(x) = (f(x) - f(x-wndsize/2)) \* (f(x)- f2(x+wndsize/2), rpeak 就是计算结果，过了窗后，R峰位置的值特别大，其他非R峰位置的值较小。`心率 = 60 / 采样秒数 * R峰个数`

[tophat演示.mp4](https://club.rt-thread.org/file_download/7f44629ef4cc5203)

参考论文：[心电R波定位方法_庞春颖.pdf](https://club.rt-thread.org/file_download/49d31866a6f7995e)

### 模型训练与预测

通过设置 `em_tcpserver.py` 中的 `SVAE_EMOTION` 变量进行模式设置。
（ None -> 情绪预测模式；非None -> 数据保存模式，保存上传的心电数据和使用`heartpy`获取的心电特征，用于 `em_train.py` 进行模型训练）

![tcpserver.png](https://oss-club.rt-thread.org/uploads/20220724/ff98b093be4ab1dff79c2369519c39a4.png.webp "tcpserver.png")

模型训练，需手动将`feature_xxx.csv`复制到`feature_sum.csv`里，并打上情绪标签，点击`em_train.py`文件，点击全部运行即可训练模型，训练的模型将保存为`em.pkl`，供`em_tcpserver.py`在情绪预测模式下使用

![模型训练.png](https://oss-club.rt-thread.org/uploads/20220724/2b656e4fb6861d7c8007ccc91b5f3c40.png.webp "模型训练.png")

可以看到准确率为 0.42，准确率一般般。（真要做情绪识别的话还是首选脑电比较好，但我玩不起脑电...）

![模型使用.png](https://oss-club.rt-thread.org/uploads/20220724/6a5ab76bf50eb1d0b74a24cc67a51ef4.png.webp "模型使用.png")

### 服务器启动流程

* 局域网IP

![IP.png](https://oss-club.rt-thread.org/uploads/20220724/c4bd42162c99923cd1ebb07b2c413369.png.webp "IP.png")

* AT 指令

![PORT1.png](https://oss-club.rt-thread.org/uploads/20220724/1ab5bdaca59924411c54b52ec5880fa3.png.webp "PORT1.png")

* TCPServer

![PORT2.png](https://oss-club.rt-thread.org/uploads/20220724/f762f1caf8e9e5988367b9dafc54da53.png.webp "PORT2.png")

运行 `em_tcpserver.py`后重启单片机等待数据上传。

## 如何使用

1. 确保esp8266连上WiFi，并且接入到`em_tcpserver.py`的服务器里
2. 测心电时拔掉电脑电源，使用电脑电池供电，以除去共频干扰。
3. 因为心电这个东西因人而异，我训练所用的都是我个人的数据，如果你要使用的话，最好还是采集你自己的心电（`em_tcpserver.py`里的`SVAE_EMOTION`设置采集的情绪，然后使用`em_train.py`训练模型，再将`SVAE_EMOTION`设置为`None`，以进入情绪识别模式）

## 代码文件

下位机: [rtt_ram64.zip](https://club.rt-thread.org/file_download/b485e27f3385103c)

上位机: [tcpserver.zip](https://club.rt-thread.org/file_download/7eec3f1ed563bebe)