{"code":1,"msg":"成功","time":"1793358266","data":{"title":"【2026嵌入式大赛】目语心声-阿尔兹海默症老人智能辅具","content":"# 「目语心声」阿尔茨海默症老人智能辅具——基于兆易创新 GD32H759I-EVAL 主控的下位机实现\r\n\r\n一套面向阿尔茨海默症老人居家照护的智能辅具：老人只需**注视屏幕上的图片**，设备就能读懂他的选择并替他把需求“说”出来。本文将分享该项目的功能设计、硬件框架、软件框架，以及把下位机主控从 Arduino Mega 2560 更换为 **兆易创新 GD32H759I-EVAL** 的实现过程。\r\n\r\n---\r\n\r\n## 一、项目概述\r\n\r\n### 1.1 项目简介\r\n\r\n“目语心声·阿尔茨海默症老人智能辅具”是一套面向居家照护场景的一体化智能辅具系统，由下位机智能辅具设备与上位机多端应用系统两部分组成。项目围绕“看得懂画面、判得准状态、护得住安全、连得上家人”的目标，将嵌入式 AI 视觉、机器人运动控制、物联网通信与后端人工智能相融合，形成“看、记、护、陪”的居家照护闭环。\r\n\r\n下位机以集成式桌面摆件形态呈现，集成 K230 视觉识别（人脸识别、摔倒检测、人眼朝向识别、人形检测）、步进电机一维云台人脸锁定跟踪、主控单元、MPU6050 姿态检测、GPS 定位、智能感应药盒、智能起夜灯、淘晶驰串口屏、语音播报与 AI 语音陪伴等功能；上位机基于 UniApp 跨端框架开发小程序、网页与 App 三端，配套后端服务，实现设备数据展示、告警推送与家属远程守护。\r\n\r\n系统核心创新在于“目语心声”人机交互模式：以情绪、需求、行为三类左右双图选项呈现，老人通过人眼朝向识别或触屏即可完成需求表达，实现“眼睛即语言”的无障碍沟通。\r\n\r\n### 1.2 行业背景与照护痛点\r\n\r\n- **表达困难**：语言逻辑退化，老人难以主动说清需求，家属只能靠猜。\r\n- **看护缺位**：家属白天工作、护工一对多，无法时刻守在老人身边。\r\n- **安全隐患**：跌倒、走失、忘记服药、夜间起夜不便等风险持续存在。\r\n- **情感孤独**：缺少陪伴与交流，情绪波动难以及时被发现。\r\n\r\n### 1.3 为什么把主控换成 GD32H759I-EVAL\r\n\r\n原方案下位机主控采用 Arduino Mega 2560（8 位 AVR 架构、主频 16MHz、4 路硬件串口）。随着系统接入的外设与通信链路不断增多（K230 视觉模块、串口屏、GPS、DFPlayer、天问语音播报、ESP8266 联网等），主控在串口资源、运算能力与实时响应上逐渐吃紧。\r\n\r\n本次将主控更换为兆易创新 GD32H759I-EVAL 评估板：该板基于 **ARM Cortex-M7 内核，主频 600MHz**，具备多路 USART、SPI、I2C、定时器与 DMA 等丰富外设资源，可满足多外设并发通信与实时控制需求，并为后续接入更多传感器与本地算法预留充足算力。除主控外，系统其余硬件方案保持不变。\r\n\r\n---\r\n\r\n## 二、功能介绍\r\n\r\n### 2.1 需求表达与智能交互\r\n\r\n- 目语心声模式：串口屏以“情绪、需求、行为”三类左右双图呈现选项。\r\n- 双通道输入：老人注视目标图片由人眼朝向识别完成选择，也可直接触屏操作。\r\n- 结果播报：选择结果由语音模块实时播报，弥补语言表达能力的不足。\r\n- 辅助交互：一键呼叫家属、屏幕点歌、定时提醒。\r\n\r\n### 2.2 AI 视觉识别\r\n\r\n- 人脸识别：辨认老人与家属身份，支持家属到访提醒，并作为跟踪目标。\r\n- 人眼朝向识别：判断老人注视方向，支撑目语心声交互。\r\n- 摔倒检测：识别老人跌倒等异常姿态并触发告警。\r\n- 人形检测：判断老人是否离开监控画面，实现防走失提醒。\r\n- 情绪识别：判断老人情绪倾向，为情感陪伴与家属状态了解提供依据。\r\n- 人脸自动搜索与锁定跟踪：持续对准目标人脸，为交互与监护提供稳定画面。\r\n\r\n### 2.3 安全监护\r\n\r\n- 设备翻倒检测：MPU6050 感知设备本体倾倒状态并上报。\r\n- GPS 定位：上报设备位置信息，支持电子围栏与越界告警。\r\n- 智能起夜灯：光敏传感器检测环境变暗，结合视觉识别到老人时自动点亮。\r\n- 异常告警：摔倒、翻倒、越界等异常经 MQTT 上报后端并推送至家属端。\r\n\r\n### 2.4 生活辅助\r\n\r\n- 智能感应药盒：红外对射模块感应药盒开合状态，辅助监测服药。\r\n- 定时提醒与留痕：吃药、待办等提醒支持定时触发，并在特定时间点自动截屏保存。\r\n- 备忘便签与活动日志：记录照护事项与老人日常活动。\r\n- 音乐播放：通过屏幕点歌播放老人熟悉的曲目。\r\n\r\n### 2.5 情感陪伴\r\n\r\n- AI 语音陪伴：基于 ESP32-S3“小智”智能体提供语音对话、记忆陪伴与情绪安抚。\r\n- 记忆相册：整理老人照片，辅助回忆与认知训练。\r\n- AI 状态问答：家属可向 AI 了解老人近期活动、情绪与身体状况。\r\n\r\n### 2.6 远程守护\r\n\r\n- 实时视频：K230 采集的画面经 TCP 直传后端，家属可远程查看。\r\n- 多端访问：小程序、网页与 App 三端同步展示设备状态与告警信息。\r\n- 角色与权限：家属绑定老人后使用守护功能，管理员负责绑定审核。\r\n\r\n---\r\n\r\n## 三、硬件框架\r\n\r\n### 3.1 系统硬件框架图\r\n\r\n系统硬件按“远程端—通信层—主控与计算层—感知层—交互与执行层”五层组织。主控由 Arduino Mega 2560 更换为兆易创新 GD32H759I-EVAL 评估板后，整体框架如下图所示。\r\n\r\n\r\n![目语心声-系统硬件框架图.png](https:\/\/oss-club.rt-thread.org\/uploads\/20261011\/a37d5ce13216cf0680d08431c78563d7.png.webp)\r\n\r\n### 3.2 硬件选型\r\n\r\n| 模块 | 选型 | 主要接口 | 功能作用 |\r\n|---|---|---|---|\r\n| 主控 | 兆易创新 GD32H759I-EVAL（ARM Cortex-M7，600MHz） | 多路 USART \/ I2C \/ SPI \/ GPIO \/ TIM | 多外设调度、协议解析、人脸位差计算与云台控制 |\r\n| 视觉模块 | 幻尔 K230 视觉开发板（板载 WiFi） | UART \/ MIPI-CSI \/ WiFi | 人脸、摔倒、人形、人眼朝向与情绪识别；TCP 视频流直传 |\r\n| 人机交互屏 | 淘晶驰（TJC）串口屏 | UART | 目语心声双图界面、触屏选择、呼叫与点歌入口 |\r\n| 云台电机 | ATK-S42H40D20 步进电机 + ATK-2MD5050 驱动器 | 脉冲 \/ 方向信号 | 驱动一维云台实现人脸跟踪 |\r\n| 姿态传感器 | MPU6050 | I2C | 设备翻倒检测 |\r\n| 定位模块 | ATGM3365 GPS | UART | 定位数据采集与上报 |\r\n| 光线传感器 | 光敏传感器 | ADC（接 K230） | 判断环境明暗，触发起夜灯 |\r\n| 开合检测 | 红外对射模块 | GPIO | 智能药盒开合状态感应 |\r\n| 照明 | 起夜灯 LED | GPIO（接 K230） | 夜间自动照明 |\r\n| 语音播报 | 天问 ASRPRO 2.0 | UART | 播报识别与选择结果 |\r\n| 音频播放 | DFPlayer Mini | UART | 屏幕点歌与提示音播放 |\r\n| 联网模块 | ESP8266 WiFi 模块 | UART | MQTT 消息上报 |\r\n| AI 语音陪伴 | ESP32-S3（小智固件）+ INMP441 + MAX98357 | I2S \/ WiFi | 语音对话陪伴（独立子系统） |\r\n| 电源 | 独立电源模块（如 DCP3512） | 电源 | 各模块供电与电压转换 |\r\n| 结构件 | SolidWorks 建模 + 3D 打印外壳 | — | 整机装配与安装支架 |\r\n\r\n### 3.3 主控接口分配\r\n\r\n| 接口 | 连接对象 | 说明 |\r\n|---|---|---|\r\n| USART1 | K230 视觉模块 | 接收人脸坐标与识别结果（摔倒、眼动等） |\r\n| USART2 | 淘晶驰串口屏 | 双向交互：接收触屏\/眼动选择结果，下发界面切换指令 |\r\n| USART3 | ESP8266 WiFi 模块 | MQTT 消息上行与指令接收 |\r\n| USART4 | ATGM3365 GPS 模块 | 读取定位数据 |\r\n| USART5 | DFPlayer Mini | 点歌与提示音控制 |\r\n| USART6 | 天问 ASRPRO 2.0 | 下发播报文本，驱动语音播报 |\r\n| I2C1 | MPU6050 姿态传感器 | 采集姿态，实现设备翻倒检测 |\r\n| ADC | 光敏传感器 | 采集环境亮度 |\r\n| GPIO | 红外对射模块 \/ 起夜灯 LED | 药盒开合检测与照明控制 |\r\n| TIM \/ PWM | 步进电机驱动器 | 输出脉冲与方向信号，控制云台转动 |\r\n\r\n说明：上表为基础分配方案，实际引脚可按硬件布线调整；GD32H759I-EVAL 为 3.3V 逻辑电平，与外设连接时需注意电平匹配与共地，电机驱动器由独立电源供电。\r\n\r\n### 3.4 主控更换的软硬件影响\r\n\r\n- **算力与外设**：主频由 16MHz 提升至 600MHz，串口、定时器与 DMA 资源更充足，可承载更多外设并发与实时控制任务。\r\n- **电平与供电**：主控为 3.3V 逻辑，需确认外设电平兼容性；步进电机驱动器等大电流部件由独立电源供电并共地。\r\n- **开发方式**：由 Arduino IDE 改为 GD32 官方固件库（Keil MDK \/ IAR 等环境）开发，可选用 FreeRTOS \/ RT-Thread 进行任务调度。\r\n- **协议保持**：与 K230、串口屏、上位机的串口帧格式与 MQTT 主题保持不变，便于既有模块直接对接。\r\n- **后续扩展**：评估板自带 TFT-LCD 控制器、CAN-FD 等外设资源，为后续增加本地显示、总线扩展或其他传感器预留空间。\r\n\r\n---\r\n\r\n## 四、软件框架说明\r\n\r\n### 4.1 总体软件架构\r\n\r\n系统软件分为下位机主控软件、视觉端程序、上位机与后端四部分，整体采用分层设计：\r\n\r\n- **应用层**：目语心声交互逻辑、语音播报组织、告警处置流程、点歌与提醒、设备状态上报。\r\n- **业务与协议层**：串口帧协议解析、传感器数据处理、人脸位差计算与云台控制、MQTT 消息封装。\r\n- **驱动与中间件层**：GD32 固件库外设驱动（USART、I2C、SPI、TIM、ADC、DMA），可选 FreeRTOS \/ RT-Thread 任务调度。\r\n- **视觉端**：K230 上基于 CanMV（MicroPython）运行识别模型，输出识别结果与人脸坐标，并通过 TCP 上传视频流。\r\n- **上位机与后端**：UniApp 三端应用 + 后端服务 + MQTT 消息服务，负责数据展示、告警推送与 AI 问答。\r\n\r\n### 4.2 主控软件任务划分\r\n\r\n| 任务 | 运行周期 | 主要职责 |\r\n|---|---|---|\r\n| 视觉通信任务 | 中断 \/ 100ms | 接收 K230 上报的人脸坐标与识别结果并解析 |\r\n| 云台控制任务 | 20ms | 计算人脸与画面中心位差，输出脉冲与方向信号驱动步进电机 |\r\n| 屏交互任务 | 50ms | 处理触屏与眼动选择结果，下发界面切换与提示指令 |\r\n| 传感采集任务 | 100ms | 读取 MPU6050、GPS、光敏与药盒开合状态 |\r\n| 通信上报任务 | 500ms | 经 ESP8266 以 MQTT 上报设备状态与告警 |\r\n| 语音播报任务 | 事件触发 | 组织播报文本，驱动天问模块与 DFPlayer 输出 |\r\n\r\n### 4.3 数据与通信协议\r\n\r\n- **串口帧格式**：帧头 + 数据长度 + 命令字 + 数据域 + 校验 + 帧尾，保证多设备通信可靠。\r\n- **MQTT 主题**：sensor\/fall（摔倒）、sensor\/person（人形检测）、sensor\/gaze_cmd（目语心声选择）、mpu6050\/flag（设备翻倒）等。\r\n- **视频链路**：K230 经板载 WiFi 以 TCP 直传画面至后端，供上位机远程查看。\r\n- **上位机交互**：小程序 \/ 网页 \/ App 经 HTTP 接口获取数据，告警信息经后端推送。\r\n\r\n### 4.4 上位机与后端\r\n\r\n上位机采用 UniApp 一套代码编译运行于小程序、网页与 App 三端，提供实时视频、记忆照片、活动日志、提醒、GPS 守护、备忘便签与 AI 问答等功能；后端提供用户与设备管理、数据存储、告警推送与 AI 问答接口。AI 语音陪伴以 ESP32-S3 端“小智”固件接入，并可结合后端提供的数据生成更贴合老人状况的回应。\r\n\r\n---\r\n\r\n## 五、开源代码\r\n\r\n项目下位机代码已开源，包含 K230 视觉识别、GD32H759I-EVAL 主控固件、ESP8266 MQTT 网关与天问语音播报工程：\r\n\r\n仓库地址：https:\/\/github.com\/ZZ076150\/muyu-xinsheng\r\n\r\n---\r\n\r\n## 六、演示视频\r\n\r\nhttps:\/\/www.bilibili.com\/video\/BV1zgpJ62Eku?t=1.3\r\n---\r\n\r\n## 七、结语\r\n\r\n当语言被疾病一点点带走，我们希望用一双“AI 的眼睛”，替老人把每一次注视翻译成家人听得懂的心声。后续我们将继续完善识别精度与整机稳定性，让设备真正走进更多阿尔茨海默症老人的家庭。","updatetime":"2026-10-14 08:43:23","author":"zz_11"}}