在 STM32 上训练机器学习 ANN 模型

发布于 2019-06-20 18:43:12 浏览：3230 订阅该版

* 本帖最后由 wuhanstudio 于 2019-6-26 13:23 编辑 *

一直对于 STM32 训练 ANN 模型的计算力比较好奇，于是移植了一个轻量级的 ANN 软件包，可以在 STM32 这样 flash，ram 都非常有限的 MCU 上训练小型的 ANN 模型。

**这是最新的训练结果**

![TIM截图20190626132259.png](/uploads/201906/26/132329pw1wf7wt5sa7tw5a.png)

STM32 模型训练速度

以经典的 Iris 模型为例，使用一层隐藏层、隐藏层节点为4，训练 150 个样本，迭代 500 次。

在 STM32L475VET6 上训练时间为 24 秒，预测时间为 22 毫秒，预测精度为 96.0%。

在 Ubuntu i5-8400 上训练加预测时间一共为 16ms，训练精度 96.7%，差距还是相当大的。

![iris_train_and_predict.png](/uploads/201906/20/181640ir61ffrbbr3xulvx.png)

![TIM截图20190620182159.png](/uploads/201906/20/182331e5o5ty8udfididod.png)

如何使用 libann 进行速度测试

我已经提交了一个新的软件包 libann，如果 PR 接收之后可以直接在 env 里用软件包管理器选中 libann 和对应的 Iris 实例。
```RT-Thread online packages
    miscellaneous packages  --->
    (*) libann: a light-weight ANN library, capable of training, saving and loading  models.
        (*)   Iris train model and predict example                                                     
        (*)   Iris load model and predict example```虽然 libann 本身是一个纯软件的算法并没有额外的依赖，但是由于示例里需要先从文件系统加载训练集 iris.data，所以需要先确保可以访问文件系统。

特别说明

这个测试用例主要是为了进行算力测试，虽然训练得到了一个可用的模型，但是这并不是一个标准的机器学习过程。

例如，我并没有对训练数据进行 normalization，因为 Iris 训练数据各个参数本身量级差距不大，所以可以成功训练，如果使用其他的数据集一定需要做 normalization。

另外，我也没有做 train test split，一个正常的机器学习流程应当将数据集分为训练集和测试集，利用训练集训练模型，而测试集用来测试模型精度，甚至为了避免人为选择 ANN 模型带来的 bias，有时会加入 cross validation，而这些在例程当中都是没有考虑的。

顺便一提， libann 的 activation function 只实现了 sigmoid 函数，实际上现在使用 relu 可以得到更好的结果。

总结

综上所述，之后我有时间会添加一个标准的 python 机器学习流程，这个 example 主要用作 benchmark，可以看看在只有几十 KB RAM 的 MCU 上训练 ANN 速度怎样。

当然，从结果来看，如果已经有训练好的模型，只是做前向传播，一个小模型在 stm32 上只有 22ms 的计算时间还是挺不错的。