一、研究背景

不正确的手部姿势是增加手部病变的原因之一，现有研究大都将单一独立的手势作为研究对象，通过对表面肌电的测量分析单一手势疲劳的能量消耗，但聚焦于自然整合的交互性手势研究却很少。分析自然整合手势疲劳的能量消耗模型，如浏览网页、玩游戏、打字，可为设计更符合人体工效学的互联网产品提供建议。

二、研究目的 

本研究旨在选择匹配的神经网络预测模型和优化数据集，提高神经网络模型预测自然交互的手势疲劳能量消耗的准确性和适用性。

三、研究方法

被试5人，采用ErgoLAB人机环境同步云平台采集并分析被试分别在大屏手机和电脑PC端上浏览网页、玩游戏、打字时手部表面肌电，其中ErgoLAB无线肌电测量可使用同一传感器支持贴片模式以及Type-C外接传感器采集模式，能满足不同肌群位置数据采集的要求。ErgoLAB生理分析模块可以对sEMG数据进行时频和频域分析。

本研究将三种自然整合手势分解为9种独立手势，并分为三类：基于手机端的单手姿势、基于手机端的双手姿势、基于PC端的手部姿势。在这三类手势中选择G1(单手姿势)、G4（双手姿势）、G7（基于PC端鼠标操纵姿势）的数据作为特征集。

分别采用BP神经网络、RNN和LSTM训练独立手势的表面肌电信号，以SVR作为参考，以均方误差（MSE）、均方根误差（RMSE）和平均绝对误差（MAE）为指标评估预测疲劳模型的准确性，再选择最佳模型进一步探究不同数据集对该模型预测准确性的影响。

四、研究结果

神经网络预测模型选择结果

实验结果发现SVR的MSE、RMSE、MAE都比较低，预测效果较好；BP神经网络预测效果最低；LSTM模型在G1和G7的数据中预测效果优于RNN模型。继而选择SVR和LSTM模型进一步进行数据集优化测试。

本研究将处理后的sEMG信号及其小波分解系数作为预测模型的特征集。研究结果发现处理后的sEMG数据适合作为单手势疲劳模型预测，而其小波分解系数数据更适合高维度的双手姿势疲劳预测模型。

五、结论和建议

本研究第一次将自然整合的手势疲劳问题作为研究对象，通过将其分解为9种独立姿势可以更好检测手势的表面肌电变化，并对比了三种不同神经网络模型预测复杂环境下整合手势疲劳问题，并进一步对比处理sEMG和其小波分解系数作为特征数据集后疲劳预测的优化情况。研究结果发现LSTM模型是最有效的手势疲劳预测模型，且EMG信号适合作为简单维度手势疲劳预测的输入集，而其小波系数适合作为复杂维度手势疲劳预测的输入集。

神经网络模型是当前发展的趋势，将皮肤表面肌电数据与仿神经元的算法结合，可以更好预测复杂人机交互时的个体疲劳程度，避免不合理的手势交互，提高人机交互体验。

六、参考文献

[1]Ma, F. ,  Song, F. ,  Liu, Y. , &  Niu, J. . (2020). Semg-based neural network prediction model selection of gesture fatigue and dataset optimization. Computational Intelligence and Neuroscience, 2020(1), 1-17.

[2]M. Arozi, W. Caesarendra, M. Ariyanto, J. D. Setiawan, and A. Glowacz, “Pattern recognition of single-channel sEMG signal using PCA and ANN method to classify nine hand movements,” Symmetry, vol. 12, no. 4, p. 541, 2020.