基于卷积神经网络的Leap Motion运动数据优化网络

作者：张欣天; 谢文军; 李书杰; 刘晓平

来源：计算机辅助设计与图形学学报, 2021, 1-10.

• 运动数据优化
• Leap Motion
• 卷积神经网络
• 多模态数据集
• 自遮挡

为提高Leap Motion设备的采集精准度， 解决自遮挡、采样频率不稳定等设备固有问题， 首先， 设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案， 采集了日常动作数据集; 其次， 提出了基于卷积神经网络（convolutional neural network， CNN）的Leap Motion手部运动数据优化方法， 使用日常动作数据集训练Leap Motion数据到动作捕捉数据的映射网络; 最后， 提出手指平面约束， 确保网络输出数据保持稳定的手部骨骼结构. 通过15名志愿者采集了6类动作共967 550帧的同步运动数据集， 进行了手指平面约束有效性、动作一致性实验， 并与双向循环自编码器（bidirectional recurrent autoencoder， BRA）、双向编解码器（encoder-bidirectional-decoder， EBD）方法进行了精度对比. 结果表明， 文中方法支持使用Leap Motion获取固定采样频率且近似动捕设备精度的手部运动数据， 效果较BRA和EBD更加稳定平滑. 将文中方法应用于康复游戏中， 明显减少了交互动作识别的错误次数.

• 单位
  合肥工业大学计算机与信息学院; 合肥工业大学