Nanoenergy and Biosystem Lab
中国科学院北京纳米能源与系统研究所
李舟课题组

[Advanced Materials]通过机器学习实现的全键盘和多命令输入的自供电手势识别手环

虚拟现实是20世纪发展起来的一项全新的实用技术,该技术可以模拟虚拟环境从而给人以环境沉浸感,人机交互技术是实现虚拟现实的必要技术。现有的人机交互技术往往依赖于摄像头、数据手套、游戏手柄或其他设备。这些设备要么体积庞大,不方便携带,要么制作成本高,难以普及。因此,开发一种穿戴方便的、低成本的高精度人机交互设备,将为虚拟现实技术的发展做出积极贡献。在这项研究中,中科院北京纳米能源与系统研究所李舟研究员及其研究团队开发了一种手势识别手环,该手环作为一个手势识别的可穿戴设备,具有如下几项显著的优势:

1.常见的传感器只采用了一种传感技术,但是,多种传感技术具有各自的优势,能够优势互补。手势识别手环同时使用了摩擦纳米发电机和压电纳米发电机,摩擦纳米发电机对位移更敏感,而压电纳米发电机对应变的感应能力更强。手势识别手环通过多种传感器的耦合,拓展信号的丰度,同时也使得传感器可以适用于对不同类型的机械力的探测。

2.手势识别手环通过充分的特征工程和合适的算法来构建机器学习模型,具有优良的预测精度,预测准确率可达92.6%。

3.考虑到用户的佩戴体验,腕带是一种比较轻、比较方便的选择。不同于现有的数据手套,手势识别手环是腕带式的可穿戴设备。与数据手套相比,手势识别手环将传感器设置在手腕上,没有影响手指的动作,也不会干扰用户的其他日常操作。

4.手势识别手环从生理解剖学出发,设置了阵列式传感器的设计,扩增了数据量,提升了准确率。阵列式传感器的设置使得手势识别手环可以识别多种手势,包括26个字母、10个数字,以及10多个自定义手势,具有作为全键盘输入设备的潜力,可以作为人机交互设备,应用在虚拟现实技术中。

手势识别手环可以实现全键盘输入和多命令输入。该手环佩戴方便,制作成本低廉,不影响手部的其他日常操作。该手环基于生理解剖理论基础,并辅以主动式传感器和机器学习技术,对26个字母的识别准确率可达到92.6%。该手环在手势指令输入、残疾人辅助器具、可穿戴电子产品等领域具有广阔的应用前景。该工作是李舟研究员及其研究团队在可穿戴设备、人机交互和人工智能领域的最新进展之一,受到了来自国家重点研发计划重点专项、国家自然科学基金、北京市自然科学基金等项目的资助。

1.png

1. 手势识别手环的概述 a) 手势识别手环的佩带情况展示. b) 手势识别手环的八通道传感器阵列示意图。 c)单个传感器的侧面展示图. d) 单个传感器的结构与材料示意图e–f) 手势识别通过机器学习实现的过程

图片1.png

2. 手势识别手环中复合发电机的工作原理: a) 手势识别手环中摩擦纳米发电机和摩擦纳米发电机的工作原理。b-c) 传感器表面的压强和电势有限元分析。d-e) 摩擦纳米发电机和压电纳米发电机对不同类型的手势传感能力的差异对比。


图3.png

图3. 信号处理过程和机器学习结果: a) 机器学习的数据处理方法流程图 b-d)机器学习的混淆矩阵,数据降维散点分布图和准确率收敛曲线。

图4.png


图4. 全键盘输入系统a)除了26个字母,手势识别手环还可以对数字、符号和特定的命令符号进行识别,构成一个完整的全键盘输入 b) 手势识别手环对“Nano biolab”一识别过程


Yard 8, Yangyandong 1st Road, Yanqi Development Zone, Yanqi Town, Huairou District, Beijing
Nanoenergy and Biosystem lab@binn.cas
+86-010-8285 4762
Copyright © Zhou Li,  Xuecheng Qu, Han Ouyang, Jiangtao Xue, Engui Wang