Un projet universitaire a permis d'élaborer un prototype de lunettes capable de lire sur les lèvres afin de communiquer silencieusement avec des appareils.
Une communication silencieuse
Développé par la division Smart Computer Interfaces for Future Interactions (SciFi) Lab de l'université de Cornell, ce prototype baptisé EchoSpeech s'appuie sur des capteurs miniaturisés et un algorithme d'apprentissage automatique pour reconnaitre les mouvements du visage et de la bouche. L'EchoSpeech fonctionne un peu comme un sonar pour le visage et permet de reconnaitre plus de 31 commandes avec un taux de réussite de 95%.
Ainsi, les capteurs analysent les ondes sonores (au-dessus de 18 kHz) réfléchies et diffractées afin d'en déduire les mouvements de la mâchoire et de la bouche. La technologie permet bien de lire sur les lèvres, et non pas d'amplifier le son d'un chuchotement. De plus, l'appareil ne nécessite que quelques minutes d'apprentissage (le porteur doit répéter quelques mots silencieusement afin d'entrainer le dispositif à reconnaître les mouvements de son visage) avant d'être opérationnel sur un simple smartphone.
Au sein de la démonstration en vidéo, on peut voir Ruidong Zhang l'auteur principal de l'étude EchoSpeech: Continuous Silent Speech Recognition on Minimally-obtrusive Eyewear Powered by Acoustic Sensinggérer la lecture audio depuis son smartphone, ou saisir silencieusement des données au sein de programmes, le tout sans avoir à prononcer les requêtes à haute voix. Toute les données sont traitées en local sur le smartphone, évitant ainsi les problèmes de confidentialité, et le prototype dispose déjà d'une autonomie de 10 heures.
Une technologie qui pourrait avoir de nombreux usages
La technologie pourrait ainsi être mise à profit afin d'interagir avec un smartphone et de communiquer avec d'autres utilisateurs lorsqu'il n'est pas possible de parler à voix haute ou lorsque les autres technologies ne sont pas efficaces, par exemple pour dicter un message dans un environnement très bruyant, ou pour contrôler la lecture de musique sur vos écouteurs dans une bibliothèque silencieuse. L'intégration au sein d'une paire de lunettes et l'usage de ce sonar rend l'appareil plus pratique à porter et à utiliser que les méthodes utilisées jusque-là, nécessitant l'usage de caméras filmant le visage de l'utilisateur. De même la technologie pourrait aider les personnes qui ne peuvent pas prononcer les mots de manière audible :
Pour les personnes qui ne peuvent pas vocaliser le son, cette technologie de parole silencieuse pourrait être une excellente entrée pour un synthétiseur vocal. Cela pourrait redonner la parole aux patients.
La plupart des technologies de reconnaissance vocale silencieuse se limitent à un ensemble sélectionné de commandes prédéterminées et obligent l'utilisateur à faire face ou à porter une caméra, ce qui n'est ni pratique.
Nous sommes très enthousiastes car ce système fait vraiment progresser les performances et la confidentialité. Il est petit, à faible consommation d'énergie et permet d'assurer la confidentialité des données. Toutes des caractéristiques sont importantes afin de pouvoir déployer de nouvelles technologies portables dans le monde réel
