Cela semble futuriste et peut-être plus qu'un peu envahissant - un ordinateur surveillant chacun de vos mouvements ? Mais cela semble moins effrayant une fois que vous apprenez que ces technologies n'ont pas besoin de s'appuyer sur une caméra pour voir où vous êtes et ce que vous faites. Au lieu de cela, ils utilisent un radar. La division Advanced Technology and Products de Google, mieux connue sous le nom d'ATAP, le département à l'origine de projets bizarres tels qu'une veste en jean tactile, a passé l'année dernière à explorer comment les ordinateurs peuvent utiliser le radar pour comprendre nos besoins ou nos intentions, puis réagir de manière appropriée.

Ce n'est pas la première fois que nous voyons Google utiliser un radar pour fournir à ses gadgets une conscience spatiale. En 2015, Google a dévoilé Soli , un capteur qui peut utiliser les ondes électromagnétiques du radar pour capter des gestes et des mouvements précis. Cela a été vu pour la première fois dans la Google Pixel 4 à détecter de simples gestes de la main afin que l'utilisateur puisse répéter des alarmes ou mettre en pause la musique sans avoir à toucher physiquement le smartphone. Plus récemment, des capteurs radar ont été intégrés à l' écran intelligent Nest Hub de pour détecter les mouvements et les schémas respiratoires de la personne qui dort à côté. L'appareil était alors capable de suivre le sommeil de la personne sans l'obliger à attacher une montre intelligente.

Le même capteur Soli est utilisé dans ce nouveau cycle de recherche, mais au lieu d'utiliser l'entrée du capteur pour contrôler directement un ordinateur, ATAP utilise plutôt les données du capteur pour permettre aux ordinateurs de reconnaître nos mouvements quotidiens et de faire de nouveaux types de choix.

"Nous pensons qu'à mesure que la technologie devient plus présente dans notre vie, il est juste de commencer à demander à la technologie elle-même de s'inspirer de nous", déclare Leonardo Giusti, responsable du design chez ATAP. De la même manière que votre mère peut vous rappeler de prendre un parapluie avant de sortir, peut-être que votre thermostat peut transmettre le même message lorsque vous passez devant et que vous y jetez un coup d'œil, ou que votre téléviseur peut baisser le volume s'il détecte que vous avez endormi sur le canapé.

Giusti dit qu'une grande partie de la recherche est basée sur proxémie , l'étude de la façon dont les gens utilisent l'espace autour d'eux pour arbitrer les interactions sociales. Au fur et à mesure que vous vous rapprochez d'une autre personne, vous vous attendez à un engagement et à une intimité accrus. L'équipe ATAP a utilisé cela et d'autres indices sociaux pour établir que les personnes et appareils ont leurs propres concepts d'espace personnel.

Le radar peut vous détecter en vous rapprochant d'un ordinateur et en entrant dans son espace personnel. Cela peut signifier que l'ordinateur peut alors choisir d'effectuer certaines actions, comme démarrer l'écran sans que vous n'ayez à appuyer sur un bouton. Ce type d'interaction existe déjà dans les écrans intelligents Google Nest , bien qu'au lieu du radar, Google utilise des ondes sonores ultrasonores pour mesurer la distance d'une personne par rapport à l'appareil. Lorsqu'un Nest Hub remarque que vous vous rapprochez, il met en évidence les rappels en cours, les événements de l'agenda ou d'autres notifications importantes.

La proximité seule ne suffit pas. Et si vous finissiez par passer devant la machine et regarder dans une direction différente ? Pour résoudre ce problème, Soli peut capturer de plus grandes subtilités dans les mouvements et les gestes, tels que l'orientation du corps, la voie que vous pourriez emprunter et la direction dans laquelle votre tête est orientée, à l'aide d'algorithmes d'apprentissage automatique qui affinent davantage les données. Toutes ces informations radar riches l'aident à mieux deviner si vous êtes effectivement sur le point de commencer une interaction avec l'appareil et quel pourrait être le type d'engagement.

Cette détection améliorée est venue de l'équipe effectuant une série de tâches chorégraphiées dans leur propre salon (ils sont restés à la maison pendant la pandémie) avec des caméras aériennes suivant leurs mouvements et une détection radar en temps réel.

"Nous avons pu nous déplacer de différentes manières, nous avons effectué différentes variantes de ce mouvement, puis, étant donné qu'il s'agissait d'un système en temps réel avec lequel nous travaillions, nous avons pu improviser et en quelque sorte tirer parti de nos découvertes en temps réel. temps », explique Lauren Bedal, designer d'interaction senior chez ATAP.

Bedal, qui a une formation en danse, dit que le processus est assez similaire à la façon dont les chorégraphes prennent une idée de mouvement de base - connue sous le nom de motif de mouvement - et explorent des variations, telles que la façon dont le danseur déplace son poids ou change sa position corporelle et orientation. À partir de ces études, l'équipe a formalisé un ensemble de mouvements, tous inspirés de la communication non verbale et de la façon dont nous interagissons naturellement avec les appareils : approcher ou partir, passer, se tourner vers ou s'éloigner, et regarder.

Bedal a énuméré quelques exemples d'ordinateurs réagissant à ces mouvements. Si un appareil vous détecte approcher, il peut afficher les commandes tactiles ; approchez-vous d'un appareil et il peut mettre en évidence les e-mails entrants ; quittez une pièce, et le téléviseur peut mettre en signet l'endroit où vous êtes parti et reprendre à partir de cette position lorsque vous êtes de retour. Si un appareil détermine que vous ne faites que passer, il ne vous dérangera pas avec des notifications de faible priorité. Si vous êtes dans la cuisine après une recette vidéo, l'appareil peut s'arrêter lorsque vous vous éloignez pour saisir les ingrédients et reprendre lorsque vous reculez et exprimez cette intention de vous réengager. Et si vous regardez un écran intelligent lorsque vous êtes au téléphone, l'appareil pourrait offrir la possibilité de transférer vers un appel vidéo afin que vous puissiez poser votre téléphone.

"Tous ces mouvements commencent à faire allusion à une future façon d'interagir avec les ordinateurs qui se sentent très invisibles en tirant parti des moyens naturels que nous déplaçons, et l'idée est que les ordinateurs peuvent en quelque sorte reculer en arrière-plan et ne nous aider que dans les bons moments », dit Bedal. "Nous ne faisons que repousser les limites de ce que nous percevons comme possible pour l'interaction homme-ordinateur."

L'utilisation du radar pour influencer la façon dont les ordinateurs réagissent à notre égard comporte des défis. Par exemple, alors que le radar peut détecter plusieurs personnes dans une pièce, si les sujets sont trop proches les uns des autres, le capteur ne voit que le groupe de personnes comme une goutte amorphe, ce qui confond la prise de décision. Il y a aussi beaucoup plus à faire, c'est pourquoi Bedal a souligné (à quelques reprises) que ce travail est vraiment en phase de recherche — alors non, ne vous attendez pas à ce qu'il soit dans votre écran intelligent de nouvelle génération pour l'instant.

Il y a de bonnes raisons de penser que le radar peut également aider à apprendre vos routines au fil du temps. Selon Giusti, de l'ATAP, il s'agit d'un domaine sur la feuille de route de la recherche, avec des opportunités telles que la suggestion d'habitudes saines en rapport avec vos propres objectifs. J'imagine mon écran intelligent se transformer en un panneau d'arrêt géant lorsqu'il se rend compte que je me dirige vers le snack-bar à minuit.

Il y a aussi un équilibre que ces appareils devront trouver lorsqu'il s'agit d'effectuer un ensemble d'actions qu'il pense que vous voudriez. Par exemple, que se passe-t-il si je veux que la télévision soit allumée pendant que je cuisine dans la cuisine ? Le radar ne détecterait personne en train de regarder la télévision et la mettrait en pause au lieu de la laisser allumée. "Alors que nous commençons à rechercher certains de ces paradigmes d'interaction qui semblent très invisibles, transparents et fluides, il doit y avoir un juste équilibre entre le contrôle de l'utilisateur et l'automatisation", déclare Bedal. "Cela devrait se faire sans effort, mais nous devrions tenir compte du nombre de commandes ou de configurations que l'utilisateur peut vouloir de son côté."

L'équipe ATAP a choisi d'utiliser le radar car c'est l'une des méthodes les plus respectueuses de la vie privée pour collecter des données spatiales riches. (Il a également une latence très faible, fonctionne dans l'obscurité et des facteurs externes tels que le son ou la température ne l'affectent pas.) Contrairement à une caméra, le radar ne capture pas et ne stocke pas d'images distinctes de votre corps, de votre visage ou d'autres moyens. d'identification. "Cela ressemble plus à un capteur de mouvement avancé", déclare Giusti. Soli a une portée détectable d'environ 9 pieds - moins que la plupart des caméras - mais plusieurs gadgets dans votre maison avec le capteur Soli pourraient couvrir efficacement votre espace et créer un réseau maillé efficace pour suivre vos allées et venues dans une maison. (Il convient de noter que les données du capteur Soli du Google Nest Hub actuel sont traitées localement et que les données brutes ne sont jamais envoyées vers le cloud.)

Chris Harrison, chercheur étudiant l'interaction homme-machine à l'université Carnegie Mellon et directeur du Future Interfaces Group , affirme que les consommateurs devront décider s'ils veulent faire ce compromis en matière de confidentialité. Après tout, Google est "le leader mondial de la monétisation de vos données". "- mais il pense toujours que l'approche sans appareil photo de Google est une perspective axée sur l'utilisateur et la confidentialité. "Il n'y a pas d'atteinte à la vie privée et non d'atteinte à la vie privée", déclare Harrison. "Tout est sur un spectre."

Comme les appareils sont inévitablement équipés de capteurs, comme Soli, pour collecter plus de données, ils sont plus capables de nous comprendre. En fin de compte, Harrison s'attend à voir les types d'interactions homme-ordinateur améliorées qu'ATAP envisage dans toutes les facettes de la technologie.

"Les humains sont câblés pour vraiment comprendre le comportement humain, et lorsque les ordinateurs le cassent, cela conduit à ce genre de [situations] supplémentaires frustrantes", déclare Harrison. "Amener des gens comme des spécialistes des sciences sociales et des spécialistes du comportement dans le domaine de l'informatique rend ces expériences beaucoup plus agréables et beaucoup plus humanistes."

La recherche de Google ATAP fait partie d'une nouvelle série intitulée In the Lab With Google ATAP , qui fera ses débuts dans de nouveaux épisodes dans les mois à venir sur sa chaîne YouTube . Les prochains épisodes se pencheront sur d'autres projets de la division de recherche de Google.