L'équipe de chercheurs de l'UC San Diego State University a développé une paire de «lunettes 4-D» qui permet aux utilisateurs d'être physiquement «touchés» par un objet qui se profile sur l'écran du film
Les lunettes 4-D ont été développées sur la base d'une étude menée par des neuroscientifiques pour cartographier les zones cérébrales qui combinent la vue et le toucher d'un objet apparaissant et soutiennent la conception du mécanisme perceptif et neuronal de l'intégration multisensorielle.
Les chercheurs ont déclaré: «L'appareil peut être synchronisé avec du contenu de divertissement, tel que des films, de la musique, des jeux et la réalité virtuelle, pour fournir des effets multisensoriels immersifs près du visage et améliorer le sentiment de présence».
Décrit plus en détail dans un article en ligne publié le 6 février dans la revue Human Brain Mapping par Ruey-Song Huang et Ching-fu Chen, neuroscientifiques à l'Institute for Neural Computation de l'UC San Diego, et Martin Sereno, ancien président de la neuroimagerie à l'University College London et un ancien professeur à l'UC San Diego, maintenant à l'Université d'État de San Diego.
«Nous percevons et interagissons avec le monde qui nous entoure à travers de multiples sens dans la vie quotidienne», a déclaré Huang, le premier auteur de l'article. «Bien qu'un objet en approche puisse générer des signaux visuels, auditifs et tactiles chez un observateur, ceux-ci doivent être séparés du reste du monde, décrits à l'origine de manière colorée par William James comme une« confusion bourdonnante et florissante ». Pour détecter et éviter les menaces imminentes, il est essentiel d'intégrer et d'analyser les signaux imminents multisensoriels dans l'espace et dans le temps et de déterminer s'ils proviennent des mêmes sources. »
Lors de l'expérimentation, les sujets analysent la coordination subjective entre une balle imminente (simulée en réalité virtuelle) et une bouffée d'air délivrée du même côté du visage. Lorsque l'arrivée du mouvement de la balle et de la bouffée d'air était presque simultanée (avec un retard de 100 millisecondes), la bouffée d'air a été reconnue comme complètement en conflit avec la balle qui se profilait. Alors qu'avec un délai proche de 1000 millisecondes, les deux stimuli ont été reconnus comme un, comme si un objet passait net le visage, générant un peu de vent.
En utilisant l'imagerie par résonance magnétique fonctionnelle, ou IRMf dans des expériences, les scientifiques ont fourni des stimuli tactiles uniquement, visuels uniquement, tactiles-visuels non synchronisés et tactiles visuels synchronisés à un autre côté du visage du sujet lors d'événements aléatoires. Des dizaines de zones cérébrales répondent plus fortement aux stimuli multisensoriels latéralisés qu'aux stimuli unisensoriels latéralisés, et la réponse a été encore améliorée lorsque les stimuli multisensoriels sont en synchronisation perceptive, rapportés par les scientifiques dans l'article.
La recherche a été assistée par les National Institutes of Health (R01 MH081990), un Royal Society Wolfson Research Merit Award (Royaume-Uni), Wellcome Trust (Royaume-Uni) et une bourse de projet du programme UC San Diego Frontiers of Innovation Scholars.