Réalité virtuelle utilisant arduino et traitement

C'est un projet très intéressant dans lequel nous allons apprendre à implémenter la réalité virtuelle en utilisant Arduino et Processing. Pour la plupart d'entre nous, le film Iron man de Jon Favreau a toujours été une source d'inspiration pour créer de nouvelles choses qui nous rendront la vie plus facile et plus amusante. J'ai personnellement admiré les Techs qui sont montrés dans le film et j'ai toujours voulu construire quelque chose de similaire. Donc, dans ce projet, j'ai essayé d'imiter les trucs de réalité virtuelle qui se produisent dans le film, comme nous pouvons simplement agiter notre main devant l'ordinateur et déplacer le pointeur vers l'emplacement souhaité et effectuer certaines tâches.

Ici, je vais vous montrer comment vous pouvez simplement agiter la main devant la webcam et dessiner quelque chose sur votre ordinateur. Je vais également vous montrer comment vous pouvez activer les lumières en bougeant virtuellement votre main et en faisant des clics avec vos doigts en l'air.

Concept:

Pour y parvenir, nous devons tirer parti de la puissance d' Arduino et du traitement combinés. La plupart d'entre eux connaissent Arduino, mais le traitement pourrait être nouveau pour vous. Le traitement est une application comme Arduino et est également open source et téléchargeable gratuitement. En utilisant le traitement, vous pouvez créer des applications système simples, des applications Android et bien plus encore. Il a également la capacité de faire du traitement d'image et de la reconnaissance vocale. C'est comme Arduino et c'est beaucoup plus facile à apprendre, mais ne vous inquiétez pas si vous êtes complètement nouveau dans le traitement car j'ai écrit ce tutoriel assez simple pour que toute personne intéressée puisse le faire fonctionner en un rien de temps.

Dans ce didacticiel, nous utilisons le traitement pour créer une application système simple qui nous fournit une interface utilisateur et suit la position de notre main à l'aide du traitement d'image. Maintenant, nous devons faire un clic gauche et un clic droit avec nos doigts. Pour ce faire, j'ai utilisé deux capteurs à effet Hall (un sur mon index et l'autre sur le majeur) qui seront lus par l'Arduino Nano. L'Arduino transmet également l'état du clic à l'ordinateur sans fil via Bluetooth.

Cela peut sembler compliqué mais, croyez-moi; ce n'est pas aussi difficile qu'il y paraît. Jetons donc un œil aux matériaux nécessaires pour que ce projet soit opérationnel.

Matériaux nécessaires:

1. Arduino Nano
2. Capteur à effet Hall (A3144) - 2Nos
3. Un petit morceau d'aimant
4. Module Bluetooth (HC-05 / HC-06)
5. Pile 9V
6. Connexion de la carte de points de fils.
7. Une paire de gants
8. Arduino IDE (logiciel)
9. Traitement IDE (logiciel)
10. Un ordinateur avec webcam et Bluetooth (vous pouvez également utiliser Bluetooth ou webcam externe pour votre ordinateur)

Schémas et matériel:

La partie matérielle de ce projet est très simple et facile à construire. Le schéma complet est présenté ci-dessous.

L'Arduino, les résistances et les broches du bâton berg sont soudés sur une carte à points comme indiqué ci-dessous.

Le capteur Hall et le module Bluetooth sont soudés à un fil de connexion comme illustré ci-dessous.

Une fois que ces deux sections sont prêtes, elles peuvent être assemblées sur des gants afin d'être faciles à utiliser. J'ai utilisé des gants en plastique jetables qui peuvent être achetés dans n'importe quel magasin médical près de chez vous. Vous devez vous assurer que l'aimant vient sur votre pouce et que le capteur à effet Hall 1 et le capteur à effet Hall 2 doivent être présents respectivement avant votre index et votre majeur. J'ai utilisé des bandes de canard pour sécuriser les composants en place. Une fois que les composants sont assemblés, cela devrait ressembler à ceci.

Maintenant, ouvrons l'IDE Arduino et commençons la programmation.

Programme pour Arduino:

Le but de ce code Arduino est de lire l'état du capteur à effet Hall et de les diffuser à l'aide du module Bluetooth. Il devrait également recevoir des données de Bluetooth et basculer la LED intégrée en fonction de la valeur entrante. Le programme complet est donné à la fin de ce tutoriel; J'ai également expliqué quelques lignes ci-dessous.

if (Phs1! = HallState_1 - Phs2! = HallState_2) // Vérifier si de nouvelles touches sont enfoncées {if (HallState_1 == LOW && HallState_2 == LOW) Aisha.write (1); if (HallState_1 == HIGH && HallState_2 == LOW) Aisha.write (2); if (HallState_1 == LOW && HallState_2 == HIGH) Aisha.write (3); if (HallState_1 == HIGH && HallState_2 == HIGH) Aisha.write (4); }

Comme indiqué dans les lignes ci-dessus en fonction de l'état du capteur à effet Hall, le Bluetooth écrira une valeur particulière. Par exemple, si le capteur hall 1 est haut et le capteur hall 2 est bas, alors nous diffuserons la vallée «2» via le module Bluetooth. Assurez-vous d'écrire les valeurs dans le module BT et de ne pas les imprimer. Parce qu'il sera facile de lire le seul côté Traitement uniquement s'ils sont écrits. De plus, la valeur ne sera envoyée que si elle n'est pas identique à la valeur précédente.

if (BluetoothData == 'y') digitalWrite (ledpin, HIGH); if (BluetoothData == 'n') digitalWrite (ledpin, LOW);

Ces lignes sont utilisées pour basculer la LED embarquée qui est connectée à la broche 13, en fonction de la valeur reçue par le module BT. Par exemple, si le module reçoit un «y», alors la LED est allumée et s'il reçoit un «n», il est éteint.

Programme de traitement:

Le but du programme de traitement est de créer une application système qui peut agir comme une interface utilisateur (interface utilisateur) et également effectuer un traitement d'image pour suivre un objet particulier. Dans ce cas, nous suivons l'objet bleu que nous avons collé à nos gants ci-dessus. Le programme comporte essentiellement quatre écrans.

1. Écran d'étalonnage
2. Écran principal
3. Écran de peinture
4. Écran à bascule LED

Nous pouvons naviguer d'un écran à l'autre en agitant simplement nos mains et en faisant glisser les écrans à l'antenne. Nous pouvons également faire des clics sur les endroits souhaités pour basculer la LED ou même dessiner quelque chose à l'écran.

Vous pouvez copier coller le programme de traitement complet (donné à la fin) et le modifier en fonction de votre créativité ou simplement télécharger les fichiers EXE à partir d'ici, et suivre les étapes suivantes pour lancer l'application.

1. Installez JAVA sur votre ordinateur si vous ne l'avez pas déjà installé
2. Installez You Cam perfect sur votre ordinateur
3. Allumez votre Arduino et jumelez votre ordinateur avec le module Bluetooth
4. Lancez le fichier d'application

Si tout va bien, vous devriez être en mesure de remarquer que le voyant de votre module Bluetooth se stabilise et que le voyant de votre webcam s'allume. Si vous rencontrez des problèmes, contactez-moi via la section commentaires et je vous aiderai.

Regardez la vidéo à la fin pour savoir comment calibrer votre application et l'utiliser.

Si vous souhaitez modifier le code et intégrer plus de fonctionnalités, vous pouvez utiliser les informations suivantes du programme

L'IDE de traitement peut être téléchargé à partir d'ici. Si vous souhaitez en savoir plus sur le traitement et créer des projets plus intéressants, vous pouvez visiter les didacticiels ici.

Le traitement a la capacité de lire les données série, dans ce programme, les données série proviennent du port COM Bluetooth. Vous devez sélectionner le port COM auquel votre Bluetooth est connecté en utilisant cette ligne ci-dessous

port = new Serial (this, Serial.list (), 9600);

Ici, j'ai sélectionné mon 1 ^er port COM qui est COM5 dans mon cas (voir l'image ci-dessous) et j'ai mentionné que le module Bluetooth fonctionne à 9600 baudrate.

Comme indiqué précédemment, le traitement permet également de traiter l'image.Dans ce didacticiel, les images sont envoyées à l'intérieur du croquis à l'aide d'une webcam. Dans chaque image, nous suivons un objet particulier. Pour en savoir plus, vous pouvez visiter ce tutoriel.

J'ai fait de mon mieux pour expliquer le programme (donné à la fin) à travers les lignes de commentaires. Vous pouvez télécharger les fichiers ici.

Si vous voulez en savoir plus sur le croquis, vous pouvez me contacter via la section commentaires et je vous aiderai.

Travail:

Une fois que le matériel et le logiciel sont prêts, portez les gants et préparez-vous pour l'action. Maintenant, allumez simplement l'Arduino, puis lancez l'application. Le voyant du module Bluetooth devrait devenir stable. Cela signifie maintenant que votre application système a établi une liaison Bluetooth avec votre Arduino.

Vous obtiendrez l'écran suivant où vous devez sélectionner l'objet à suivre. Ce traçage peut se faire simplement en cliquant sur l'objet. Dans ce cas, l'objet est le disque bleu. Vous pouvez maintenant déplacer votre objet et remarquer que le pointeur suit votre objet. Utilisez un objet de couleur unique et une pièce lumineuse pour de meilleurs résultats.

Maintenant, touchez votre pouce avec l'index et vous devriez voir le message «Key 1 Pressed» et lorsque vous appuyez sur votre pouce avec le majeur, vous devriez voir «Key 2 Pressed» cela indique que tout fonctionne bien et que l'étalonnage est terminé. Cliquez maintenant sur le bouton Terminé.

Une fois que le bouton Terminé est enfoncé, vous serez dirigé vers l'écran principal où vous pouvez peindre sur l'air ou basculer la LED sur la carte Arduino comme indiqué dans la vidéo ci-dessous.