Salut lilive,
Bravo pour ton premier projet!
Ce projet est en effet un peu compliqué pour pure data, mai ça reste dans le domaine du possible;
en tout cas, la detection de l'objet peut se faire avec la librairie openCV, notament l'objet camshift ou contours_convexhull, voire un blob... si tu met 4 LED IR aux coins de ton écran par exemple et que tu règle le thresold ou la luminance avec une camera IR ça peut être plus précis...
ensuite le mapping sera facile avec pure data ( translation d'un rectangle dont les dimentions sont données par la detection).
Le problème restera toujours la detection... des logiciels tierce compétents existent, avec la possibilité de transfert de données avec TUIO par exemple
Bon courage, si tu as des questions n'hesite pas
ArNO

nononononono a écrit:

Bravo pour ton premier projet!

Merci

nononononono a écrit:

Ce projet est en effet un peu compliqué pour pure data, mai ça reste dans le domaine du possible;
en tout cas, la detection de l'objet peut se faire avec la librairie openCV, notament l'objet camshift ou contours_convexhull, voire un blob...

J'ai vu opencv mais le portage pour windows me semble moins avancé. Par exemple pas de camshift (http://s184785159.onlinehome.fr/drupal/?q=node/167). C'est d'ailleurs d'avoir découvert l'existence de cette bibliothèque qui me fait me demander si de coder directement en C++ ne serait pas plus facile.

Pour l'instant j'en suis à essayer d'isoler le sujet mobile du fond par un pix_subtract puis détecter la surface de projection par un pix_multiblob (j'ai pris ça car pix_blob ne renvoie pas vraiment un cadre comme le fais pix_multiblob, sauf erreur de ma part). Le résultat n'est pas encore concluant.

Si ça marche il faudra encore que je trouve comment passer du système de coordonnées de la caméra à celui du vidéoprojecteur (car j'imagine que ce sera chaud d'implanter les 2 pour que leurs systèmes de coordonnées coincident exactement), et aussi que je trouve comment avoir le gemwin sur mon second écran en dualscreen (j'aurais bien aimé avoir 2 gemwin mais j'ai vu que ce n'est peut-être pas possible).
Donc oui, c'est pas de la tarte pour une prise de contact avec puredata!

nononononono a écrit:

si tu met 4 LED IR aux coins de ton écran par exemple et que tu règle le thresold ou la luminance avec une camera IR ça peut être plus précis...

Merci pour cette piste, je n'y avais pas du tout pensé, car je n'y connais rien en matériel IR. Il faudra que je me renseigne sur les coûts.

nononononono a écrit:

Le problème restera toujours la detection... des logiciels tierce compétents existent, avec la possibilité de transfert de données avec TUIO par exemple

hum.... là je suis largué!
Mais vu la scénographie dépouillée et dans les tons gris du spectacle, j'ai bon espoir qu'on puisse s'en tenir à la détection du cadre uniquement par la recherche de blob. Enfin, à confirmer.


En fait c'est dommage, je saurais tout faire en Flash, même si l'outil n'est pas forcément optimisé pour ce genre de choses, mais je coince car si en Flash on peut récupérer l'image de la webcam, on ne peut pas avoir celle d'une caméra connectée en firewire.

Merci pour ta réponse et tes encouragements (bienvenus je dois dire, car je suis sur ce truc depuis plusieurs jours et c'est un petit peu laborieux pour l'instant).

pob a écrit:

Tu as besoin de contrôler la lecture en direct ou est-ce que tu peux faire un truc déjà monté ?

La vidéo à projeter serait déjà prête et montée.

pob a écrit:

Heu... il y a des pico projecteurs autonomes (batterie intégrée) qui peuvent lire à partir d'un slot µSD.

On avait pensé aux pico projecteurs. Je sais que ça existe mais c'est tout. Alors je suis allé voir un peu ce qui se fait, et il me semblait qu'il y aurait 2 inconvénients:
- j'ai peur que la puissance lumineuse soit trop faible. Car il va y avoir au moins un peu d'éclairage ambiant. Mais peut-être que la proximité de la source remplace la puissance, je ne me rend pas compte.
- je ne vois pas comment fixer le projecteur pour que ça ne soit pas trop voyant. En fait ça ressemble à ça:

Dans les autres parties du spectacle l'acteur porte déjà cet espèce de masque. D'abord il dessine dessus lui-même différents visages, puis ce sont des photos qui sont affichées. Il change de tête. Maintenant on cherche à y mettre de la vidéo. Pour l'instant c'est pratique est léger, car il tient simplement le cadre du masque avec ses dents. Il peut donc le manipuler, l'enlever, le mettre très rapidement. Dans l'idéal ce serait bien qu'on puisse garder la même légèreté, mais bon si on peut pas on peut pas! C'est pour cela que la solution vidéoprojection me semblait à essayer. Les picoprojecteurs que j'ai vu ont quand même un boitier qui va se voir si on doit le fixer devant le cadre. A moins qu'il y ait des systèmes où on pourrait accrocher le boitier sur le corps de l'acteur et faire sortir l'image par l'extrémité d'une fibre optique, ce qui serait moins voyant?  Je dis peut-être n'importe quoi là...

pob a écrit:

Parce que ce que tu veux faire est certainement faisable avec les objets d'openCV de JYG. Mais tu vas avoir de la latence, un peu, et surtout une résolution assez moyenne, voire faible si ton projecteur couvre toute l'ouverture de la scène.
http://codelab.fr/1641

Je pense que si l'acteur peut se déplacer seulement sur 2/3m de large ça peut suffire. Ce qui donnerait une résolution de 1024/(300/40)=135 pixels de large pour le masque si on projette en 1024 et que le masque fait 40cm de large. Et en hauteur on aurait plus. C'est sûr que c'est pas monstrueux comme précision.

Pour la latence je pense que ça peut faire partie du charme. Même à la limite si son visage est "à la traine" ça peut donner quelque chose de pas mal. A voir.

Merci pour le lien. En fait j'ai essayé d'utiliser les exemples qu'il donne ici http://s184785159.onlinehome.fr/drupal/?q=node/167 sans arriver à les faire fonctionner. Mais j'ai peut-être fait une erreur de débutant, car le problème et que PD n'arrive pas à créer les objets. Mais tu crois qu'il y a dans ce portage partiel assez d'outils pour ce que je veux faire? Je suis loin d'avoir le niveau pour contribuer et implémenter d'autre fonctions comme camshift...

En tout cas merci de ta réponse, qui fait écho aux cogitations qu'on a eues. On n'est pas arrêtés sur la solution technique, et toute idée à ce propos est bienvenue. Si les précisions que j'apporte te permettent de mieux évaluer si la solution picoprojecteur est envisageable, je te lirais avec grand intérêt.
On avait même pensé à utiliser un "cadre numérique" mais ce que j'ai vu en vente est trop petit.

Dernière modification par lilive (2011-06-28 19:08:06)

En fait ce que je ferai sans openCV, c'est la solution des 4 leds, tu récupère la vidéo, tu fait un pix_resize ex 96*72 pour avoir moins de pix à traiter, ensuite tu passe en gray, pix thresold ou contrast pour voire que tes points, pix_dump, puis récupération des coordonées des 4 pics ( maximales ) sur une matrice de 96*72.
A partir de là mapping et texture et zou...

pob a écrit:

Pour la solution pico, j'ai un petit Samsung SP-H03, vraiment tout petit. 30 lumens de près faut voir ce que ça donne avec un écran aussi proche.
J'imagine que si tu fais un châssis léger pour l'écran et le projecteur ça doit être jouable en projection par l'arrière sur un calque ou un truc du genre.

Peut-être oui. La contrainte étant qu'il y a la tête de l'acteur qui gène.
Solution 1: avancer l'écran pour qu'il ne soit pas collé à son visage. A voir jusqu'où on peut aller en gardant l'effet masque, mais c'est vrai qu'il restera face public, donc il doit y avoir une marge.
Solution 2: lui couper la tête. Mais là il va pas être chaud.

pob a écrit:

Il y a aussi des petits émetteurs/récepteurs de ce genre qui te permettent de gérer en régie tes flux.
http://www.active-robots.com/products/r … ules.shtml (en bas de page)
http://www.dealextreme.com/p/bada-2-4gh … v-ac-19760

Ah oui d'accord, merci pour la piste.

pob a écrit:

Sinon pour du placement avec 4 diodes LED tu peux partir d'une Wiimote qui te donne les positions de 4 points en IR par le capteur qui est à l'avant de la Wiimote.
J'ai quelques LEDs IR si tu veux essayer.

nononononono a écrit:

En fait ce que je ferai sans openCV, c'est la solution des 4 leds, tu récupère la vidéo, tu fait un pix_resize ex 96*72 pour avoir moins de pix à traiter, ensuite tu passe en gray, pix thresold ou contrast pour voire que tes points, pix_dump, puis récupération des coordonées des 4 pics ( maximales ) sur une matrice de 96*72.
A partir de là mapping et texture et zou...

La solution wiimote a ça de bien qu'elle est peu onéreuse (20€). Je viens de regarder des prix de caméras infrarouge et ça a l'air plus cher, il faudra voir quelle qualité est requise, mais peut-être que ça peut aussi être raisonnable (http://www.camera-ip.fr/camera-infrarouge_r_13.html). Après, j'imagine que la wiimote ne doit pas être trop loin des leds pour que ça marche, peut-être au sol devant le public, il faudra donc voir s'il n'y a pas risque d'interférence avec le signal bluetooth. Faudra aussi que j'achète un capteur bluetooth et des leds, tout ça n'est pas trop cher non plus. Mais si ça se trouve je dégotterais une caméra infrarouge et pourrait tester la procédure que tu me donnes arNo.
Bref c'est super, vous me faites bien avancer tous les deux, je me sens bien moins perdu que ces derniers jours.
Milles mercis. Pour l'instant je pense que les 2 solutions (picoprojecteur ou leds IR) sont en lice.

pob a écrit:

Je vais essayer de passer au Tetalab demain à Myrys, vers 21h. N'hésites pas à passer. J'amènerai le projo dans ma poche si tu veux tester.

Ça tombe plutôt super bien, je comptais justement passer faire connaissance demain. J'ai découvert l'existence de Tetalab tout récemment. J'ai raté les 3 jours à Myrys, alors je suis passé sur le canal IRC vérifier qu'il y a bien un rendez-vous demain, et me suis programmé de venir. Nickel!

pob a écrit:

Je t'amène les caméras IR que j'ai aussi. des PS3eye trafiquées. Il y en a aussi sur place. J'ai aussi une wiimote dans mon cageot de trucs électroniques...
A demain alors !

Rhooooo
C'est top! A demain.

Hello,

Je continue d'avancer, grâce à vous. En plus on s'est vu hier soir avec pob à Tetalab qui m'a donné des tuyaux (ah tiens, il y a pas le petit smiley qui s'incline pour remercier sur ce forum? Dommage il serait très approprié). Trop bien de rencontrer du monde, ici et "en vrai".

La solution picoprojecteur semble difficile, puisque il faut une certaine distance quand même avec l'écran. Du coup soit on projette par devant, mais le public voit le projecteur et le chassis qui le tient, soit par derrière mais là c'est problématique car la tête de l'acteur gêne.

Je retiens donc les 2 solutions de tracking:
- par reconnaissance du cadre blanc
- par reconnaissance de diodes IR aux 4 coins
Pour la semaine prochaine je vais commencer par essayer la reconnaissance du cadre blanc. Peut-être moins robuste comme solution, mais j'ai tout le matos et ça permettra de faire des premiers tests, voir si le rendu est intéressant et donne envie de continuer dans cette voie.

Je vais donc maintenant bosser sur la reconnaissance du cadre. Si j'arrive à gérer l'inclinaison se sera un plus, mais faut peut-être pas vouloir en demander plus dans un premier temps...
J'ai la piste PureData, mais juste là je suis en train d'essayer processing, qui me mettrait en terrain plus familier. Je vous tient au courant.

Olivier a écrit:

Passer à Linux pour lundi, ça risque effectivement d'être chaud, mais ça reste réalisable dans la mesure où tu as des besoins très précis (pas besoins de comprendre l'architecture du truc pour travailler avec)...

Pour ce qui est de l'OSC, l'avantage c'est que c'est fait pour fonctionner en réseau, tu peux donc tenter d'installer une Ubuntu sur un ordi qui ne "craint rien" et te faire envoyer les données sur ton autre ordi sous windows avec du dev sous AIR.

On parlait de OSC pour gamusa, qui a l'air d'exister pour Windows. C'est le client PD qui n'est pas dispo. Mais si je fais le traitement en Flash, et si gamusa peut communiquer avec Flash (via FlOSC), pour le coup je pourrais tout faire sous windows, et me retrouver sur la plateforme de dev que je maitrise. Donc la piste m'intéresse beaucoup, si elle peut me faire gagner du temps. Surement pas l'outil le plus optimisé Flash pour faire ça, mais bon.

Olivier a écrit:

Enfin pour de la cam infra rouge, il y a aussi le mode "nightshot" sur la majorité des camescopes DV qui peut faire l'affaire.

Ça aussi c'est noté!


Merci