Annonce

>>> Bienvenue sur codelab! >>> Première visite ? >>> quelques mots sur codelab //// partage de liens //// une carte des membres//// (apéros) codelab


#1 2011-06-25 15:37:45 Bonjour tout le monde + question de mapping sur écran mobile

lilive
membre
Lieu: Toulouse
Date d'inscription: 2011-06-24
Messages: 52
Site web

Bonjour tout le monde + question de mapping sur écran mobile



Bonjour tout le monde,

Je viens de découvrir ce forum et j'en suis ravi, car pour l'instant j'ai bidouillé de façon très solitaire.

Je me présente: je suis Olivier, toulousain, et il y a 2 ans j'ai créé un numéro à la croisée de mes 2 domaines de compétence, à savoir le spectacle et la bidouille informatique. On peut en voir un extrait ici: http://cepetitsite.net

Depuis que j'ai fait cela j'ai eu des occasions d'intervenir sur des spectacles d'autres personnes qui utilisent la vidéo, notamment un spectacle de danse avec pas mal de mapping.

Jusque-là j'ai bricolé avec les outils que je trouvais au petit bonheur. Par exemple je n'ai pas utilisé de logiciels dédiés au mapping, mais créé des applications AIR qui généraient des scripts avisynth, et qui me permettaient d'avoir une interface de montage vidéo et de positionnement des vidéos projetées. Aujourd'hui je touche les limites de cette façon de faire, avec un projet de mapping sur un objet mobile. Je fais des essais sur puredata, et je vais surement poser des questions là-dessus. Mais tiens, j'en profite pour une première question:

Quel solution vous semblerait la plus adaptée pour projeter une vidéo sur un écran blanc de 40x60cm accroché sur le visage d'un acteur qui se déplace? L'acteur va se déplacer de façon à ce que l'écran soit toujours face au public.
Pour l'instant je pense à:
- une caméra filme la scène
- avec puredata, détection de l'emplacement de l'écran, et génèration de la vidéo à projeter par un vidéoprojecteur fixe (mapping)
Ça vous semble une bonne idée ou il y aurait mieux?

Merci pour vos réponse et en tout cas, très content de trouver ici un lieu où partager ce type d'expériences.

Dernière modification par lilive (2011-06-25 15:38:42)

Hors ligne

 

#2 2011-06-28 15:43:40 Re : Bonjour tout le monde + question de mapping sur écran mobile

lilive
membre
Lieu: Toulouse
Date d'inscription: 2011-06-24
Messages: 52
Site web

Re: Bonjour tout le monde + question de mapping sur écran mobile



Pas facile je trouve de se mettre à puredata. Est-ce que quelqu'un pourrait me confirmer que c'est une bonne piste pour ce que je veux faire?

Vu que je suis habitué à coder (différents langages de script surtout, actionscript notamment, mais aussi PHP, javascript, python, et aussi de petites notions en Java et C++), je commence à me demander si je n'aurais pas aussi vite fait de me remettre au C++ pour aborder la chose sous un angle qui me serait plus familier.

Merci.


P.S: je suis sous windows.

Dernière modification par lilive (2011-06-28 15:44:10)

Hors ligne

 

#3 2011-06-28 15:58:35 Re : Bonjour tout le monde + question de mapping sur écran mobile

nononononono
membre
Lieu: Toulouse
Date d'inscription: 2011-02-04
Messages: 614

Re: Bonjour tout le monde + question de mapping sur écran mobile



Salut lilive,
Bravo pour ton premier projet!
Ce projet est en effet un peu compliqué pour pure data, mai ça reste dans le domaine du possible;
en tout cas, la detection de l'objet peut se faire avec la librairie openCV, notament l'objet camshift ou contours_convexhull, voire un blob... si tu met 4 LED IR aux coins de ton écran par exemple et que tu règle le thresold ou la luminance avec une camera IR ça peut être plus précis...
ensuite le mapping sera facile avec pure data ( translation d'un rectangle dont les dimentions sont données par la detection).
Le problème restera toujours la detection... des logiciels tierce compétents existent, avec la possibilité de transfert de données avec TUIO par exemple
Bon courage, si tu as des questions n'hesite pas
ArNO

Hors ligne

 

#4 2011-06-28 16:32:23 Re : Bonjour tout le monde + question de mapping sur écran mobile

pob
Exterminator
Lieu: Toulouse
Date d'inscription: 2009-10-13
Messages: 749
Site web

Re: Bonjour tout le monde + question de mapping sur écran mobile



Heu... il y a des pico projecteurs autonomes (batterie intégrée) qui peuvent lire à partir d'un slot µSD.
Tu as besoin de contrôler la lecture en direct ou est-ce que tu peux faire un truc déjà monté ?

Parce que ce que tu veux faire est certainement faisable avec les objets d'openCV de JYG. Mais tu vas avoir de la latence, un peu, et surtout une résolution assez moyenne, voire faible si ton projecteur couvre toute l'ouverture de la scène.

http://codelab.fr/1641

edit : Dernière solution, relier le picoprojecteur à un récepteur audio-vidéo sans fil par lequel tu envoies ta vidéo. Il y a des modèles de récepteurs sur batterie.

Dernière modification par pob (2011-06-28 17:22:05)

Hors ligne

 

#5 2011-06-28 16:47:54 Re : Bonjour tout le monde + question de mapping sur écran mobile

lilive
membre
Lieu: Toulouse
Date d'inscription: 2011-06-24
Messages: 52
Site web

Re: Bonjour tout le monde + question de mapping sur écran mobile



nononononono a écrit:

Bravo pour ton premier projet!

Merci smile

nononononono a écrit:

Ce projet est en effet un peu compliqué pour pure data, mai ça reste dans le domaine du possible;
en tout cas, la detection de l'objet peut se faire avec la librairie openCV, notament l'objet camshift ou contours_convexhull, voire un blob...

J'ai vu opencv mais le portage pour windows me semble moins avancé. Par exemple pas de camshift (http://s184785159.onlinehome.fr/drupal/?q=node/167). C'est d'ailleurs d'avoir découvert l'existence de cette bibliothèque qui me fait me demander si de coder directement en C++ ne serait pas plus facile.

Pour l'instant j'en suis à essayer d'isoler le sujet mobile du fond par un pix_subtract puis détecter la surface de projection par un pix_multiblob (j'ai pris ça car pix_blob ne renvoie pas vraiment un cadre comme le fais pix_multiblob, sauf erreur de ma part). Le résultat n'est pas encore concluant.

Si ça marche il faudra encore que je trouve comment passer du système de coordonnées de la caméra à celui du vidéoprojecteur (car j'imagine que ce sera chaud d'implanter les 2 pour que leurs systèmes de coordonnées coincident exactement), et aussi que je trouve comment avoir le gemwin sur mon second écran en dualscreen (j'aurais bien aimé avoir 2 gemwin mais j'ai vu que ce n'est peut-être pas possible).
Donc oui, c'est pas de la tarte pour une prise de contact avec puredata!

nononononono a écrit:

si tu met 4 LED IR aux coins de ton écran par exemple et que tu règle le thresold ou la luminance avec une camera IR ça peut être plus précis...

Merci pour cette piste, je n'y avais pas du tout pensé, car je n'y connais rien en matériel IR. Il faudra que je me renseigne sur les coûts.

nononononono a écrit:

Le problème restera toujours la detection... des logiciels tierce compétents existent, avec la possibilité de transfert de données avec TUIO par exemple

hum.... là je suis largué! smile
Mais vu la scénographie dépouillée et dans les tons gris du spectacle, j'ai bon espoir qu'on puisse s'en tenir à la détection du cadre uniquement par la recherche de blob. Enfin, à confirmer.


En fait c'est dommage, je saurais tout faire en Flash, même si l'outil n'est pas forcément optimisé pour ce genre de choses, mais je coince car si en Flash on peut récupérer l'image de la webcam, on ne peut pas avoir celle d'une caméra connectée en firewire.

Merci pour ta réponse et tes encouragements (bienvenus je dois dire, car je suis sur ce truc depuis plusieurs jours et c'est un petit peu laborieux pour l'instant).

Hors ligne

 

#6 2011-06-28 16:59:26 Re : Bonjour tout le monde + question de mapping sur écran mobile

nononononono
membre
Lieu: Toulouse
Date d'inscription: 2011-02-04
Messages: 614

Re: Bonjour tout le monde + question de mapping sur écran mobile



pour le logiciel, par exemple gamusa ( http://codelab.fr/2581 ) du coup la communication se fait via OSC, ce qui marche bien avec PureData.
C'est pour quand ton spectale?

Hors ligne

 

#7 2011-06-28 17:30:55 Re : Bonjour tout le monde + question de mapping sur écran mobile

lilive
membre
Lieu: Toulouse
Date d'inscription: 2011-06-24
Messages: 52
Site web

Re: Bonjour tout le monde + question de mapping sur écran mobile



pob a écrit:

Tu as besoin de contrôler la lecture en direct ou est-ce que tu peux faire un truc déjà monté ?

La vidéo à projeter serait déjà prête et montée.

pob a écrit:

Heu... il y a des pico projecteurs autonomes (batterie intégrée) qui peuvent lire à partir d'un slot µSD.

On avait pensé aux pico projecteurs. Je sais que ça existe mais c'est tout. Alors je suis allé voir un peu ce qui se fait, et il me semblait qu'il y aurait 2 inconvénients:
- j'ai peur que la puissance lumineuse soit trop faible. Car il va y avoir au moins un peu d'éclairage ambiant. Mais peut-être que la proximité de la source remplace la puissance, je ne me rend pas compte.
- je ne vois pas comment fixer le projecteur pour que ça ne soit pas trop voyant. En fait ça ressemble à ça:
http://codelab.fr/up/croquis-personnage.jpg
Dans les autres parties du spectacle l'acteur porte déjà cet espèce de masque. D'abord il dessine dessus lui-même différents visages, puis ce sont des photos qui sont affichées. Il change de tête. Maintenant on cherche à y mettre de la vidéo. Pour l'instant c'est pratique est léger, car il tient simplement le cadre du masque avec ses dents. Il peut donc le manipuler, l'enlever, le mettre très rapidement. Dans l'idéal ce serait bien qu'on puisse garder la même légèreté, mais bon si on peut pas on peut pas! C'est pour cela que la solution vidéoprojection me semblait à essayer. Les picoprojecteurs que j'ai vu ont quand même un boitier qui va se voir si on doit le fixer devant le cadre. A moins qu'il y ait des systèmes où on pourrait accrocher le boitier sur le corps de l'acteur et faire sortir l'image par l'extrémité d'une fibre optique, ce qui serait moins voyant?  Je dis peut-être n'importe quoi là...big_smile

pob a écrit:

Parce que ce que tu veux faire est certainement faisable avec les objets d'openCV de JYG. Mais tu vas avoir de la latence, un peu, et surtout une résolution assez moyenne, voire faible si ton projecteur couvre toute l'ouverture de la scène.
http://codelab.fr/1641

Je pense que si l'acteur peut se déplacer seulement sur 2/3m de large ça peut suffire. Ce qui donnerait une résolution de 1024/(300/40)=135 pixels de large pour le masque si on projette en 1024 et que le masque fait 40cm de large. Et en hauteur on aurait plus. C'est sûr que c'est pas monstrueux comme précision.

Pour la latence je pense que ça peut faire partie du charme. Même à la limite si son visage est "à la traine" ça peut donner quelque chose de pas mal. A voir.

Merci pour le lien. En fait j'ai essayé d'utiliser les exemples qu'il donne ici http://s184785159.onlinehome.fr/drupal/?q=node/167 sans arriver à les faire fonctionner. Mais j'ai peut-être fait une erreur de débutant, car le problème et que PD n'arrive pas à créer les objets. Mais tu crois qu'il y a dans ce portage partiel assez d'outils pour ce que je veux faire? Je suis loin d'avoir le niveau pour contribuer et implémenter d'autre fonctions comme camshift...

En tout cas merci de ta réponse, qui fait écho aux cogitations qu'on a eues. On n'est pas arrêtés sur la solution technique, et toute idée à ce propos est bienvenue. Si les précisions que j'apporte te permettent de mieux évaluer si la solution picoprojecteur est envisageable, je te lirais avec grand intérêt.
On avait même pensé à utiliser un "cadre numérique" mais ce que j'ai vu en vente est trop petit.

Dernière modification par lilive (2011-06-28 19:08:06)

Hors ligne

 

#8 2011-06-28 17:47:55 Re : Bonjour tout le monde + question de mapping sur écran mobile

pob
Exterminator
Lieu: Toulouse
Date d'inscription: 2009-10-13
Messages: 749
Site web

Re: Bonjour tout le monde + question de mapping sur écran mobile



Pour la solution pico, j'ai un petit Samsung SP-H03, vraiment tout petit. 30 lumens de près faut voir ce que ça donne avec un écran aussi proche.
J'imagine que si tu fais un châssis léger pour l'écran et le projecteur ça doit être jouable en projection par l'arrière sur un calque ou un truc du genre.
Il y a aussi des petits émetteurs/récepteurs de ce genre qui te permettent de gérer en régie tes flux.
http://www.active-robots.com/products/r … ules.shtml (en bas de page)
http://www.dealextreme.com/p/bada-2-4gh … v-ac-19760
Je pense que je ferais davantage confiance à ce genre de solution qu'à du tracking, peut-être faute d'avoir testé et d'en avoir l'expérience.

Sinon pour du placement avec 4 diodes LED tu peux partir d'une Wiimote qui te donne les positions de 4 points en IR par le capteur qui est à l'avant de la Wiimote.
J'ai quelques LEDs IR si tu veux essayer.


Je vais essayer de passer au Tetalab demain à Myrys, vers 21h. N'hésites pas à passer. J'amènerai le projo dans ma poche si tu veux tester.

Hors ligne

 

#9 2011-06-28 17:55:28 Re : Bonjour tout le monde + question de mapping sur écran mobile

nononononono
membre
Lieu: Toulouse
Date d'inscription: 2011-02-04
Messages: 614

Re: Bonjour tout le monde + question de mapping sur écran mobile



En fait ce que je ferai sans openCV, c'est la solution des 4 leds, tu récupère la vidéo, tu fait un pix_resize ex 96*72 pour avoir moins de pix à traiter, ensuite tu passe en gray, pix thresold ou contrast pour voire que tes points, pix_dump, puis récupération des coordonées des 4 pics ( maximales ) sur une matrice de 96*72.
A partir de là mapping et texture et zou...

Hors ligne

 

#10 2011-06-28 17:53:45 Re : Bonjour tout le monde + question de mapping sur écran mobile

lilive
membre
Lieu: Toulouse
Date d'inscription: 2011-06-24
Messages: 52
Site web

Re: Bonjour tout le monde + question de mapping sur écran mobile



nononononono a écrit:

pour le logiciel, par exemple gamusa ( http://codelab.fr/2581 ) du coup la communication se fait via OSC, ce qui marche bien avec PureData.

Alors le lilive il lit.... il s'accroche... il est en train de découvrir un monde là.... et oups, oui, je crois qu'il a compris.
OK je l'ai: c'est un logiciel qui me permettrait de faire la détection de la surface de projection, et qui pourrait envoyer ça à PD via OSC. Bon, ça serait super. Sauf que le client PD n'est pas disponible sous windows. Diable, je vais commencer à me dire que je suis pas sous le bon OS moi!

nononononono a écrit:

C'est pour quand ton spectale?

La première est prévue pour octobre, mais on a une résidence la semaine prochaine où ça serait bien qu'on puisse avancer. Le fait de rajouter une partie avec un masque fait en vidéo est toute fraiche, et j'ai été prévenu un peu tard. C'est une idée parmi d'autres, le spectacle ne reposera pas entièrement dessus. En fait ce serait surement un morceau d'une dizaine de minutes grand maximum, le spectacle entier fera plutôt dans les 60 minutes.

Le temps est un peu court d'ici lundi prochain pour que j'installe linux en multiboot sur ma machine, car j'ai peu d'expérience avec cet OS. C'est pour ça que je cherche une solution windows.

Hors ligne

 

#11 2011-06-28 18:46:13 Re : Bonjour tout le monde + question de mapping sur écran mobile

lilive
membre
Lieu: Toulouse
Date d'inscription: 2011-06-24
Messages: 52
Site web

Re: Bonjour tout le monde + question de mapping sur écran mobile



pob a écrit:

Pour la solution pico, j'ai un petit Samsung SP-H03, vraiment tout petit. 30 lumens de près faut voir ce que ça donne avec un écran aussi proche.
J'imagine que si tu fais un châssis léger pour l'écran et le projecteur ça doit être jouable en projection par l'arrière sur un calque ou un truc du genre.

Peut-être oui. La contrainte étant qu'il y a la tête de l'acteur qui gène.
Solution 1: avancer l'écran pour qu'il ne soit pas collé à son visage. A voir jusqu'où on peut aller en gardant l'effet masque, mais c'est vrai qu'il restera face public, donc il doit y avoir une marge.
Solution 2: lui couper la tête. Mais là il va pas être chaud.

pob a écrit:

Il y a aussi des petits émetteurs/récepteurs de ce genre qui te permettent de gérer en régie tes flux.
http://www.active-robots.com/products/r … ules.shtml (en bas de page)
http://www.dealextreme.com/p/bada-2-4gh … v-ac-19760

Ah oui d'accord, merci pour la piste.

pob a écrit:

Sinon pour du placement avec 4 diodes LED tu peux partir d'une Wiimote qui te donne les positions de 4 points en IR par le capteur qui est à l'avant de la Wiimote.
J'ai quelques LEDs IR si tu veux essayer.

nononononono a écrit:

En fait ce que je ferai sans openCV, c'est la solution des 4 leds, tu récupère la vidéo, tu fait un pix_resize ex 96*72 pour avoir moins de pix à traiter, ensuite tu passe en gray, pix thresold ou contrast pour voire que tes points, pix_dump, puis récupération des coordonées des 4 pics ( maximales ) sur une matrice de 96*72.
A partir de là mapping et texture et zou...

La solution wiimote a ça de bien qu'elle est peu onéreuse (20€). Je viens de regarder des prix de caméras infrarouge et ça a l'air plus cher, il faudra voir quelle qualité est requise, mais peut-être que ça peut aussi être raisonnable (http://www.camera-ip.fr/camera-infrarouge_r_13.html). Après, j'imagine que la wiimote ne doit pas être trop loin des leds pour que ça marche, peut-être au sol devant le public, il faudra donc voir s'il n'y a pas risque d'interférence avec le signal bluetooth. Faudra aussi que j'achète un capteur bluetooth et des leds, tout ça n'est pas trop cher non plus. Mais si ça se trouve je dégotterais une caméra infrarouge et pourrait tester la procédure que tu me donnes arNo.
Bref c'est super, vous me faites bien avancer tous les deux, je me sens bien moins perdu que ces derniers jours.
Milles mercis. Pour l'instant je pense que les 2 solutions (picoprojecteur ou leds IR) sont en lice.

pob a écrit:

Je vais essayer de passer au Tetalab demain à Myrys, vers 21h. N'hésites pas à passer. J'amènerai le projo dans ma poche si tu veux tester.

Ça tombe plutôt super bien, je comptais justement passer faire connaissance demain. J'ai découvert l'existence de Tetalab tout récemment. J'ai raté les 3 jours à Myrys, alors je suis passé sur le canal IRC vérifier qu'il y a bien un rendez-vous demain, et me suis programmé de venir. Nickel!

Hors ligne

 

#12 2011-06-28 18:50:52 Re : Bonjour tout le monde + question de mapping sur écran mobile

pob
Exterminator
Lieu: Toulouse
Date d'inscription: 2009-10-13
Messages: 749
Site web

Re: Bonjour tout le monde + question de mapping sur écran mobile



Je t'amène les caméras IR que j'ai aussi. des PS3eye trafiquées. Il y en a aussi sur place. J'ai aussi une wiimote dans mon cageot de trucs électroniques... smile
A demain alors !

Hors ligne

 

#13 2011-06-28 19:13:54 Re : Bonjour tout le monde + question de mapping sur écran mobile

lilive
membre
Lieu: Toulouse
Date d'inscription: 2011-06-24
Messages: 52
Site web

Re: Bonjour tout le monde + question de mapping sur écran mobile



pob a écrit:

Je t'amène les caméras IR que j'ai aussi. des PS3eye trafiquées. Il y en a aussi sur place. J'ai aussi une wiimote dans mon cageot de trucs électroniques... smile
A demain alors !

Rhooooo
C'est top! A demain.

Hors ligne

 

#14 2011-06-28 22:49:57 Re : Bonjour tout le monde + question de mapping sur écran mobile

Olivier
N°4
Lieu: Chalon sur la Saône
Date d'inscription: 2009-04-07
Messages: 1471
Site web

Re: Bonjour tout le monde + question de mapping sur écran mobile



Chouette projet (idem pour Cartons).

Passer à Linux pour lundi, ça risque effectivement d'être chaud, mais ça reste réalisable dans la mesure où tu as des besoins très précis (pas besoins de comprendre l'architecture du truc pour travailler avec)...

Pour ce qui est de l'OSC, l'avantage c'est que c'est fait pour fonctionner en réseau, tu peux donc tenter d'installer une Ubuntu sur un ordi qui ne "craint rien" et te faire envoyer les données sur ton autre ordi sous windows avec du dev sous AIR.

Enfin pour de la cam infra rouge, il y a aussi le mode "nightshot" sur la majorité des camescopes DV qui peut faire l'affaire.

Bon courage. smile


L'Amour au Peuple !

Hors ligne

 

#15 2011-06-30 15:40:58 Re : Bonjour tout le monde + question de mapping sur écran mobile

lilive
membre
Lieu: Toulouse
Date d'inscription: 2011-06-24
Messages: 52
Site web

Re: Bonjour tout le monde + question de mapping sur écran mobile



Hello,

Je continue d'avancer, grâce à vous. En plus on s'est vu hier soir avec pob à Tetalab qui m'a donné des tuyaux (ah tiens, il y a pas le petit smiley qui s'incline pour remercier sur ce forum? Dommage il serait très approprié). Trop bien de rencontrer du monde, ici et "en vrai".

La solution picoprojecteur semble difficile, puisque il faut une certaine distance quand même avec l'écran. Du coup soit on projette par devant, mais le public voit le projecteur et le chassis qui le tient, soit par derrière mais là c'est problématique car la tête de l'acteur gêne.

Je retiens donc les 2 solutions de tracking:
- par reconnaissance du cadre blanc
- par reconnaissance de diodes IR aux 4 coins
Pour la semaine prochaine je vais commencer par essayer la reconnaissance du cadre blanc. Peut-être moins robuste comme solution, mais j'ai tout le matos et ça permettra de faire des premiers tests, voir si le rendu est intéressant et donne envie de continuer dans cette voie.

Je vais donc maintenant bosser sur la reconnaissance du cadre. Si j'arrive à gérer l'inclinaison se sera un plus, mais faut peut-être pas vouloir en demander plus dans un premier temps...
J'ai la piste PureData, mais juste là je suis en train d'essayer processing, qui me mettrait en terrain plus familier. Je vous tient au courant.

Olivier a écrit:

Passer à Linux pour lundi, ça risque effectivement d'être chaud, mais ça reste réalisable dans la mesure où tu as des besoins très précis (pas besoins de comprendre l'architecture du truc pour travailler avec)...

Pour ce qui est de l'OSC, l'avantage c'est que c'est fait pour fonctionner en réseau, tu peux donc tenter d'installer une Ubuntu sur un ordi qui ne "craint rien" et te faire envoyer les données sur ton autre ordi sous windows avec du dev sous AIR.

On parlait de OSC pour gamusa, qui a l'air d'exister pour Windows. C'est le client PD qui n'est pas dispo. Mais si je fais le traitement en Flash, et si gamusa peut communiquer avec Flash (via FlOSC), pour le coup je pourrais tout faire sous windows, et me retrouver sur la plateforme de dev que je maitrise. Donc la piste m'intéresse beaucoup, si elle peut me faire gagner du temps. Surement pas l'outil le plus optimisé Flash pour faire ça, mais bon.

Olivier a écrit:

Enfin pour de la cam infra rouge, il y a aussi le mode "nightshot" sur la majorité des camescopes DV qui peut faire l'affaire.

Ça aussi c'est noté!


Merci smile

Hors ligne

 

fil rss de cette discussion : rss

Pied de page des forums

Powered by FluxBB

codelab, graphisme & code : emoc / 2008-2018