Annonce

>>> Bienvenue sur codelab! >>> Première visite ? >>> quelques mots sur codelab //// une carte des membres//// (apéros) codelab


#1 2011-06-16 12:27:14 mapper video sur danseur

manecante
nouveau membre
Date d'inscription: 2011-06-15
Messages: 8

mapper video sur danseur



Bonjour,

J'ai un projet urgent où je dois mapper de la vidéo sur un danseur.
J'ai une kinect depuis quelques jours et j'ai réussi pour le moment à la faire marcher sur ubuntu 10.04, avec osceleton et à récupérer les données dans pure data pour visualiser le squelette.

Tant que je n'aurais pas réussi à compiler correctement pidip pour avoir l'object pdp_freenect, je ne peux pas avoir la vision de la caméra, et je comptais utiliser la camera IR de la kinect pour faire un masque. Donc la question un est : est-ce-ce-que le mapping est faisable en ayant juste les données de osceleton? Dois-je utiliser les coordonnées du centre du squelette pour centrer la vidéo sur ce point? Est-ce-une bonne idée? Puis-je récupérer le contour des silhouettes via osceleton? (je pense que non mais sait-on jamais...)

J'ai par ailleurs fait des tests de la kinect dans max/msp sur un mac (qu'on me prete) pour tester la vision IR de la caméra, et je pense que de toute facons que ce soit sur max ou pd, le probleme ci.-après serait le même donc voici le problème :
j'ai fait un masque de manière à faire apparaitre la vidéo uniquement sur la silhouette du danseur, mais là j'ai un problème car dès que le corps est à plus de un mètre de la caméra, je perds la vision de la silhouette.Je ne sais pas comment ajuster le threshold en  gardant uniquement la silhouette blanche et le fond noir,en conservant une profondeur de champs de détection supérieure à un mètre ou deux. Si j'ajuste le threshold de manière à avoir plus de profondeur de champs, alors il y a beaucoup de bruit et je ne sais pas comment isoler seulement la silhouette.

J'ai aussi trouvé un patch de mapping vidéo sur le forum de pd qui utilise l'objet vertex et je me demande s'il est possible de l'adapter de manière à avoir les contours de la silhouette au lieu d'avoir un rectangle.

Si vous avez des conseils, des expériences, des liens, des suggestions et même .. des solutions, ce serait vraiment super!!! Merci!

delphine

Hors ligne

 

#2 2011-06-16 14:03:57 Re : mapper video sur danseur

zsilu
membre
Date d'inscription: 2010-04-01
Messages: 50

Re: mapper video sur danseur



Salut

Je n'ai jamais essayé le Kinect, peut être que ça peut marcher, mais ça me semble compliqué...

A ta place, j'utiliserais une camera normale, avec une soustraction de background. En gros, tu prends une image de ta scène vide, que le logiciel compare avec l'image qu'il est en train de filmer (scene + danseur) et supprime la scene. Il te reste le danseur. Ca implique une camera fixe, et une config lumière pas trop changeante.  Regarde [pix_background] il me semble sur Pd-extended.

Il y a aussi un systeme pour comparer l'image filmée avec la frame précédente, en soustrayant le pixels de la meme valeur cf [pix_movement]. Mais dès que le danseur ne bouge plus, il n'est plus repéré...
Apparement, [pix_movement2] que je viens de découvrir du même coup permettrait de mixer les 2... A vérifier..

Il y a surement d'autres solutions,comme la sélection de couleur (danseur blanc sur fond noir par exemple), je ne sais pas trop...
Bon courage, tiens-nous au courant !

Hors ligne

 

#3 2011-06-16 15:45:31 Re : mapper video sur danseur

manecante
nouveau membre
Date d'inscription: 2011-06-15
Messages: 8

Re: mapper video sur danseur



salut,
merci pour ta réponse. Oui je sais qu'avec une caméra normale ce serait plus simple et jái déjà un petit peu expérimenté le tracking motion dans des conditions de lumière stable mais justement ici étant donné qu'il y a de la vidéo censé être projeté sur le danseur dans une salle obscure, jái besoin de la caméra infra rouge pour que cela fonctionne. Et c'est bien là que ca se complique, je ne sais pas pas comment faire un background substraction efficace avec ce genre de caméra et à cause du bruit généré ca a l'air compliqué d'utiliser cette technique.
Là je suis partie sur une autre approche, en utilisant osceleton, pour projeter la video sur le squelette, en texturant les modèles 3d avec la vidéo, à voir ce que ca donne, je m'y replonge...

Hors ligne

 

#4 2011-06-16 16:32:58 Re : mapper video sur danseur

zsilu
membre
Date d'inscription: 2010-04-01
Messages: 50

Re: mapper video sur danseur



Re-salut,
Rien ne t'empêche d'utiliser une camera IR, genre une webcam modifiée et d'éclairer la scène avec des spots IR. Ca permettrait de marcher dans le noir... Il m'a semblé comprendre que le kinect projetait des centaines de petits points de lumière infrarouge, au lieu d'une lumière "pleine". C'est peut-être ça qui fait merder la soustraction.
Je n'ai jamais vraiment eu l'occasion d'essayer, mais il me semble qu'avec la solution webcam modifiée+spots infrarouge tu aurais une image suffisamment peu bruitée pour soustraire efficacement le background et tu ne serais pas parasitée par la video projetée...
Après, avec ta solution, tu peux aussi aller plus loin qu'un simple masque et rajouter d'autres choses que ne permettrait pas la technique du background...
Tcho

Hors ligne

 

#5 2011-06-16 20:47:59 Re : mapper video sur danseur

Olivier
N°4
Lieu: Chalon sur la Saône
Date d'inscription: 2009-04-07
Messages: 1471
Site web

Re: mapper video sur danseur



Bonsjours...

Tu trouveras ici un ici un Pidip pour 10.04 cuisiné par Benj.

Bon courage... smile


L'Amour au Peuple !

Hors ligne

 

#6 2011-06-17 15:58:37 Re : mapper video sur danseur

manecante
nouveau membre
Date d'inscription: 2011-06-15
Messages: 8

Re: mapper video sur danseur



salut,

@zsilu, oui c'est vrai qu'il y a cette autre solution avec une caméra normale mais je préfère rester sur la kinect d'autant que je viens de réaliser qu'en fait je n'ai pas besoin de faire un background substraction pour ce projet, car les vidéos ont déjà les masques , ce qui est une très bonne nouvelle pour moi smile Là du coup il faut juste que je capte la position du danseur, via osceleton je pense, tant que je n'ai pas réglé le pb de pidp, et que je me serve de ces coordonnées pour remapper l'image.

@olivier, merci mais j'ai déjà essayé avec cette distrib, je l'ai aussi compilé et pidip se crée, mais je dois avoir un conflit quelque part dans mon path (ménage en vue) , car l'objet de pdp_freenect se crée jusqu'à un certain point où il ne veut plus se créer.

Hors ligne

 

#7 2011-06-20 02:23:35 Re : mapper video sur danseur

manecante
nouveau membre
Date d'inscription: 2011-06-15
Messages: 8

Re: mapper video sur danseur



ola,
juste un petit mot pour dire qu'en cleanant mes dossiers, j'ai trouvé une vieille version de pidip qui devait être la source du conflit...Je l'ai donc enlevée et du coup maintenant ca marche nickel smile

Hors ligne

 

#8 2011-06-20 19:06:15 Re : mapper video sur danseur

Olivier
N°4
Lieu: Chalon sur la Saône
Date d'inscription: 2009-04-07
Messages: 1471
Site web

Re: mapper video sur danseur



Cool...

Quand tu le jugeras opportun, n'hésites pas à poster un petit quelque chose sur Code & Travaux pour qu'on puisse se faire une idée du rendu...

Bonne continuation. smile


L'Amour au Peuple !

Hors ligne

 

#9 2011-06-25 16:45:44 Re : mapper video sur danseur

sakramh
membre
Lieu: clichy-sous-bois
Date d'inscription: 2008-12-02
Messages: 829
Site web

Re: mapper video sur danseur



Pour libfreenect je m'étais servi de https://launchpad.net/~arne-alamut/+arc … /+packages
lors de la compilation du bourga openNI/Osceleton etc ... et de gephex et gem pour exploiter la kinect .
Un peu beaucoup novice sur ces histoires d'extras pour PureData, je voudrais juste confirmation que si on a déjà Pd-Extended installé y'a juste Pidip à compiler (et à placer au bon endroit) . J'ai un doute avec artoolkit pour lequel je n'ai pas trouvé d'objets correspondants dans l'aide . Merci


le code est l'alchimie de l'âge du silicium

Hors ligne

 

#10 2011-06-27 02:10:40 Re : mapper video sur danseur

sakramh
membre
Lieu: clichy-sous-bois
Date d'inscription: 2008-12-02
Messages: 829
Site web

Re: mapper video sur danseur



ok c'est bon . après avoir vaincu ma flemme j'ai rapatrié les sources de pidip, lu le readme et compris .... que si, il faut s'y coller .

Dernière modification par sakramh (2011-06-27 02:12:44)


le code est l'alchimie de l'âge du silicium

Hors ligne

 

fil rss de cette discussion : rss

Pied de page des forums

Powered by FluxBB

codelab, graphisme & code : emoc / 2008-2024