Bonjour !

Comme beaucoup de monde je cherche une solution autour du tracking vidéo en temps réel ou de la reconnaissance visuelle (écriture, dessin...).

Je cherche à construire ou programmer un logiciel qui me permettrait de générer du son parmi une banque de samples à partir de dessins en couleurs (ou noir et blanc ) que je filmerai en direct, soit à l'aide de capteurs (sous la feuille, sur le crayon?) soit par tracking vidéo ou reconnaissance visuelle.
Pire, j'aimerais même mêler des vidéos parasitant le dessin en cours de route, un peu comme un logiciel de VJing mais en libre (oui je peux toujours rêver;).

J'ai fait quelques recherches mais devant l'offre très large d'outils et de langages je me sens un peu perdue (j'ai quelques bases sur Processing et max/msp) et j'aimerais trouver ce qui pourrait marcher sans manger trop de cpu ni trop ramer car le but est d'être en temps réel (ou presque). J'aimerais aussi programmer plutôt sur du libre (donc exit max si possible et bienvenue pureData ou Processing).

Quels sont donc vos conseils en terme de langages/programmes à utiliser pour ce genre d'applications ?
Si vous avez des patchs miracles ou bibliothèques je prends aussi, j'ai déjà vu qu'openCV avait l'air pas mal, qu'en pensez vous?

Merci d'avance,

Kha.