Du 8 au 12 janvier, nous avons été invités à travailler dans les locaux de l’INRIA à Bordeaux pour continuer à développer notre projet Machine Vivante. Depuis la dernière résidence au Quai des Savoirs, nous avons décidé tout d’abord de changer la forme de la créature pour travailler sur une forme plus légère, plus étendue et en fibre végétale (peuplier – carton). Nous avons aussi rationalisé la partie treuil et son électronique. Et enfin, nous avons travaillé sur les matériaux des contrepoids, initialement des bouteilles, avec des matériaux de maçonnerie (briquettes et sable).

L’objectif de la résidence était d’abord de rencontrer les chercheurs du laboratoire, d’installer la machine dans un autre environnement et de travailler sur les comportements pour les affiner.

Mais voilà, dès la première activation, nous avons eu une surprise de taille. En effet, nous pouvons dévoiler que la détection des corps en interaction avec la machine se fait avec une Microsoft Kinect V2. A la première activation, la forme s’est élevée à 3 mètres du sol, a suivi Manon pendant un petit moment puis a commencé à se dandiner de manière étrange assez imprévisible tout en suivant encore Manon qui était dans le cube. Nous avons cru à un bug géométrique mais ce n’était pas le cas.

Si nous demandions à ce moment là le nombre de personnes vues par la Kinect, elle aurait répondu deux : Manon et la Machine ! Nous qui cherchions à donner l’illusion du vivant au public, nous avons une réponse de la Machine elle-même, et elle se considère comme humaine…

En regardant l’image que voyait la Kinect, nous voyons en effet une sorte de fantôme accroché dans la forme suspendue. Bon, il se pouvait que ce soit une sorte de bug mais chose étonnante, ce bug est très stable. Nous avons donc fait un piège qui trompe l’algorithme de détection de forme humanoïde de la Kinect.

Comment fonctionne justement cet algorithme ? Cet article de Microsoft Research donne de nombreux indices. Notamment qu’il utilise un algorithme dit de « Randomised decision forest ». Cet algorithme est une technique d’apprentissage statistique qui repose sur un grand nombre d’images tests réelles mais aussi synthétiques. L’utilisation de données synthétiques pour les algorithmes d’apprentissage est une technique qui permet de multiplier encore plus le jeu de données afin que la base d’apprentissage ait un taux de réussite encore meilleur.

Quand on parle d’algorithme d’apprentissage statistique, il faut le paraphraser en algorithme de « classification statistique ». C’est à dire que l’algorithme, sur la base des données qu’il a analysé et compressé, a classé notre Machine dans la catégorie « humanoïde ». C’est pourtant un hexagone fait de prêt de 300 petits triangles.

Ce fait met en valeur un des problèmes des algorithmes d’apprentissage, il peuvent faire des erreurs. Et s’ils ne peuvent plus apprendre (figé), il sont difficilement résilients.

Ce bug est certes stable mais pas fiable. Mais il nous a donné l’idée pour fabriquer un algorithme de traitement d’image beaucoup plus fiable pour catégoriser la Machine.

Affaire à suivre…