Le premier projet open source du genre donne vie à vos dessins
L’équipe FAIR (Fundamental AI Research) de Meta AI est heureuse de présenter Animated Drawings, un projet open source visant à aider les équipes de création et de développement à créer facilement leurs propres expériences ou produits d’animation de dessins. Tout a commencé en 2021, lorsque des chercheurs et des chercheuses de FAIR ont décidé d’appliquer les récentes avancées en matière de vision par ordinateur à un pipeline rapide et intuitif pour animer les personnages humains que l’on retrouve dans les dessins.
Le dessin est un mode d’expression familier et amusant, et les personnages que nous dessinons durant notre enfance sont souvent merveilleusement étranges, abstraits et imaginatifs. Qui n’a jamais souhaité que ces charmants personnages prennent vie et se déplacent sur la page ? Il existe même des livres et des émissions télévisées qui parlent de ce fantasme universel. Malheureusement, il est assez difficile d’obtenir cet effet. Il est fastidieux de créer de nombreux dessins pour donner l’illusion du mouvement (comme dans un flip book) et les outils d’animation existants peuvent être difficiles à utiliser pour les utilisateur·ices qui débutent. Résultat, de nombreux personnages incroyables sont condamnés à rester statiques sur une page.
Nos chercheurs et chercheuses ont envisagé d’utiliser des modèles de détection d’objets, des modèles d’estimation de pose et des méthodes de segmentation basées sur le traitement d’images pour créer rapidement une version numérique d’un dessin. Cette dernière peut ensuite être déformée et animée à l’aide des techniques traditionnelles d’infographie. Chez Meta, nous considérons cette idée comme une opportunité de relier les personnes et les communautés grâce au pouvoir de la créativité.
Mais un problème subsiste : les dessins de personnages, à l’échelle nécessaire pour entraîner un modèle de vision par ordinateur, sont assez difficiles à trouver. Ils ont également besoin d’annotations, telles que des boîtes d’encombrement, des masques de segmentation et des emplacements pour les articulations. Or, il n’existe pas d’ensemble de données de ce type. Pour résoudre ce problème, les chercheur·ses ont créé Animated Drawings Demo, un outil en ligne accessible au public dans lequel les créateurs et les créatrices peuvent importer leurs dessins, voir/corriger quelques prédictions de modèles et recevoir une animation mettant en scène un personnage de dessin, le tout en moins d’une minute. Dans le cadre du parcours d’utilisation, les parents pouvaient choisir d’autoriser Meta à conserver l’image et les annotations à des fins de recherche future. Cette option était totalement facultative et la réponse n’affectait en rien la fonctionnalité de l’outil. Les chercheur·ses ont publié la démo dans l’espoir de recueillir à terme 10 000 dessins qui leur permettraient d’améliorer les performances de leur modèle.
L’accueil d’Animated Drawings Demo a été extrêmement positif. Au cours des premiers mois, les utilisateur·ices ont importé et autorisé l’utilisation de plus de 1,6 million d’images. Il est intéressant de noter que de nombreux utilisateur·ices de la démo ont essayé de l’utiliser à d’autres fins que celles prévues à l’origine. De nombreuses images importées n’étaient pas du tout des dessins d’amateurs. Il s’agissait d’images de logos d’entreprises, d’animaux en peluche, de personnages de dessins animés, d’animaux domestiques, de figurines et d’une multitude d’autres dessins que les utilisateur·ices souhaitaient animer. Alors que les instructions de la démo précisaient que des silhouettes humaines étaient nécessaires, les utilisateur·ices ont importé, entre autres, des quadrupèdes, des oiseaux ou encore des poissons. Les utilisateur·ices ont également utilisé les rapports de bug de la démo et publié des messages sur les réseaux sociaux pour nous faire part de leur souhait de disposer d’un outil plus complet. Ils et elles souhaitaient des arrière-plans transparents, la prise en charge de différents types de squelettes, des interactions entre plusieurs personnages, des effets sonores, des décors en arrière-plan et des superpositions de texte.
Manifestement, les utilisateur·ices étaient intéressé·es par l’animation de dessins. Ainsi, plutôt que d’étendre la démo pour prendre en charge toutes les nouvelles demandes de fonctionnalités, l’équipe de recherche a décidé de publier une version open source des modèles et du code utilisés par Animated Drawings Demo. Meta espère qu’en mettant en œuvre Animated Drawings dans nos propres projets, nous pourrons inspirer d’autres développeur·ses à créer des démos et des expériences qui permettent d’animer les dessins des utilisateur·ices.
Le projet Animated Drawings est un excellent exemple de la manière dont la technologie open source peut être utilisée pour rendre l’animation plus accessible aux personnes qui souhaitent découvrir ce monde et créer leurs propres expériences d’animation de dessin. La publication des modèles et du code en open source a pour but de permettre aux équipes de développement de construire et d’étendre le projet, en encourageant une culture d’innovation et de collaboration au sein de la communauté open source.
Si vous souhaitez explorer le projet Animated Drawings de FAIR, consultez les instructions d’installation et de démarrage rapide à la page README dédiée au projet. Pour une exploration plus visuelle du projet open source Animated Drawings, nous avons également créé une vidéo YouTube amusante avec des exemples que vous pouvez consulter ici. Nous avons hâte de découvrir vos créations !
