Einzigartiges Open-Source-Projekt erweckt deine animierten Zeichnungen zum Leben

Das Meta AI-Team Fundamental AI Research (FAIR) freut sich, Animated Drawings zu veröffentlichen. Es handelt sich dabei um ein Open-Source-Projekt, das Creator*innen und Entwickler*innen dabei helfen soll, spielend leicht ihre eigenen Erlebnisse oder Produkte mit animierten Zeichnungen zu erstellen. Es begann im Jahr 2021, als Forscher*innen von FAIR beschlossen, die neuesten Fortschritte der Computervision in einer schnellen und intuitiven Pipeline zu nutzen, um menschenähnliche Figuren in Charakterzeichnungen zu animieren.

Zeichnen ist eine vertraute und unterhaltsame Ausdrucksweise, und die Charaktere, die wir als Anfänger*innen zeichnen, sind oft auf eine liebenswerte Art und Weise seltsam, abstrakt und fantasievoll. Wer hat sich noch nicht gewünscht, dass diese entzückenden Charaktere zum Leben erwachen und sich auf dem Papier bewegen? Es gibt sogar Bücher und Episoden von Serien, die diese universelle Fantasie behandeln. Leider ist es ziemlich schwierig, diesen Effekt zu erzielen. Es ist mühsam, viele Zeichnungen zu erstellen, um eine Bewegungsillusion zu erzeugen (wie z. B. ein Daumenkino), und vorhandene Animationstools können für neue Nutzer*innen eine Herausforderung darstellen. Daher bleiben viele unglaubliche Charaktere unbeweglich auf dem Papier.

Unsere Forscher*innen nahmen sich vor, mithilfe von Objekterkennungs- und Posenermittlungsmodellen und auf Bildverarbeitung basierte Segmentierungsmethoden zu verwenden, um schnell eine digitale Version einer Zeichnung zu erzeugen. Diese kann anschließend mit herkömmlichen Computergrafiktechniken deformiert und animiert werden. Wir bei Meta sehen hierbei eine Chance, Menschen und Gemeinschaften durch Kreativität miteinander zu verbinden.

Es gab jedoch ein Problem: Charakterzeichnungen in der Menge, die zum Trainieren eines Computervisionsmodells benötigt wird, sind schwer aufzutreiben. Sie benötigen außerdem Anmerkungen wie Begrenzungsfelder, Segmentierungsmarken und Gelenkpositionen. So ein Datensatz existiert nicht. Um dieses Problem zu lösen, haben die Forscher*innen die Demo für Animated Drawings entwickelt, ein öffentlich zugängliches webbasiertes Tool, mit dem Creator*innen in weniger als einer Minute ihre Zeichnungen hochladen, einige Modellvorhersagen anzeigen und korrigieren und eine Animation ihrer Charakterzeichnung erhalten können. Im Rahmen des User Flows konnten Eltern Meta die Möglichkeit geben, das Bild und die Anmerkungen für zukünftige Forschungszwecke beizubehalten. Dies war völlig optional und die Antwort hatte keinerlei Einfluss auf die Funktionalität des Tools. Die Forscher*innen veröffentlichten die Demo in der Hoffnung, vielleicht 10.000 Zeichnungen zu sammeln, mit der sie die Leistung ihres Modells verbessern konnten.

Die Reaktion auf die Animated Drawings-Demo war überwältigend positiv. Innerhalb der ersten paar Monate hatten Nutzer*innen über 1,6 Millionen Bilder hochgeladen und die Einwilligung für ihre Verwendung gegeben. Interessanterweise haben viele Nutzer*innen versucht, die Demo für Zwecke zu verwenden, die von der ursprünglichen Absicht abweichen. Viele der hochgeladenen Bilder waren gar keine Amateurzeichnungen. Es waren Bilder von Firmenlogos, Stofftieren, Anime-Charakteren, Haustieren, Actionfiguren und viele andere Dinge, die die Leute animieren wollten. Die Demo gab zwar in den Anweisungen an, dass menschliche Figuren notwendig sind, jedoch luden Nutzer*innen Vierbeiner, Vögel, Fische und viele andere Kreaturen hoch. Nutzer*innen äußerten auch in den sozialen Medien und über das Fehlermeldungs-Tool in der Demo ihren Wunsch nach einem umfassenderen Tool. Sie wollten transparente Hintergründe, Unterstützung für unterschiedliche Skeletttypen, mehrere Charaktere, die miteinander interagieren, Soundeffekte, Hintergrundkulissen und Text-Overlays.

Offensichtlich bestand Interesse an weiteren Erlebnissen, die Zeichnungen animieren. Anstatt die Demo zu verlängern, um alle neuen Funktionsanfragen zu implementieren, beschlossen die Forscher*innen, eine Open-Source-Version der Modelle und des Codes zu veröffentlichen, die in der Animated Drawings-Demo verwendet werden. Meta hofft, dass wir durch die Implementierung von Animated Drawings in unseren Projekten andere Entwickler*innen dazu inspirieren können, Demos und Erlebnisse zu entwickeln, die Animations-Assets aus Zeichnungen von Nutzer*innen verwenden.

Das Animated Drawings-Projekt ist ein hervorragendes Beispiel dafür, wie Open-Source-Technologie genutzt werden kann, um die Eintrittsbarriere für Leute zu senken, die mit Animation experimentieren möchten und ihre eigenen Erlebnisse zu entwickeln, die Zeichnungen animieren. Die Veröffentlichung der Modelle und des Codes als Open-Source-Projekt bietet Entwickler*innen einen Ausgangspunkt für die Entwicklung und die Erweiterung des Projekts und fördert so eine Kultur der Innovation und Zusammenarbeit innerhalb der Open Source-Community.

Wenn du Interesse hast, das Animated Drawings-Projekt von FAIR kennenzulernen, sieh dir die Installations- und Schnellstartanweisungen in der README-Datei des Projekts an. Für eine visuellere Demonstration des Open Source-Projekts Animated Drawings haben wir außerdem ein unterhaltsames YouTube-Video mit Beispielen zusammengestellt, das du dir hier anschauen kannst. Wir können es kaum erwarten, deinen nächsten Beitrag zu sehen!