Il primo progetto open source nel suo genere dà vita ai tuoi disegni animati

Il team Fundamental AI Research (FAIR) di Meta AI è entusiasta di rilasciare Animated Drawings, un progetto open source pensato per aiutare creatori e sviluppatori a creare con facilità esperienze o prodotti dal disegno all'animazione. È iniziato nel 2021, quando i ricercatori di FAIR hanno deciso di applicare i recenti progressi della visione artificiale verso una pipeline veloce e intuitiva all'animazione di figure dalle sembianze umane rappresentate nei disegni.

Il disegno è una modalità di espressione familiare e divertente, e i personaggi che disegniamo da principianti sono spesso straordinariamente buffi, astratti e fantasiosi. Chi non ha mai desiderato che quei simpatici personaggi prendessero vita, muovendosi sul foglio? Ci sono persino libri ed programmi televisivi che parlano di questa fantasia universale. Sfortunatamente, ottenere davvero quell'effetto è piuttosto difficile. Creare una serie di disegni per dare l'illusione del movimento (come un flip book) è noioso e gli strumenti di animazione esistenti possono essere di difficile utilizzo per i principianti. Ne consegue che molti personaggi incredibili rimangono statici sulla pagina.

I nostri ricercatori hanno immaginato di utilizzare modelli di rilevamento degli oggetti, modelli di stima della posa e metodi di segmentazione basati sull'elaborazione delle immagini per creare in pochi passi una versione digitale del disegno, che a quel punto può essere deformata e animata utilizzando le tradizionali tecniche di computer grafica. Per noi di Meta, questa visione non è altro che un'opportunità per connettere persone e comunità attraverso il potere dell'immaginazione.

Inizialmente, abbiamo dovuto fare i conti con un problema: è piuttosto difficile trovare disegni nella scala necessaria per addestrare un modello di visione artificiale, che inoltre richiedono annotazioni, come scatole di delimitazione, maschere di segmentazione e posizioni dei giunti. Non esistono dataset simili. Per risolvere questo problema, i ricercatori hanno creato Animated Drawings Demo, uno strumento web accessibile al pubblico in cui i creatori potevano caricare i propri disegni, visualizzare/correggere alcune previsioni del modello e generare l'animazione di un personaggio dei disegni, il tutto in meno di un minuto. Come parte del flusso di utenti, i genitori potevano scegliere di autorizzare Meta a conservare l'immagine e le annotazioni per scopi di ricerca futura, ma in modo del tutto facoltativo e senza che questo influisse in alcun modo sulla funzionalità dello strumento. I ricercatori hanno rilasciato la demo con la speranza di raccogliere 10 000 disegni con cui migliorare le prestazioni del modello.

La reazione ad Animated Drawings Demo è stata straordinariamente positiva. Solo nei primi mesi, gli utenti avevano caricato e fornito il consenso a utilizzare oltre 1,6 milioni di immagini. È stato interessante scoprire come molti degli utenti della demo abbiano provato a usare il programma per scopi diversi dall'intento originale. Molte delle immagini caricate non erano disegni amatoriali. Erano immagini di loghi aziendali, peluche, personaggi di anime, animali domestici, action figure e tutta una serie di altre cose che le persone volevano provare ad animare. Nonostante la demo specificasse nelle istruzioni la necessità di caricare rappresentazioni di figure umane, gli utenti hanno caricato quadrupedi, uccelli, pesci e svariate altre forme. Tramite post sui social media e segnalazioni di bug in demo, gli utenti hanno anche espresso il desiderio di uno strumento più completo. Sono stati richiesti sfondi trasparenti, supporto per diversi tipi di scheletri, la possibilità di far interagire più personaggi, effetti sonori, scenari di sfondo e overlay del testo.

Chiaramente, l'interesse per esperienze basate sul disegno e sull'animazione era alto. Invece di estendere la demo in modo da supportare tutte le nuove funzioni richieste, i ricercatori hanno deciso di rilasciare una versione open source dei modelli e del codice utilizzati da Animated Drawings Demo. La speranza di Meta è che, implementando Animated Drawings nei nostri progetti, possiamo ispirare altri sviluppatori a creare demo ed esperienze che si avvalgono di risorse di animazione offerte dai disegni degli utenti.

Il progetto Animated Drawings è un ottimo esempio di come la tecnologia open source possa essere utilizzata per incoraggiare le persone a sperimentare con l'animazione e creare le proprie esperienze dal disegno all'animazione. Rilasciando i modelli e il codice in modalità open source, il progetto fornisce agli sviluppatori un punto di partenza per creare ed espandere il progetto, promuovendo una cultura dell'innovazione e della collaborazione all'interno della community open source.

Se desideri esplorare il progetto FAIR Animated Drawings, dai un'occhiata alle istruzioni di installazione e avvio rapido nel file README del progetto. Per un'esplorazione più visiva del progetto Animated Drawings open source, abbiamo anche creato un divertente video YouTube che può darti qualche spunto. Vai a vedere. Siamo impazienti di vedere i tuoi contenuti!