Proyek sumber terbuka yang unik menghidupkan gambar animasi Anda

Tim Fundamental AI Research (FAIR) di Meta AI sangat bersemangat untuk merilis Animated Drawings, sebuah proyek sumber terbuka yang bertujuan membantu kreator dan developer dengan mudah membuat pengalaman atau produk gambar ke animasi milik mereka sendiri. Ini dimulai pada tahun 2021 ketika para periset dari FAIR memutuskan untuk menerapkan kemajuan terbaru dalam visi komputer ke arah saluran yang cepat dan intuitif untuk menganimasikan sosok mirip manusia yang ditemukan dalam gambar karakter.

Menggambar adalah mode ekspresi yang akrab dan mengasyikkan, dan karakter yang kita gambar sebagai pemula sering kali sangat aneh, abstrak, dan imajinatif. Siapa yang tidak berharap karakter yang menyenangkan itu menjadi hidup, bergerak di sekitar halaman? Bahkan ada buku dan episode TV yang berbicara tentang fantasi universal ini. Sayangnya, sebenarnya mencapai efek itu cukup sulit. Membuat banyak gambar untuk memberikan ilusi gerakan (seperti buku flip) itu membosankan, dan alat animasi yang ada bisa menjadi tantangan bagi pengguna baru. Akibatnya, banyak karakter luar biasa tetap statis di halaman.

Periset kami membayangkan menggunakan model deteksi objek, model estimasi pose, dan metode segmentasi berbasis pemrosesan gambar untuk membuat versi digital dari gambar dengan cepat. Ini kemudian dapat diubah bentuk dan dianimasikan menggunakan teknik grafis komputer tradisional. Di Meta, kami melihat visi ini sebagai peluang untuk menghubungkan orang dan komunitas melalui kekuatan kreativitas.

Tetapi ada masalah: gambar karakter, pada skala yang dibutuhkan untuk melatih model visi komputer, cukup sulit didapat. Gambar karakter juga membutuhkan anotasi, seperti kotak batas, topeng segmentasi, dan lokasi sambungan. Tidak ada set data seperti itu. Untuk mengatasi masalah ini, para periset menciptakan Demo Animated Drawings, fitur berbasis web yang dapat diakses publik, tempat pencipta dapat mengunggah gambar mereka, melihat/mengoreksi beberapa prediksi model, dan menerima animasi yang dibintangi karakter dalam gambar—semuanya kurang dari satu menit. Sebagai bagian dari alur pengguna, orang tua dapat memilih untuk mengizinkan Meta menyimpan gambar dan anotasi untuk tujuan riset di masa mendatang; Ini sepenuhnya opsional, dan jawabannya sama sekali tidak memengaruhi fungsi fitur. Para periset merilis demo dengan harapan pada akhirnya bisa mengumpulkan 10.000 gambar untuk meningkatkan kinerja model mereka.

Tanggapan atas Demo Animated Drawings sangat positif. Dalam beberapa bulan pertama, pengguna telah mengunggah dan memberikan persetujuan untuk menggunakan lebih dari 1,6 juta gambar. Menariknya, banyak pengguna demo yang mencoba menggunakannya untuk tujuan selain maksud aslinya. Banyak gambar yang diunggah bukanlah gambar amatir sama sekali. Ada gambar logo perusahaan, boneka binatang, karakter anime, hewan peliharaan, figur aksi, dan berbagai hal lain yang ingin dibuat animasinya. Sementara demo menentukan perlunya sosok manusia dalam instruksi, pengguna mengunggah hewan berkaki empat, burung, ikan, dan banyak bentuk lainnya. Pengguna juga menunjukkan keinginan mereka untuk fitur yang lebih komprehensif melalui postingan media sosial dan pelaporan bug dalam demo. Mereka menginginkan latar belakang transparan, dukungan untuk berbagai jenis kerangka, beberapa karakter yang berinteraksi, efek suara, pemandangan latar belakang, dan overlay teks.

Jelasnya, ada minat untuk lebih banyak pengalaman berbasis gambar menjadi animasi. Daripada memperluas demo untuk mendukung semua permintaan fitur baru, para periset malah memutuskan untuk merilis versi sumber terbuka dari model dan kode yang digunakan oleh Demo Animated Drawings. Meta berharap dengan menerapkan Animated Drawings di proyek kami sendiri, kami dapat menginspirasi developer lain untuk membuat demo dan pengalaman yang memanfaatkan aset animasi dari gambar pengguna.

Proyek Animated Drawings adalah contoh yang bagus tentang bagaimana teknologi sumber terbuka dapat digunakan untuk menurunkan hambatan masuk bagi orang yang ingin bereksperimen dengan animasi dan menciptakan pengalaman gambar menjadi animasi mereka sendiri. Dengan merilis model dan kode sebagai sumber terbuka, proyek ini memberikan titik awal bagi developer untuk membangun dan memperluas proyek, memupuk budaya inovasi dan kolaborasi dalam komunitas sumber terbuka.

Jika Anda tertarik untuk menjelajahi proyek Animated Drawings FAIR, lihat petunjuk penginstalan dan mulai cepat di halaman README proyek. Untuk eksplorasi yang lebih visual dari proyek Animated Drawings sumber terbuka, kami juga telah membuat video YouTube yang mengasyikkan dengan contoh yang dapat Anda lihat di sini. Kami tidak sabar ingin melihat karya-karya Anda!