Un proyecto de código abierto pionero que permite a tus dibujos animados cobrar vida

Al equipo de Investigación Fundamental en IA (FAIR) de Meta AI le complace lanzar Animated Drawings, un proyecto de código abierto cuyo objetivo es ayudar a los creadores y desarrolladores a crear sus propias experiencias o productos de animación a partir de dibujos con facilidad. El proyecto comenzó en 2021, cuando los investigadores de FAIR decidieron aplicar los avances recientes en visión artificial a un proceso rápido e intuitivo que permitiera animar las figuras humanoides en los dibujos de personajes.

Dibujar es una forma habitual y divertida de expresarse, y los personajes que dibujamos cuando somos principiantes suelen ser extraños, abstractos e imaginativos. ¿Quién no ha deseado alguna vez que esos simpáticos personajes pudiesen cobrar vida y moverse por el papel? Incluso existen libros y episodios de programas de televisión dedicados a esta fantasía universal. Desafortunadamente, conseguir este efecto sigue siendo bastante difícil en la actualidad. Hacer varios dibujos para crear la ilusión de movimiento (como una especie de folioscopio) es tedioso y las herramientas de animación actuales pueden resultar difíciles de usar para los usuarios más noveles. En consecuencia, muchos personajes increíbles permanecen estáticos sobre el papel.

Nuestros investigadores visualizaron el uso de los modelos de detección de objetos, los modelos de estimación de posturas y los métodos de segmentación basados en el procesamiento de imágenes para crear rápidamente una versión digital del dibujo. Esta versión del dibujo podría entonces deformarse y animarse mediante técnicas de computación gráfica tradicionales. En Meta, consideramos esta visión una oportunidad para conectar a las personas y las comunidades con el poder de la creatividad.

Sin embargo, había un problema: es difícil encontrar la cantidad de dibujos de personajes necesaria para formar un modelo de visión artificial. Estos dibujos también requieren anotaciones, como cuadros delimitadores, máscaras de segmentación y ubicaciones de las articulaciones. No existe tal conjunto de datos. Para resolver este problema, los investigadores crearon la demostración Animated Drawings, una herramienta de acceso público basada en la web en la que los creadores podían subir sus dibujos, ver y corregir algunas predicciones de modelos, y obtener una animación de uno de los personajes de los dibujos, y todo en menos de un minuto. Como parte del ciclo de usuario, los padres o las madres podían dar permiso para que Meta guardase la imagen y las anotaciones con el fin de utilizarlas en investigaciones futuras. Esto era completamente opcional y la respuesta no afectaba en absoluto la funcionalidad de la herramienta. Los investigadores lanzaron la demostración con la esperanza de recopilar 10 000 dibujos con los que mejorar el rendimiento del modelo.

La reacción a la demostración Animated Drawings fue extremadamente positiva. Al cabo de pocos meses, los usuarios habían subido más de 1,6 millones de imágenes y permitido su uso. Curiosamente, muchos de los usuarios de la demostración intentaron usarla para fines distintos del original. Muchas de las imágenes que se subieron no eran de dibujos de principiantes. Se trataba de imágenes de logotipos de empresas, peluches, personajes de anime, mascotas, figuras de acción y otros objetos que la gente quería animar. Aunque la demostración especificaba en las instrucciones que debía tratarse de figuras humanas, los usuarios subieron cuadrúpedos, aves, peces y muchas otras figuras. También expresaron su interés por contar con una herramienta más completa a través de publicaciones en medios sociales y la notificación de errores en la propia demostración. Querían fondos transparentes, compatibilidad con diferentes tipos de esqueletos, interacciones entre varios personajes, efectos de sonido, escenarios de fondo y superposiciones de texto.

Claramente, había interés por las experiencias basadas en el proceso de convertir dibujos en animaciones. En lugar de ampliar la demostración para admitir las solicitudes de funciones nuevas, los investigadores decidieron lanzar una versión de código abierto de los modelos y el código usados en la demostración Animated Drawings. Meta espera que, al implementar Animated Drawings en nuestros propios proyectos, podamos inspirar a otros desarrolladores a crear demostraciones y experiencias que incorporen recursos animados a partir de dibujos de los usuarios.

El proyecto Animated Drawings es un gran ejemplo de cómo la tecnología de código abierto se puede usar para reducir los obstáculos para quienes quieren experimentar con la animación y crear sus propias experiencias de animación a partir de dibujos. Al publicar los modelos y el código como código abierto, el proyecto ofrece un punto de partida para que los desarrolladores sigan creando y amplíen el proyecto. De esta forma se fomenta una cultura de la innovación y la colaboración en la comunidad de código abierto.

Si te interesa explorar el proyecto Animated Drawings de FAIR, consulta las instrucciones de instalación e inicio rápido en el archivo README del proyecto. Si quieres hacer una exploración más visual del proyecto de código abierto Animated Drawings, también hemos creado un entretenido vídeo de YouTube con ejemplos que puedes ver aquí. ¡Estamos deseando ver tus creaciones!