Um projeto de código aberto inovador dá vida aos seus desenhos animados

A equipe de Fundamental AI Research (FAIR) da Meta AI tem o prazer de anunciar o lançamento do Animated Drawings, um projeto de código aberto destinado a ajudar criadores de conteúdo e desenvolvedores a criar facilmente as próprias experiências ou produtos de desenho para animação. O projeto começou em 2021, quando pesquisadores da FAIR decidiram aplicar os avanços recentes da visão computacional em um pipeline rápido e intuitivo para animar figuras com características humanas em desenhos de personagens.

Desenhar é um modo de expressão conhecido e divertido, e os personagens que desenhamos como amadores costumam ser bizarros, abstratos e criativos. Quem nunca sonhou que os seus personagens encantadores ganhassem vida e pudessem se movimentar pela página? Existem até livros e programas de TV que abordam essa fantasia universal. Infelizmente, alcançar esse efeito é uma tarefa bem difícil. Criar muitos desenhos para dar a ilusão de movimento (como um flipbook) é um processo chato, e usar as ferramentas de animação atuais pode ser um desafio para quem está começando. Como resultado, muitos personagens incríveis permanecem estáticos na página.

Nossos pesquisadores tiveram a ideia de usar modelos de detecção de objetos, modelos de estimativa de pose e métodos de segmentação baseados em processamento de imagem para criar rapidamente uma versão digital do desenho. Dessa forma, o desenho poderia ser deformado e animado usando técnicas tradicionais de computação gráfica. Na Meta, entendemos que essa era uma oportunidade de conectar pessoas e comunidades por meio do poder da criatividade.

Mas havia um problema: é muito difícil de encontrar desenhos de personagens na escala necessária para treinar um modelo de visão computacional. Eles também precisam ter anotações, como caixas delimitadoras, máscaras de segmentação e localizações de juntas. Esse conjunto de dados não existe. Para resolver essa questão, os pesquisadores criaram a Animated Drawings Demo, uma ferramenta web acessível ao público. Com ela, os criadores de conteúdo podiam carregar desenhos, visualizar/corrigir algumas previsões do modelo e receber uma animação estrelando um personagem nos desenhos – tudo em menos de um minuto. Como parte do fluxo do usuário, pais, mães ou responsáveis podiam permitir que a Meta retivesse a imagem e as anotações para fins de pesquisa futura. Isso era totalmente opcional e a resposta não afetou a funcionalidade da ferramenta. Os pesquisadores lançaram a demonstração esperando receber 10 mil desenhos para melhorar o desempenho do modelo.

A resposta à Animated Drawings Demo foi incrivelmente positiva. Nos primeiros meses, os usuários carregaram os desenhos e nos forneceram consentimento para usar mais de 1,6 milhão de imagens. Foi curioso notar que muitos dos usuários tentaram usar a demonstração para fins diferentes da intenção imaginada pela Meta. Várias imagens carregadas não eram desenhos de amadores. Havia fotos de logotipos de empresas, bichos de pelúcia, personagens de anime, animais de estimação, figuras de ação e muitas outras coisas que as pessoas queriam animar. A demonstração especificava a necessidade de figuras humanas nas instruções, mas os usuários carregaram imagens de quadrúpedes, pássaros, peixes e muitas outras formas. Por meio de publicações em mídias sociais e relatórios de bugs, os usuários também manifestaram o desejo de usar uma ferramenta mais abrangente. Eles queriam planos de fundo transparentes, suporte para diferentes tipos de esqueletos, vários personagens interativos, efeitos sonoros, cenários de fundo e sobreposições de texto.

Ficou claro que havia um interesse em experimentar ainda mais recursos de desenho para animação. Em vez de estender a demonstração para atender a todas as novas solicitações de recursos, os pesquisadores decidiram lançar uma versão de código aberto da Animated Drawings Demo. Com a implementação do Animated Drawings nos próprios projetos, a Meta quer inspirar outros desenvolvedores a criar demonstrações e experiências que usem ativos de animação de desenhos fornecidos pelos usuários.

O projeto Animated Drawings é um ótimo exemplo de como a tecnologia de código aberto pode ser usada para que as pessoas tenham a chance de criar as próprias experiências de desenho para animação. Ao liberar o acesso aos nossos modelos e códigos, oferecemos um ponto de partida para os desenvolvedores ajudarem a construir e estender o projeto, promovendo uma cultura de inovação e colaboração na comunidade de código aberto.

Se quiser saber mais sobre o Animated Drawings da FAIR, confira as instruções de instalação e início rápido no README do projeto. Para uma exploração mais visual do projeto de código aberto Animated Drawings, também publicamos um vídeo divertido no YouTube com exemplos que você pode conferir aqui. Mal podemos esperar para ver o que você vai criar!