Первый в мире проект с открытым исходным кодом оживит ваши анимированные рисунки

Исследовательская команда Fundamental AI Research (FAIR) из Meta AI рада объявить о выпуске Animated Drawings — проекта с открытым исходным кодом, который призван помочь авторам и разработчикам создавать продукты и приложения для преобразования рисунков в анимации. В 2021 году исследователи из FAIR решили применить достижения в области компьютерного зрения для создания быстрого и интуитивно понятного механизма анимации нарисованных человекоподобных персонажей.

Рисование — это привычный для нас увлекательный способ самовыражения, а персонажи, которых мы рисуем, будучи начинающими художниками, часто получаются необычными, абстрактными и фантастическими. Кто не мечтал, чтобы эти замечательные персонажи ожили прямо на странице? Существуют даже книги и телесериалы, в которых рассказывается об этой знакомой всем фантазии. К сожалению, осуществить ее не так просто. Можно нарисовать несколько рисунков в одном блокноте и быстро перелистывать его, чтобы создать иллюзию движения, но это совсем не то, что нужно, а существующие инструменты создания анимаций не так просты для новичков. В результате множество невероятных персонажей так и остаются на странице неподвижными.

Наши исследователи предложили использовать модели обнаружения объектов, модели оценки позы и методы сегментации на основе обработки изображений для быстрого создания цифровой версии рисунка. Затем его можно трансформировать и анимировать с помощью традиционных методов компьютерной графики. В Meta мы видим это как возможность объединить людей и сообщества через силу творчества.

Но возникла проблема: рисунки персонажей в количестве, необходимом для обучения модели компьютерного зрения, довольно трудно достать. Их также необходимы разметить, добавив ограничительные рамки, маски сегментации и местоположение суставов. Таких наборов данных попросту не существует. Чтобы решить эту проблему, исследователи создали демоверсию Animated Drawings — общедоступный веб-инструмент, в который авторы могут загружать свои рисунки, просматривать и корректировать несколько прогнозов модели и получать анимацию с участием персонажа своих рисунков. Всё это менее чем за минуту! В процессе работы с инструментом родители могли разрешать компании Meta сохранять изображение и аннотации для будущих исследований. Это не было обязательным требованием, и решение никак не влияло на функциональность инструмента. Исследователи выпустили демоверсию, надеясь со временем собрать 10 000 рисунков, с помощью которых можно будет улучшить работу модели.

Реакция на демоверсию Animated Drawings была ошеломляющей. За несколько месяцев с момента запуска пользователи загрузили более 1,6 миллиона изображений и дали согласие на их использование. Интересно, что многие использовали инструмент не так, как предполагали его авторы. Множество загруженных изображений были вовсе не рисунками любителей. Это были изображения логотипов компаний, чучел животных, героев аниме, домашних питомцев, фигурок из боевиков и множества других объектов, которые люди хотели анимировать. Несмотря на то что в инструкции к демоверсии было указано, что на изображении должны быть человеческие фигуры, пользователи загружали четвероногих, птиц, рыб и не только. Кроме того, пользователи дали понять, что хотели бы иметь более комплексный инструмент: мы получили множество сообщений в социальных сетях и сообщения об ошибках в демонстрационной версии. Пользователи хотели прозрачные фоны, поддержку различных типов скелетов, множество взаимодействующих персонажей, звуковые эффекты, фоновые декорации и наложение текста.

Стало очевидно, что интерес к приложениям, в которых можно анимировать рисунок, есть. Вместо выпуска расширенной версии, в которой были бы все запрошенные пользователями функции, исследователи решили выпустить версию с открытым исходным кодом и моделями, используемыми в демоверсии Animated Drawings. Meta надеется, что внедряя Animated Drawings в наши собственные проекты, мы сможем вдохновить других разработчиков на создание демоверсий и приложений, в которых используются анимационные активы из рисунков пользователей.

Проект Animated Drawings — отличный пример того, как можно использовать технологию с открытым исходным кодом, чтобы снизить порог входа для людей, которые хотят экспериментировать с анимацией и создавать свои собственные анимированные рисунки. Выпуск моделей и кода в виде проекта с открытым исходным кодом — это отправная точка для разработчиков, которые могут развивать и расширять проект, способствуя развитию культуры инноваций и сотрудничества в сообществе открытого исходного кода.

Если вам интересно познакомиться с проектом FAIR Animated Drawings, обратитесь к инструкциям по установке и быстрому запуску в файле README проекта. Мы также опубликовали на YouTube забавное видео с примерами из проекта Animated Drawings с открытым исходным кодом. Нам не терпится увидеть, что получится у вас!