애니메이션 그림에 생명력을 불어넣는 최초의 오픈 소스 프로젝트

Meta AI의 FAIR(Fundamental AI Research) 팀에서 크리에이터와 개발자가 자신의 그림을 애니메이션 경험이나 제품으로 손쉽게 만들 수 있는 오픈 소스 프로젝트인 Animated Drawings를 출시합니다. 이 프로젝트는 2021년에 FAIR 연구원들이 캐릭터 그림에서 발견되는 인간과 유사한 인물을 애니메이션화하기 위한 빠르고 직관적인 파이프라인에 최첨단 컴퓨터 비전 기술을 적용하기로 결정하면서 시작되었습니다.

그림은 친숙하고 재미있는 표현 방식이고 우리가 초보로서 그리는 캐릭터는 경이로울 정도로 기이하고, 추상적이며, 상상력을 자극하는 경우가 많습니다. 이런 유쾌한 캐릭터들이 페이지 위에서 살아 움직인다면 얼마나 좋을까요? 심지어 이런 보편적 판타지를 다루는 책과 TV 드라마도 있습니다. 안타깝게도 실제로 이런 효과를 구현하기는 상당히 어렵습니다. 여러 그림에 움직이는 듯한 착시 효과(예: 플립 북)를 부여하는 작업은 번거롭고 기존의 애니메이션 도구는 신규 사용자에게는 어렵게 느껴질 수 있습니다. 따라서 수많은 멋진 캐릭터가 페이지에서 움직이지 않는 상태로 남아 있습니다.

우리 연구원들은 개체 탐지 모델, 포즈 추정 모델, 이미지 처리 기반 세그먼테이션 방법을 사용하여 그림의 디지털 버전을 손쉽게 만들 수 있는 방법을 구상했습니다. 그런 다음 기존의 컴퓨터 그래픽 기술을 이용해 이 디지털 버전을 변형 및 애니메이션화할 수 있습니다. Meta에서는 이 비전이 창의력을 통해 사람과 커뮤니티를 연결할 수 있는 기회라고 보았습니다.

하지만 문제는 컴퓨터 비전 모델을 훈련할 수 있는 규모로 캐릭터 그림을 구하기가 상당히 어려웠다는 점이었습니다. 또한 경계 박스, 세그먼테이션 마스크, 관절 위치 등의 주석도 필요했습니다. 이런 데이터 세트는 존재하지 않습니다. 이 문제를 해결하기 위해 연구원들은 Animated Drawings Demo를 만들었습니다. 이 공개적으로 액세스 가능한 웹 기반 도구에서는 크리에이터가 자신의 그림을 업로드하고 몇 가지 모델 예측을 확인/수정하면 그림에 등장하는 캐릭터가 나오는 애니메이션을 1분 내로 얻을 수 있습니다. 사용자 플로의 일부로, 부모는 Meta가 향후 연구 목적으로 이미지와 주석을 보관하는 것에 동의할 수 있습니다. 이는 완전히 선택 사항이며 어떤 답변을 하든 도구의 기능에는 영향을 미치지 않습니다. 연구원들은 모델 성능을 개선하기 위한 그림 10,000개를 수집할 목적으로 이 데모를 출시했습니다.

Animated Drawings Demo에 대한 반응은 놀라울 정도로 긍정적이었습니다. 처음 몇 개월 내에 사용자는 160만 개 이상의 이미지를 업로드하고 사용에 동의했습니다. 흥미롭게도 데모 사용자의 상당수는 원래의 출시 의도와는 다른 목적으로 이 도구를 사용하려고 했습니다. 업로드된 이미지의 상당수는 전혀 아마추어 수준의 그림이 아니었습니다. 회사 로고, 동물 인형, 애니메이션 캐릭터, 반려동물, 액션 피규어 및 사람들이 애니메이션화하기를 원하는 다양한 사물의 그림이었습니다. 이 데모는 지침에 인간 모형이 필요하다고 명시했지만 사용자는 네발 동물, 새, 물고기 등 여러 가지 형상을 업로드했습니다. 또한 사용자들은 소셜 미디어 게시물과 데모 내 버그 신고를 통해 더 종합적인 도구를 원한다는 의사를 나타냈습니다. 이들은 투명한 배경, 다양한 스켈레톤 유형에 대한 지원, 여러 상호작용 캐릭터, 사운드 효과, 배경 장면, 텍스트 오버레이를 원했습니다.

그림을 애니메이션화하는 경험에 대한 관심이 큰 것은 확실했습니다. 연구원들은 이런 모든 새로운 기능 요청을 지원하기 위해 데모를 확장하기보다 Animated Drawings Demo에서 사용했던 모델과 코드의 오픈 소스 버전을 출시하기로 결정했습니다. Meta는 자체 프로젝트에서 Animated Drawings를 구현함으로써 다른 개발자들이 이에 영감을 얻어 사용자 그림에서 애니메이션 자산을 활용하는 데모와 경험을 만들기를 바랍니다.

Animated Drawings 프로젝트는 오픈 소스 기술을 사용하여 애니메이션으로 실험하고 자신의 그림을 애니메이션화하는 경험을 만들고자 하는 사람들의 진입 장벽을 낮출 수 있다는 것을 보여주는 좋은 예시입니다. 이 프로젝트는 모델과 코드를 오픈 소스로 출시함으로써, 개발자들이 프로젝트를 발전시키고 확장하여 오픈 소스 커뮤니티 내에서 혁신과 협업의 문화를 조성하기 위한 시작점을 제공합니다.

FAIR Animated Drawings 프로젝트에 관심이 있으시다면 프로젝트 README에서 설치 및 빠른 시작 안내를 참조하세요. 오픈 소스 Animated Drawings 프로젝트를 더욱 시각적으로 탐색하고 싶은 분들을 위해 예시를 담은 재미있는 YouTube 동영상(여기 참조)도 제작했습니다. 앞으로 보여주실 멋진 애니메이션을 기대합니다!