Dự án nguồn mở đầu tiên thổi hồn cho hình vẽ hoạt ảnh

Đội ngũ Fundamental AI Research (FAIR) tại Meta AI rất vui được phát hành dự án nguồn mở mang tên Animated Drawings nhằm giúp người sáng tạo và nhà phát triển dễ dàng tạo trải nghiệm hoặc sản phẩm chuyển hình vẽ thành hoạt ảnh của riêng mình. Kể từ năm 2021, các nhà nghiên cứu thuộc FAIR đã quyết định áp dụng những tiến bộ gần đây trong lĩnh vực thị giác máy tính, hướng đến một quy trình nhanh chóng và trực quan để tạo hoạt ảnh cho các hình giống người thật tìm thấy trong bản vẽ nhân vật.

Vẽ là một phương thức biểu đạt quen thuộc và thú vị. Nhân vật chúng ta vẽ khi mới bắt đầu thường rất kỳ quặc, trừu tượng và giàu trí tưởng tượng. Có ai chưa từng ước rằng những nhân vật ngộ nghĩnh đó có thể trở nên sống động, di chuyển trên trang giấy cơ chứ? Ngay cả những cuốn sách và tập phim truyền hình cũng nhắc đến giả tưởng siêu thực này. Đáng tiếc là để thực sự đạt được hiệu ứng đó thì không hề dễ dàng. Việc vẽ nhiều hình để tạo ảo giác chuyển động (chẳng hạn như lật sách) sẽ rất mất công và các công cụ tạo hoạt ảnh hiện tại có thể gây khó khăn cho những người dùng mới. Chính vì thế, nhiều nhân vật đặc sắc vẫn nằm im trên trang giấy.

Các nhà nghiên cứu của chúng tôi đã mường tượng việc sử dụng mô hình phát hiện đối tượng, mô hình dự đoán tư thế và những phương pháp phân đoạn dựa trên quy trình xử lý hình ảnh để nhanh chóng tạo ra phiên bản kỹ thuật số của hình vẽ. Sau đó, hệ thống có thể thay đổi hình dạng và tạo hoạt ảnh cho phiên bản này bằng các kỹ thuật đồ họa máy tính truyền thống. Tại Meta, chúng tôi xem tầm nhìn này là cơ hội để kết nối mọi người và cộng đồng thông qua sức mạnh của sự sáng tạo.

Nhưng có một vấn đề: hình vẽ nhân vật khá khó thực hiện ở quy mô cần thiết để đào tạo một mô hình thị giác máy tính. Các hình vẽ này cũng cần có chú thích, chẳng hạn như hộp giới hạn, mặt nạ phân đoạn và vị trí khớp. Chẳng có tập dữ liệu nào như vậy tồn tại cả. Để giải quyết vấn đề này, các nhà nghiên cứu đã tạo ra một công cụ dựa trên web có thể truy cập công khai mang tên Animated Drawings (Demo). Tại đây, người sáng tạo có thể tải hình vẽ lên, xem/sửa một vài chi tiết dự đoán mô hình và nhận được hoạt ảnh có nhân vật trong hình vẽ - tất cả chỉ trong vòng chưa đầy một phút. Trong quy trình của người dùng, cha mẹ có thể chọn cho phép Meta giữ lại hình ảnh và chú thích cho các mục đích nghiên cứu trong tương lai. Điều này hoàn toàn không bắt buộc và câu trả lời không ảnh hưởng đến chức năng của công cụ dưới bất kỳ hình thức nào. Các nhà nghiên cứu đã phát hành bản demo với hy vọng là cuối cùng sẽ thu thập được 10.000 hình vẽ để cải thiện hiệu quả mô hình của họ.

Phản ứng đối với Animated Drawings (Demo) vô cùng tích cực. Trong vòng vài tháng đầu tiên, người dùng đã tải lên và đồng ý cho phép sử dụng hơn 1,6 triệu hình ảnh. Điều thú vị là nhiều người dùng đã tìm cách sử dụng bản demo này cho các mục đích khác với ý định ban đầu. Nhiều hình ảnh được tải lên hoàn toàn không phải là hình vẽ nghiệp dư, mà là hình ảnh về logo công ty, thú nhồi bông, nhân vật hoạt hình, thú cưng, nhân vật hành động và nhiều hình vẽ khác mà mọi người muốn tạo hoạt ảnh. Mặc dù trong hướng dẫn, bản demo này đã nêu rõ rằng cần hình người, nhưng người dùng vẫn tải lên động vật bốn chân, chim, cá và nhiều hình khác. Người dùng cũng thể hiện mong muốn có một công cụ toàn diện hơn thông qua các bài viết trên mạng xã hội và tính năng báo cáo lỗi trong bản demo. Họ muốn công cụ này cung cấp nền trong suốt, hỗ trợ các loại bộ khung khác nhau, nhiều nhân vật tương tác, hiệu ứng âm thanh, cảnh nền và lớp phủ văn bản.

Rõ ràng là mọi người quan tâm đến nhiều trải nghiệm dựa trên tính năng chuyển hình vẽ thành hoạt ảnh hơn. Thay vì mở rộng bản demo để hỗ trợ tất cả yêu cầu tính năng mới, các nhà nghiên cứu đã quyết định phát hành một phiên bản nguồn mở của các mô hình và mã mà Animated Drawings (Demo) sử dụng. Meta hy vọng rằng bằng việc triển khai Animated Drawings trong các dự án của riêng mình, chúng tôi có thể truyền cảm hứng cho những nhà phát triển khác tạo các bản demo và trải nghiệm sử dụng tài sản hoạt ảnh từ hình vẽ của người dùng.

Dự án Animated Drawings là một ví dụ tiêu biểu về cách sử dụng công nghệ nguồn mở để giảm bớt rào cản gia nhập đối với những người muốn thử nghiệm hoạt ảnh và tạo các trải nghiệm chuyển hình vẽ thành hoạt ảnh của riêng họ. Bằng việc phát hành các mô hình và mã dưới dạng nguồn mở, dự án này là tiền đề để các nhà phát triển xây dựng và mở rộng dự án, từ đó thúc đẩy văn hóa đổi mới và cộng tác trong cộng đồng nguồn mở.

Nếu bạn muốn khám phá dự án Animated Drawings của FAIR, hãy xem hướng dẫn cài đặt và bắt đầu nhanh trong file README của dự án này. Để khám phá trực quan hơn về dự án nguồn mở Animated Drawings, chúng tôi cũng đã tạo một video vui nhộn trên YouTube kèm theo ví dụ. Bạn có thể xem video này tại đây. Chúng tôi rất nóng lòng muốn xem những tác phẩm của bạn!