返回開發人員最新消息

前所未有的開放原始碼專案,使您的動畫繪圖栩栩如生

2023年4月13日發佈者:Jesse Smith

Meta AI 的基礎 AI 研究團隊 (FAIR) 非常高興推出 Animated Drawings 開放原始碼專案,目標在於協助創作者及開發人員輕鬆創造自己的繪圖轉動畫體驗及產品。FAIR 的研究人員從 2021 年開始,決定運用電腦視覺的最新進展,透過快速直覺的管道,讓角色繪畫中發現的人物動起來。

繪畫是大眾熟悉且充滿趣味的表達途徑,身為初學者的我們所繪製的角色常常怪得很有意思、抽象且想像奔放。誰不希望讓這些美妙的角色動起來,在頁面四處移動?甚至能製作書籍和電視節目,將奇幻宇宙表現出來。遺憾的是,想要達成這樣的效果非常困難。繪製許多圖案實現運動的錯覺(就像翻書一樣)並不容易,現有的動畫工具對新手來說又可能有門檻。因此,許多很棒的角色仍在頁面上保持靜態。

GIi2RhRIX58XxdUCAPpGg7zwbIRHbj0JAAAB

我們的研究人員預定使用物件偵測模型、姿勢預估模型和以圖片處理為基礎的分段方法,快速創造繪圖的數位版本。然後再使用傳統電腦繪圖技術使其變形和動起來。在 Meta,我們認為這樣的視覺效果是透過創造力凝聚人們和社群的機會。

但問題依舊存在:要取得訓練電腦視覺模型所需的角色繪圖規模十分困難。另外還需要動畫,例如:邊界框、分段遮罩和關節位置。然而沒有這些資料集存在。為了解決此問題,研究人員建立了動畫繪圖試用版,這是開放存取的 Web 式工具,創作者可以上傳他們的繪圖、瀏覽/更正一些模型預測,並取得以繪圖中的角色擔綱的動畫,全部程序不必一分鐘。作為用戶流程的一環,家長可以選擇允許 Meta 保留圖片及動畫供未來研究使用;可以自由選擇允許與否,答案不會以任何方式影響工具的功能。研究人員釋出試用版是希望最終收集到 10,000 張繪圖,並用來改善模型成效。

動畫繪圖試用版的迴響非常熱烈。剛上線幾個月,用戶就上傳並同意使用超過 160 萬張圖片。有趣的是,許多試用版用戶試用的目的與最初的想法不同。上傳的許多圖片根本來自業餘愛好者。包羅萬象的圖片包括公司標誌、絨毛玩具、動畫角色、寵物、動作公仔和大家希望動起來的其他物品。雖然試用版在說明中特別提到必須是人物的圖片,但用戶仍上傳四足動物、鳥類、魚類和許多其他形式的圖片。用戶也在社交媒體貼文和試用版錯誤報告中,提到他們對於更全面性工具的盼望。用戶想要去背、支援不同骨骼類型、多元互動角色、音效、背景景觀和文字疊圖。

顯然大家有興趣獲取繪圖轉動畫的體驗。研究團隊並未拓展試用版納入所有新的功能要求,而是決定釋出這些模型的開放原始碼版本及動畫繪圖試用版所使用的原始碼。Meta 希望透過在公司自己的專案中實行動畫繪圖,啟發其他開發人員建立試用版,並獲取運用用戶繪圖中動畫素材的體驗。

針對希望進行動畫實驗及自創繪圖轉動畫體驗的群眾來說,動畫繪圖專案室開放原始碼技術是用來降低進入門檻的絕佳範例。透過釋出模型及開放原始程式碼,專案為開發人員提供建立及拓展專案的起始點,促進開放原始碼社群內創新與協作的文化。

若您有興趣探索 FAIR 動畫繪圖專案,請前往專案的 README 檔案查看安裝及快速開始說明。若想要以更視覺化的方式瞭解開放原始碼動畫繪圖專案,我們也製作了有趣的 YouTube 影片說明範例,請瀏覽此處。我們已經迫不及待要欣賞您的作品了!