返回开发者新闻

通过首创的开源项目让您的动画图画动起来

2023年4月13日发布者:Jesse Smith

Meta AI 的基础人工智能研究 (FAIR) 团队非常高兴地推出“Animated Drawings”开源项目,此项目旨在帮助创作者和开发者轻松创建他们自己的图画转动画体验或商品。一切由 2021 年开始,当时 FAIR 的研究人员决定应用计算机视觉领域的最新技术,以打造一个快捷而直观易用的渠道,将人物图画中的人形图案制作成动画。

绘图是一种大家熟悉的有趣表达方式,我们作为绘画新手所画出来的人物通常抽象而充满趣怪和想象力。谁不希望那些可爱的人物可以动起来,在页面上走来走去呢?甚至有书籍和电视剧尝试与这个普遍的幻想相呼应。但遗憾的是,要真正达到这种效果并不容易。为营造画面动起来的逼真效果,其中一种方法是要画出相当多的图画(例如手翻书),但这个工序单调乏味。而另一方面,现有的动画工具对于新手用户来说又充满挑战。这导致许多奇妙的人物只能在页面上一动不动。

GIi2RhRIX58XxdUCAPpGg7zwbIRHbj0JAAAB

我们的研究人员设想通过对象检测模型、姿态估计模型和基于图像处理的分割方法,快速创建图画的数字版,然后便能使用传统的计算机图形技术使图画变形,以及将图画制作成动画。Meta 将此设想视为一个机会,可借助创意的力量将用户与社群联系起来。

但这种设想存在一个问题:要获取足够的人物图画来训练计算机视觉模型并不容易。我们还需要为这些图画加上批注,例如边界框、分割掩码和连接处。但这样的数据集并不存在。为了解决这个问题,研究人员创建了 Animated Drawings Demo,这是一款可公开访问的基于网络的工具。创作者可以在该工具中上传图画、查看或更正一些模型预测,并在不到一分钟的时间内获得以图画中的人物衍生出的动画。在用户流程当中,家长可以选择允许 Meta 保留图片和批注,以供未来研究使用;但这完全是自愿行为,家长的选择不会对此工具的功能产生任何影响。在发布此试玩工具时,研究人员希望能收集 10,000 张图画,借此提升模型的性能。

然而,Animated Drawings Demo 得到了热烈而积极的反响。在最初短短几个月内,用户就上传了超过 160 万张图片,并且同意 Meta 使用。有趣的是,此试玩工具的许多用户尝试将该工具用于原本目的之外的其他用途。他们上传的许多图片根本不是业余图画,而是公司徽标、毛绒玩具、动漫人物、宠物、玩偶,以及各种大家想要制作成动画的其他内容。就算此试玩工具在说明中列明了只支持人物图案,但用户还是上传了四足动物、鸟和鱼等各种其他动物。此外,用户还通过社交媒体帖子和试玩工具内的漏洞报告工具,表达出他们希望能有更全面的工具。用户想要透明的背景,希望可支持不同的骨架类型,想让多个人物一起互动,以及想有音效、背景布景与叠加文本等功能。

显然,大家希望有更多基于图画转动画的体验。而相比起扩展试玩工具以支持用户要求的所有新功能,研究人员决定改为发布一个开源版本的模型和代码,以供 Animated Drawings Demo 使用。通过在 Meta 自己的项目中实现 Animated Drawings,我们希望能鼓励其他开发者利用用户图画中的动画素材,创建出各种试玩工具和体验。

Animated Drawings 项目很好地展示了开源技术可以如何用来降低门坎,让希望尝试动画制作和创建自己的图画转动画体验的用户可以更轻松入门。通过以开源形式发布模型和代码,开发者便能着手构建和扩展此项目,在开源社群内培养出创新与协作的文化。

如您对探索 FAIR Animated Drawings 项目感兴趣,欢迎查看此项目的 README 文件,了解安装方式和快速入门说明。此外,我们也制作了一段有趣的 YouTube 视频,并且在其中展示了一些示例。您可以在此观看该视频,通过生动的视觉材料探索开源 Animated Drawings 项目。期待看到您的作品!