世界初のオープンソースプロジェクトでイラストをアニメーション化して命を吹き込む

Meta AIのFundamental AI Research (FAIR)チームは、Animated Drawingsをリリースできることをうれしく思います。これは、ドローイングをアニメーション化するエクスペリエンスや製品を、クリエイターや開発者が作成しやすくすることを目的としたオープンソースプロジェクトです。これは2021年にFAIRの研究者たちが、コンピュータービジョンにおける近年の進歩を活かして、キャラクタードローイングに存在する人型のものをアニメーション化するための、高速で直感的なパイプラインを開発したことから始まりました。

イラストは一般的な表現手段であり楽しいものです。初心者が描くキャラクターは、非常に奇妙で、抽象的で、想像力に富むものであることが少なくありません。それらの楽しいキャラクターに、命が吹き込まれ、ページの上で動きまわる姿を見たくない人がいるでしょうか。これを世界共通の夢物語として描いている書籍やTV番組もあります。残念ながら、実際そのようなエフェクトを実現することは本当に困難なことです。多くのドローイングを作成して動いているように見せる作業(パラパラマンガなど)は手間と時間のかかる行程です。既存のアニメーションツールは新しいユーザーにとっては使いこなすのが難しい場合があります。結果として、多くの素晴らしいキャラクターがページで静止したままになっています。

Metaの研究者たちは、ドローイングのデジタルバージョンを短時間で作成するため、オブジェクト検出モデル、ポーズ推定モデル、画像処理ベースのセグメンテーションメソッドを使う、というビジョンを思い描きました。こうすると、伝統的なコンピューターグラフィック技法を使って、デフォルメし、アニメーション化することができます。Metaはこのビジョンを、創造性の力によって人々とコミュニティをつなげる機会と見なしました。

しかし、問題がありました。キャラクタードローイングは、大掛かりにコンピュータービジョンモデルを訓練しなければならず、それを描くことはかなり難しいのです。バウンディングボックス、セグメンテーションマスク、関節の位置などの注釈も必要です。しかし、そのようなデータセットは存在しません。この問題を解決するため、研究者たちはAnimated Drawings Demoを作成しました。このだれでもアクセスできるウェブベースのツールでは、クリエイターたちがドローイングをアップロードして、いくつかのモデル予測を表示/修正し、ドローイングのキャラクターを使ったアニメーションを受け取ることができます(しかもこれらすべてを1分以内に行えます)。ユーザーフローの一部として、親たちは、Metaが今後の研究のために画像や注釈を保持することを許可するかどうか選択できます。これは完全に任意であり、その選択によってツールの機能が影響を受けることは一切ありません。研究者たちがこのデモをリリースした当初は、最終的に10,000件のドローイングを収集し、それらを使って自分たちのモデルを改善することを希望していました。

Animated Drawings Demoに対する反応は、期待をはるかに超えてポジティブなものでした。最初の数か月で、ユーザーは160万件を超える画像をアップロードし、その使用に同意しました。興味深いことに、デモのユーザーの多くは、当初の目的と異なる目的で使用しようとしていました。アップロードされた多くの画像は、アマチュアの落書きとは全く違うものでした。画像の内容は、会社のロゴ、動物のぬいぐるみ、アニメのキャラクター、ペット、アクションフィギュアなどで、他にもいろいろなものがアニメーション化されていました。指示の中で人間の形をしたものが必要であると指定していたのに、ユーザーは四つ足の動物、鳥、魚、その他の多くの形態をアップロードしました。ユーザーはまた、ソーシャルメディアの投稿やデモのバグレポートで、さらに包括的なツールを望んでいることを示しました。透明な背景、さまざまな骨格タイプのサポート、複数で互いにやり取りするキャラクター、サウンドエフェクト、背景となる風景、テキストオーバーレイを望みました。

明らかに、ドローイングをアニメーション化する技術を使ったさまざまなエクスペリエンスに関心が寄せられていました。研究者たちはデモを拡張して新たな機能リクエストに対応するのではなく、代わりに、Animated Drawings Demoで使用されているモデルとコードのオープンソースバージョンをリリースしました。Metaは、Animated Drawingsを自社プロジェクトで実装することにより、ほかの開発者にインスピレーションを与え、ユーザードローイングのアニメーションアセットを利用するデモやエクスペリエンスを彼らが作成するようになることを希望しています。

このAnimated Drawingsプロジェクトは、アニメーションの実験を行い、ドローイングをアニメーション化する独自のエクスペリエンスを作成したい人たちの敷居を、オープンソース技術を使ってどのように低くするかに関する優れた例となっています。モデルとコードをオープンソースとしてリリースすることによって、このプロジェクトは、開発者が自分のプロジェクトを構築し拡張する開始点を提供し、オープンソースコミュニティ内のイノベーションとコラボレーションの文化を育みます。

FAIR Animated Drawingsプロジェクトを調べてみることに関心がある方は、プロジェクトのREADMEで、インストール環境とクイックスタートのための指示をご確認ください。オープンソースAnimated Drawingsプロジェクトをもっと視覚的に探索できるように、事例が紹介されている楽しいYouTubeビデオも作成しました。こちらからご視聴ください。皆さんが創り出す素晴らしいコンテンツを楽しみにしています。