Home / 3Dプリンティングを知る / トレンド / 蓄積されたオンライン画像から!?トム・ハンクスの3Dモデルを再現
3d-models-of-tom-hanks-reconstructed-from-online-images-3d-facial-imaging-tool-2
このエントリーをはてなブックマークに追加

蓄積されたオンライン画像から!?トム・ハンクスの3Dモデルを再現

3D印刷プロジェクト用の3Dスキャナーを使ったことがある方なら、こうした機械が基本的には無数の2D写真を取り込んでいるのを見たことがあるでしょう。

 

3D印刷の自撮りブースに入るとあらゆる角度から撮影され、その結果が一つの3Dイメージとして出力され3D印刷が可能になります。しかし実際に誰かをそのようにスキャンする必要はあるのでしょうか?既存の写真は利用できないでしょうか?実はこれが出来るのです。ワシントン大学のチームは、ウェブ上に数限りなく存在するセレブの画像から3Dモデルを作成する画期的な3Dモデルアルゴリズムを開発しました。このツールは、話をしている時の表情を顔マネしたり(例えばトム・ハンクスなどの)セレブの顔の表情を別人の顔に移植することまでをも可能にするまでに進化しているのです。

 

このツールがどれ程凄いかは下のクリップを見れば一目瞭然です。トム・ハンクスやジョージ・ブッシュ前大統領といったセレブの顔の表情を、ニール・パトリック・ハリスやオバマ大統領の3D顔画像に移植できます。この画期的な3Dイメージングツールの開発に5年にわたる長いプロジェクトに携わり、これをリードしてきたのは大学院生の スパソルン・スワジャナコルン(Supasorn Suwajanakorn)氏とコンピュータ科学・工学の助教授であるアイラ・ケメルマカー・シュリザーマン( Ira Kemelmacher-Shlizerman)女史です。この研究結果はついに12月16日、チリで行われた コンピュータ画像国際会議(ICCV で論文として発表されました。

 

リードオーサー(筆頭筆者)であるスワジャナコルン氏は、このツールの主要な目的は人が話している時、その人物を『らしく』見せているモノは何なのか、3Dで顔つきのパターンをどのように予測するかを解明することにあると説明しています。「トム・ハンクスをトム・ハンクスらしく見せるものは何なのか、という疑問に対する答えの一つを、コンピュターシステムがトム・ハンクスの顔マネをすることで実証してくれるのです」と彼は言います。これを再現するために彼らは、トラッキングからアラインメント、マルチテクスチャーモデリング、パペッティアリングまで3Dの全レベルにわたる3Dフェイシャルリコンストラクションツールを作成しました。

3d-models-of-tom-hanks-reconstructed-from-online-images-3d-facial-imaging-tool-1

このことは、仮想上の顔を使うか、チームメンバーの誰かの顔をスキャンして利用すればより簡単だったはずですが、彼らは敢えて、このツールのアルゴリズムがオンラインの写真コレクションをさえあれば他に何も必要としないことを実証しました。 クリップからも分かる通り、写りの良いセレブ写真があれば本物のような3Dイメージが作成でき、ビジュアルデータを十分に引き出せるのです。既に彼らはここ数年にわたり大成功を収めてきましたが、彼らが最近行った、ある人物の表情を別人に移植するという成功事例はとりわけ3Dモデラーやアニメーターの関心を集めています。今やオバマにブッシュのように話させる、またその逆も可能です。

研究者達は、このツール全体の目標は何年も前に亡くなった人々に新たな生命の息吹を与えることにあると説明しています。死んだ後も写真の中でキャラクターが生きているなんて、まるでハリー・ポッターの世界を思い出します。このツールなら、家族写真アルバムを使って新しい画像やしばらく会っていない人々の動画まで作成することが出来ます。「いつか、AR(拡張現実感)メガネをかけると自分のお母さんの3Dモデルがソファーに座っている、なんて日が来るかもしれません」ともう一人のシニアオーサーであるケメルマカー・シュリザーマン女史は言います。「そのようなテクノロジーはまだ存在しませんよね。ディスプレイテクノロジーの進歩は著しいものがあるとは言え、実際どのようにして自分のお母さんを3D化できるだろうか?」その疑問にはVRアプリが真の意味で役に立つかもしれません。

3d-models-of-tom-hanks-reconstructed-from-online-images-3d-facial-imaging-tool-3

彼らは、実際その場にいないヒーローや歴史上の人物に話しかけることも可能かもしれない、と推察しています。「実際に会うことが出来ない人物ーレブロン・ジェームズやバラック・オバマ、チャーリー・チャップリンーと会話出来ると想像してみて下さい」と言うのは共同著者でワシントン大学コンピュータ科学・工学部教授であるスティーブ・ザイツ(Steve Seitz)氏です。「我々は一連の研究段階を経てそこに辿り着こうとしています。真に試されるのは、彼らに実際に言わなかったことを言わせ、しかも彼らが言っているように感じさせることができるか?ということです。この論文はその能力を実証しています。」

もちろんホログラム技術は既に存在していますが、それは実在する人物の高度な映像なり3Dスキャンによるものであり、既に亡くなっている人物を撮影することまでは不可能です。高品質のアニメ動画もあらゆる細部にわたって骨の折れる作業を必要としますが、このアルゴリズムはそれを自動的に生成してくれるというものです。つまり数枚の写真を使えばビデオゲームのキャラクターもモデル化できるということです。自撮りから(あるいはセレブのモデルから)3D印刷が今まで以上に簡単になるのだと想像してみて下さい。

しかしながら現在の所はこのイメージングツールもレンダリングに膨大なデータを必要としています。トム・ハンクス、バラック・オバマ、ダニエル・クレイグその他のレンダリングは、セレブ達が様々なシナリオやポーズで撮った画像を最低でも200は必要としました。「私達は、インターネット写真や個人の写真を集めればカメラとのインタラクションなしでもモデルのアニメ化が可能なのではないか?と自問しました」と言ったのはケメルマカー・シュリザーマン女史です。「年月を経、私達はこの無制限にあるデータを取り込むアルゴリズムを作り上げ、大成功しました。」

真のチャレンジとなったのは、微笑んだ時と口を大きく開けた時の正確な口の動きなど、非常に細かく表情に依存したテクスチャーです。これが誰かのスピーチを他の誰かに移植する際の鍵となりました。スワジャナコルン氏は最近になってようやくこのプロセスでの突破口を見出し、これを写真のライティングのコンディションを操作することで可能にしました。これにより人物のモデルを『コントロール』し別人のスピーチを入れ込むことを実現します。「ある人物のパフォーマンスを他の人物の顔に当てはめ、かつその人物のアイデンティティを損なわないためにはどうすれば良いか?」とザイツ氏。「この問題はこの課題のより興味深い側面の一つです。ジョージ・ブッシュの表情や口元、仕草をしても顔そのものはジョージ・クルーニーというのはお見せした通りです。」これは3D印刷からアニメーション、ビデオゲーム開発に至る各モデリング分野に画期的な効果を生み出すかもしれません。このイノベーションの背後にある高度に複雑なアルゴリズムに関する詳細は ここから彼らの論文を参照して下さい。

 

原文:

3D models of Tom Hanks reconstructed from online images thanks to new 3D facial imaging tool

このエントリーをはてなブックマークに追加

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です