さわらブログ

さわら(@xhiroga)の技術ブログ

Facebook ARstudioで顔ぴったりフィットのコツ+その他ハマりどころ

f:id:hiroga_cc:20171113225312j:plain
奇跡的にフィットするサンシャイン池崎(比較写真)

AR Studioについて

FacebookのAR Studioがすごい。Facebookアプリを右側にスライドするとSNOWみたいなことができるカメラが起動するんだけど、
そこで使えるエフェクトを開発者向けに解放するSDKがAR Studioである。 developers.facebook.com

2017年11月11日~12日、Facebookさん主催でAT Studioのベータ版を試せるハッカソンがあり、IBMが協賛している縁で参加させていただけることに!

FaceMeshについて

FaceMeshはAR Studio内の3Dオブジェクトである。カメラで捉えた顔の動きを自動的に真似してくれる。

f:id:hiroga_cc:20171113231157j:plain
Face Meshに顔写真を設定する仕組み

でも綺麗にフィットする顔素材を作るのがとにかく難しい!

気をつけるべきポイントは以下の通り。
- 正面を向いている写真であること。
- もとから口が開いている写真であること。
- 余白が適当であること。
- 顔写真の形がフェイスメッシュとだいたい同じであること。

全てに失敗するとこうなる。

f:id:hiroga_cc:20171113231542p:plain
櫻井くんの写真はこのあと10種類くらい試しました

顔写真用の型紙とか作っておけばよかったなあ〜!
ちなみに冒頭の池崎は拾い物の画像で一発OKでした。奇跡か。

その他のハマりどころ

  • Mac上でのタッチ操作はProject設定を編集し、さらにCommandを押しながらクリックする必要がある! f:id:hiroga_cc:20171113231957p:plain

  • 音声は.m4a形式のmonoに対応している。.mp3は変換の必要あり!
    これ使いました。

    To M4A Converter Lite

    To M4A Converter Lite

    • NIKOLAY KOZLOV
    • ミュージック
    • 無料