スマホのカメラ一つで全身モーションキャプチャ「Single3D」
株式会社ネクストシステムは、スマートフォンによるモーションキャプチャシステム「VisionPose Single3D（以下 Single3D）」のデモ映像を公開しました。Single3Dはカメラ一つで3D座標の検出が可能なため、手軽に全身モーションキャプチャを実現します。
また、Unityをサポートし、VTuber配信・ゲームなどアプリ組込での利用も可能とのこと。
こんにちは。バーチャルYouTuber追っかけおじさんのTnOkinaです。
今まで、全身モーションキャプチャを行うには、大掛かりな設備が必要であったり、体に様々なセンサーを取り付けなければいけなかったりして、手軽に利用できるものは少なかったです。それをカメラ1つで実現するSingle3Dの発表は、個人VTuberなどの機材に限りがある人にとって明るいニュースになるのではないでしょうか。
今回はSingle3D紹介と既存モーションキャプチャとの比較になります。
VisionPose Single3D
Single3Dは株式会社ネクストシステムが提供するVisonPoseシリーズの1つであり、WEBカメラとAI（ディープラーニング）を利用して人間の骨格座標を検出するシステム。同シリーズのVisonPoseと比べると、カメラ1つで3D座標の検出が可能なため、より手軽な利用が可能。デモ映像で利用したSingle3D（iOS版）は2019年6月販売予定。
通常、モーションキャプチャを行う際はカメラを複数台用意し、対象にデバイスを装着する必要がありますが、Single3Dは特別なデバイスを体には一切装着せず、カメラ1台で3D座標を取得できます。デモ映像ではスマートフォンのカメラを通して被写体の骨格をリアルタイムに検出し、アバターに動きを反映させました。
ネクストシステムはVisionPoseの活用例として下記の利用用途を想定。「骨格検出技術の発展による幅広い分野の社会発展に貢献していきたい」としている。
- フォームチェックや採点補助などスポーツの動作解析
- 監視カメラを用いた不審者の検知や急病人の検知
- 消費者の行動解析によるインサイト調査(無人レジなど)
- バーチャルYouTuber(Vtuber)配信やアーケードゲームなどエンタメ分野への応用
価格：未定
販売時期：2019年6月を予定
WEBサイト：https://www.next-system.com/visionpose
提供方法：
PC版とiOS版をそれぞれSDKとして提供します。
PC版：C#/C++向けのライブラリ
iOS版：Swift向けのライブラリ
※Unityサンプルコードあり
他の全身モーションキャプチャ機材の例
カメラやセンサーで取得した距離画像を用いて体の各部位の推定を行い、3D座標を検出している。
Kinect：中古で11,000円程度
Kinect PCアダプター：
正規品新品29,000円程度
正規品中古15,000円程度
社外品6,500円程度
合計：17,500～40,000円程度
HTC VIVE＋Orion
HTC VIVE、コントローラー、VIVEトラッカーを使用し、6個から8個のトラッキングポイントで動きをキャプチャーし、3Dモデルに反映する。
HTC VIVE：70,000円弱
VIVEトラッカー：一個12,000円程度
Orion年間ライセンス：62,400円
合計：210,000円程度
Perception Neuron
ジャイロスコープ、加速度計、磁気計を備えた慣性計測装置を内蔵したNEURONという小型センサーを装着してキャプチャーする。センサーは最大32個まで管理でき、指先を含む全身の動作をキャプチャーすることが出来る。
価格：209,800円
他にも、VICONなどの高性能な光学式モーションキャプチャがありますが、数百万円かかる機材なので割愛します。
VisionPoseの優位性
赤外線センサー付きカメラ（Kinect等）と比較した場合の利点
- 正面は正面、背面は背面として認識できる。これにより、正面から背面へ切り替わる真横からの視点でボーンが乱れない。
Kinect等は背面も正面として認識してしまい、正面から背面へ切り替わる際にボーンが乱れる。（左右の逆転が起こるため）
- カメラのカラー映像から人とそれ以外のモノを区別しているため、体の一部が隠れてしまっても、その先のボーン位置を予測できる。
赤外線によるカラー画像を使わない方式だと、障害物と人との区別がつきづらいため、体の一部が隠れたりモノを持つ動作に弱い。
- 赤外線を使用していないため、赤外線センサーの弱点を持たない。
赤外線は屋外での認識が難しかったり、赤外線を吸収する服装に弱いといった特徴がある。
HTC VIVE等と比較した場合の利点
- 必要な機材が少なく、準備などの手間が省ける。
HTC VIVEはそうでもないかもしれませんが、Perception Neuronは装着に15分くらいは掛かるといわれています。
- 体にセンサー等を取り付けないため、センサーのずれなどを気にしなくていい。
センサー式は動いているとどんどんセンサーの位置がずれてしまい、キャリブレーションのやり直しといったこともあるようです。
まとめ
- 「VisonPose Single3D（iOS版）」が2019年6月に発売予定
- Single3Dはカメラ1つで全身モーションキャプチャが可能
- 既存の全身モーションキャプチャと比べ、優位性を持つ点が色々ある。
価格が未定なので何とも言えませんが、個人VTuberの全身モーションキャプチャで主流となるHTC VIVE＋トラッカーの値段以下になっていれば、有効な選択肢の一つになるのではないでしょうか。また、撮影の場所を選ばないので、外ロケなどの今までVTuberが手を出しづらかったジャンルの開拓になるかもしれません。
