こんにちは、リッテルラボラトリーの上野です。
今回は、クリエイターの日の制度を利用して、OculusRiftとKinectを使った全身没入型VRコンテンツと、段ボール製HMDを使ったARコンテンツを作成しました。
さらに、作ったものをニコニコ超会議に出展してきたので、その様子も一緒に紹介します。
OculusRiftとKinectを使った全身没入型VRコンテンツ
OculusRiftを装着すると、思わず画面中の物に手を伸ばしたくなったり、歩いて近づいてみたくなりますよね。 その思いを実現すべく、Kinectを使って、VR空間中で全身を動かして、(ある程度)移動できるものを作ってみました。
開発環境は、Unityを使います。 KinectのSDKはUnityに対応しており、簡単に接続することができます。 さらに、以下のような、Kinectでトラッキングした動きを人型3Dモデルに反映するアセット(Unityで扱えるライブラリのようなもの)もあるため、動かすのも簡単です。 https://www.assetstore.unity3d.com/jp/#!/content/18708
今回は、動き回れて楽しめるものとして、アクションゲームのようなものを作成しました。 Kinectのボーントラッキングで全身の動きをゲームのキャラクターに反映し、手足を動かす、しゃがむ、ジャンプするといった動作をできるようにしています。
動画の右側に見える赤い人型が、Kinectでトラッキングしている人の映像です。 その人型と同じように、ゲーム内のキャラクターが動いているのがわかると思います。
また、動画の中で出てきますが、Kinectのジェスチャトラッキングで魔法を出す機能も付けてみました。 ジェスチャトラッキングでは、腕を上下左右に振ったり手を前に押し出す動作を取ることができます。 それらに火や雷といった魔法を対応させて出している感じです。
OculusRiftを被ってプレイすると、全身が動くという没入感と、 対峙するモンスターが鼻の先まで迫る臨場感を楽しむことができます。
段ボール製HMDを使ったARコンテンツ
段ボールでできた筐体にスマホを入れることで簡単にヘッドマウントディスプレイを作れてしまう段ボール製HMDが流行っています。 種類には、Google Cardboardやハコスコ、100LUSなどがあります。 今回はこれで動く、簡単なARコンテンツの作成をしました。
スマホのカメラから取得した画像に処理を加え、ピンク色のサインペンで指し示した場所が爆発するようなARコンテンツを開発しました。
開発環境としては、基本的にUnityを用いました。サインペンの検出には、OpenCVForUnityというアセットを用い、ピンク色の物体を認識しています。 また段ボール製HMDは2画面分割する必要があるので、その表示にはCardboard SDK for Unityを使いました。
ニコニコ超会議に出展しました！
4月25日、26日に開催されたニコニコ超会議にて、これら2つのデモを展示してきました。 作品名はそれぞれ「VRアクション」と「リア充爆発ステッキ」です！
2日間展示してきましたが、体験者が途切れることはほとんどなく、多くの方に体験していただきました。 体験して下さった方、意見を下さった方、本当にありがとうございます！
写真は出展ブースの様子です。満員御礼、ありがとうございます。 紫の服装の2人は、1週間一緒に開発を進めた、中くんと石田くんです。
体験して下さった方の反応はといいますと、 VRアクションは、モンスターの迫力に驚きながらも、楽しく、または真剣にプレイしていただけてました。
リア充爆発ペンは言わずもがな…みなさん思い思いのものをARで爆発させて楽しんでいらっしゃいました。体験し終わった方の顔は、どこかすっきりしていた気がします。
今回の出展を通して、多くの方に楽しんでいただけたことは嬉しい限りです。 また、多くの課題も見つかったので、今後より良い体験を提供するために改善していけたらいいなと思っています。
