ビルディングスケールVRとは、実際の建物の屋内全域を仮想化し、その建物の屋内全域で人間の位置と向きを精度良く追跡可能にしたものです。 ビルディングスケールVRの要素技術には以下のものがあります。

1. 実際の建物内の3次元形状を忠実に再現する3次元地図の作成技術
2. 3次元地図を点群として自動的に仮想空間に表示する技術
3. 建物内の全域を動き回る人間の姿勢（位置と向き）をトラッキングする技術
4. 3次元地図上に移動可能なオブジェクトを配置したり、変形したりする技術
5. 複数の人間を仮想空間上に表示し、現実と同じような情報を参加者全員が共有する技術
6. 仮想空間においてオブジェクトを両手で操作するインタフェース技術
7. 実世界の状況の変化をリアルタイムに仮想空間に反映させる技術
8. 環境音や振動触覚を実世界対象のテクスチャなどから自動生成して仮想空間で提示する技術
9. 仮想空間における複数の人間の行動や物理現象をシミュレーションする技術

ビルディングスケールVRの典型的な応用例は、災害状況のシミュレーションとそれによるトレーニングです。災害状況に限らず、様々な危険状況をシミュレーションして、複数の人間に同時に体験させることができます。災害状況のシミュレーションでは、屋内にある対象物の移動や変形を行います。例えば、地震の場合は、家具が振動したり移動したりします。また、火災の場合は、家具が燃えて変形したりします。このようなシミュレーションのために、点群地図上に3Dモデルを配置して個別に操作できるようにしました。

プレゼンテーションを仮想空間で行うことにはいくつかの利点があります。まず、遠隔からの参加であっても、目の前でプレゼンテーションを聞いているような効果が得られること、仮想空間ではすべての情報がデジタル化されているので、それらを記録して再現できること、観客を3次元モデル＋アニメーションで表現することで気軽にリハーサルができることなどです。また、ビルディングスケールVRを用いることで、現実の会議場と同じ状況でプレゼンテーションが行えます。 また、AIアバターを観客としてプレゼンテーションリハーサルを行い、そのプレゼンテーションを評価する仕組みを研究しています。プレゼンテーションはディスカッションと並んで、重要なスキルの一つですので、科学的に分析して効果的トレーニングできる必要があります。具体的には、プレゼンターの話し方、体や視線の動き、スライドの内容と指示動作などを解析しスコアを計算します。また、観客であるAIアバターのリアクションを、各アバターがそれぞれの観点で評価したプレゼンテーションの時間ごとの評価値に基づいて決定し、リアルタイムに表示します。

サイバー・フィジカル・エデュケーションとは、VR技術で構築された場(仮想空間)での教育・学習活動が実世界での活動と同等あるいはそれ以上の効果を持ち、仮想空間上の活動の結果(成果物および活動履歴)が実世界においても価値を持つことのできる新しい教育・学習の方法論のことです。 まず、ビルディングスケールVRを用いて学習環境となるさまざまな屋内施設を仮想化し、次に仮想環境における学習・実験環境を作ります。このとき、STEM (Science, Technology, Engineering, Mathematics)教育教材を仮想化し、それに関する知識を体系化します。この教材と知識に基づいて、学習を支援することができます。このとき学習者の対話相手となり、教師の役割を果たすのがVRエージェントです。VRエージェントは、VRアバターを人間ではなくAIが制御するものです。本研究では、スクリプトベースの対話モジュールと話題が逸れた時に対応するための雑談対話モジュールを組み合わせて適用します。さらに、学習者の活動を記録・再生する仕組みによって、ある学習者の体験を他の学習者が追体験できるようにします。また、学習成果を仮想世界に限定されたものにしないために、実世界でも利用可能なものとして実体化し、その価値を確認できるようにします。これらの知識・体験・成果はすべて分析可能なデータとして保存され、機械学習の仕組みを用いて学習者の活動の質の評価に利用されます。