はじめに

三菱総研ＤＣＳ デジタル企画推進部の後藤です。 今回は当社で実施しているXR技術検証のなかでも、「拡張現実」とよばれるARに関する取り組みについてご紹介します。

また、この取り組みはＤＣＳの研究開発活動の一環となります。研究開発活動の詳細は「ＤＣＳの研究開発活動についてご紹介します」にてご覧いただけます。

目次
1. ARとは
2. 検証について
3. 検証結果
4. まとめ

ARとは

「AR（拡張現実）」は簡単にいえば、現実空間に対してカメラやレンズを通して付加情報を表示する技術です。 家具を部屋に試し置きするシミュレーションアプリ、植物・動物にカメラをかざすと詳細情報を表示する図鑑アプリなどで使われています。

図１　付加情報の表示

検証について

概要

スマートグラスは装着しても両手がふさがらないため作業を止めることなく付加情報を確認できます。 この利点から工場や建設現場における作業支援に適しています。

本検証ではスマートグラスを通して危険物に警告表示することで作業員の安全性を高めるアプリケーションを作成しました。

図２　検証イメージ

使用機器・技術

• HoloLens 2：頭に装着しハンズフリーで使用するスマートグラス。センサーやカメラが搭載されており、装着者の頭や手・視線の動き、周辺環境の状態を認識できる。
• Unity：2Dおよび3Dのゲーム・アプリ開発で広く使われているゲームエンジン。
• Mixed Reality Toolkit：Unity上のHoloLens 2アプリ開発を効率化するツールキット。UIコンポーネントやオブジェクト操作などのインタラクションを手軽に利用できる。

処理の流れ

対象物へのラベル表示は主に3つの処理で実装しています。

• ①画像撮影：HoloLens 2のカメラから周囲環境のキャプチャ画像を取得
• ②推論：キャプチャ画像に対して推論処理を行い危険物を検出し2次元座標を取得
• ③ラベル位置計算および描画：2次元座標を3次元へと変換し、AR空間上にラベルを表示

システム構成と処理の流れは下記の通りです。推論についてはサーバーを利用した処理と、HoloLens 2でのローカル処理をした場合の2通りで検証しました。 ローカル処理はセキュリティ要件が厳しくネットワーク通信が利用できない現場での作業を想定しています。

図３　処理の流れ

空間サーフェス

まず前提として、HoloLens 2には下記センサーが搭載されています。

• ヘッドトラッキング：4台の可視光カメラ
• 視線トラッキング：2台の赤外線カメラ
• 深度：1-MP ToF (Time of Flight) 深度センサー
• IMU：加速度計、ジャイロスコープ、磁力計
• カメラ：静止画 8-MP、ビデオ 1080p30

それぞれのセンサーデータを利用して、リアルタイムに周囲環境情報を取得することができます。
特に空間の凹凸を表す「表面」の情報を、「空間サーフェス」とここでは呼びます。
（参考：空間マッピング）

図４　空間サーフェス

今回は空間サーフェスと組み合わせて、HoloLens 2のキャプチャ画像から検出した対象物の2次元座標を、AR空間の3次元座標へと変換する処理を行っています。

図５　2次元座標から3次元座標への変換

以上をふまえて、検証の観点としては下記の2点を設定しました。

• 応答速度：作業遂行に必要な情報が適宜、表示・操作できるか
• 形状・位置認識：現実空間に存在する物体の形状や3次元空間上の位置を正確に認識できるか

検証結果

今回の検証ではペットボトルを危険物と仮定してラベルを表示しました。

図６　ラベル表示による警告

応答速度

それぞれの処理時間を推論サーバーを利用した場合とHoloLens 2でのローカル処理をした場合で計測しました。

図７　応答速度の計測結果

推論サーバーを利用した場合の ②推論 については、5Gの高速通信利用といった通信環境の改善で処理時間を短くできる可能性があります。
また、①画像撮影 と ③ラベル位置計算および描画 の処理時間が長いと、アプリケーションがフリーズしたような見え方になりユーザー体験へ大きく影響します。したがって、フレーム描画と同期させる必要のない処理は非同期処理として扱うといった軽量化の対策が必要になります。

形状・位置認識

ラベルと現実空間の物体との座標のずれを測定しました。 また、測定は物体との距離が1m・2m・3mの場合でそれぞれ10回実施し平均を算出しました。

図８　座標のずれの測定

図９　座標のずれの測定結果

形状・位置認識の精度はホログラムが現実空間に自然と配置される上で重要です。 結果としては1mの場合で5cm程度、2mの場合で7cm程度、3mの場合で10cm程度の誤差がありましたが、いずれもホログラムは十分に自然な配置となる範囲でした。

まとめ

取り組み全体の振り返り

技術習得などを含めた検証全体の簡単な振り返りです。

図１０　全体の振り返り

現実空間へのホログラム配置

ARアプリケーションでは現実空間とホログラムが乖離しないよう配置に注意する必要があります。例として、椅子のホログラムが床の上ではなく宙に浮いた配置になると、現実空間内に実際に存在するように感じさせることができずユーザー体験を損なう可能性があります。

これは本検証での空間サーフェスを利用した3次元座標の取得においても注意すべき点です。2次元座標とHoloLens 2を結ぶ直線が期待するオブジェクトの空間サーフェスと交わらない可能性は十分あり、その場合ラベルは不自然な場所に配置されます。改善策としては、複数の直線を用いて座標計算を行うことで外れ値を除外したり、最大最小値を設けることでも改善が見込めます。

今後の検証

HoloLens 2には視線トラッキング機能があり、この機能を使うと作業時にどこに注目していたか振り返ることができるため作業効率化や他作業員の教育に活かすことができます。この他にもMicrosoftから提供されているDynamics 365 Remote Assistなどと組み合わせた検証など引き続き進めていきます。