本稿は、３元再構成技術（3Dスキャン）の xR コンテンツへの活用と展望について論じる。３元再構成技術（3Dスキャン）は、現実空間の復元、記録や観察において有効な技術である。3Dスキャン技術の中でもフォトグラメトリーや 3D Gauusian Splatting という表現手法について述べる。重ねて、Web や xR での活用事例が注目されており、Meta Quest や Apple Vision Pro などのヘッドマウント型のディスプレイで3Dスキャンを用いたコンテンツを体験する手法について述べる。

1 はじめに

　計算リソースが増加したことが一因となり，近年の 3D スキャンの技術は著しく向上している．計算リソースの膨大なコンピュータだけでなく、スマートフォンで処理できるアプリケーションである Scaniverse の登場に代表されるように撮影結果が短時間にわかる 3D スキャンアプリケーションは効率的な撮影を可能としている．また，深層学習を用いた 3 次元表現手法である NeRF [1] や 3DGaussian Splatting [2] にも注目が集まっており，再構成が困難な広域空間の 3 次元表現への敷居を大きく下げた．撮影における懸念事項が少なくなった一方で，3D スキャンデータを体験できるコンテンツの重要性も上がっている．メタバースプラットフォーム上に現実空間を再現する試み (Digital Twin ) においては 3D スキャンデータが必要になるが，高精度なデータほどデータ量の影響からコンテンツのパフォーマンスが低下することが知られている．また，データに対する相互作用を行うことでより没入感の高いコンテンツになることが知られている．

　本稿では，ヘッドマウントディスプレイにおける 3D スキャンデータを体験可能なアプリケーションを紹介し，デモンストレーションやワークショップで活用した事例を紹介する．

2 ワークショップ概要

　本稿では，私が企画したワークショップの一例として，Code for Japan Summit 2024 で開催した「モバイル端末で 3D スキャンをやってみよう！」を取り上げる．本ワークショップは 50 分間のワークショップイベントであり，20 名程度の参加者が scaniverse を使った 3D スキャン体験と 3Dスキャンされたモデルを Apple Vision Pro で体験した．

　3D スキャンを用いたワークショップは、(a) 事前準備と (b) ワークショップ設計の２つに事項が分かれるため、それぞれ説明する．

2.1 事前準備

　企画をしたワークショップでは、子供や初心者を対象にすることを想定した．表 1 において，候補となった 3D スキャンアプリケーションを示す．特に短時間で成果が見やすいことと 3D スキャンの成功が分かりやすいことから Scaniverse を採用した．

　

表１　候補となった 3D スキャンツールの一覧

　また事前に参加者には 3D スキャンをしたいものを持参することと scaniverse のインストールのお願いをアナウンスすることで参加者に準備をしてもらう．

2.2 設計

　ワークショップのタイムテーブルを表 2 に示す．ワークショップのコンセプトとして，「参加者が町の中で 3D スキャンをやり，広めるための基礎を作る」と設定したため，論理の部分よりも実際に体験し，成功体験を作ることを最優先事項とした．また，参加者の多くが街づくりにかかわる方が多かったことから活用方法として，Apple Vision Pro や Meta Quest3 などのヘッドマウントディスプレイを使った 3D スキャンしたモデルを活用事例を紹介した．本稿では，著者が担当した 「AppleVision Pro における 3D Gaussian Splatting の表現」と「Apple Vision Pro における 3Dモデルの表示とインタラクション」のコンテンツを紹介する．

表２　ワークショップのタイムスケジュール

図１　使用したXRデバイスと3Dスキャン用の小物一覧

3 Apple Vision Pro を用いた 3D スキャンコンテンツ

　Apple Vision Pro は xR デバイスの一つであり，Apple 社が 2024 年に販売を開始したヘッドマウントディスプレイである．このデバイスは現実空間に仮想的な物体を配置することや接触させることができる高画質な AR 体験を可能する．

3.1 Apple Vision Pro における 3D Gaussian Splatting の表現

　Apple Vision Pro 上で 3D Gausian Splatting を用いた３次元表現を体験する手法として，”Metal Splatter”を使用した．このアプリケーションは，Apple Vision Pro に 3D Gaussian Splatting のデータを送信することで体験できる．そのため,scaniverse で撮影した 3D Gaussian Splatting のデータを素早く体験させることができるため採用した．

　Gaussian Splatting で再現された 3D 空間に没入する体験ができた一方で，現実空間をとらえられなくなることから一緒に移動してアテンドをすることが重要である．

3.2 Apple Vision Pro における 3D モデルの表示とインタラクション

　Gaussian Splatting のデータだけでなく，小物などを対象とした 3D モデルを表示することができる．ワークショップで撮影したものはぬいぐるみなどの小物であったことから 3D モデルを表示し，手の動きで操作できるように準備をした．時間の都合上，使うことはできなかったが 5 分程度の準備時間で撮影した 3D モデルを表示し，回転，拡大や縮小などの操作ができることでより参加者により活用のイメージを想起させることができると考えられる．今後のワークショップで複数人でアテンドできる場合に活用したい．

図２　Apple Vision Proの体験会の様子

4 まとめ

　本稿では，3D スキャンとヘッドマウントディスプレイを用いた活用に基づいたワークショップについてまとめた．取り上げたワークショップは，20 名以上の参加者が Scaniverse を用いた 3D スキャンを行い，Apple Vision Pro などの xR デバイスを中心とした 3D スキャンモデルの表示やインタラクションを体験することに成功した．このワークショップから以下のような知見が得られた．

1. 目的意識を持った方々を対象とする場合は 3D スキャンした先の体験を作ることで参加者とのコラボレーションが生まれやすい環境を作ることになった
2. 複数の被写体があることで初心者も経験者もよりきれいに作成する方法について試行錯誤するように複数の3D モデルを作成し，交流するきっかけができる

　得られた結果を生かして，3D スキャンを通した空間的なデジタルアーカイブおよび将来的な活用をさまざまなバックグラウンドを持った方々と社会実装する火種を作っていきたい．

参考文献

[1] Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng.,NeRF: representing scenes as neural radiance fields for view synthesis. Commun. ACM 65, no. 1 , 99–106., 2021.

図３　ワークショップの参加者との集合写真

[2] B. Kerbl, G. Kopanas, T. Leimkuhler, and G. Drettakis,“3d gaussian splatting for real-time radiance field rendering,” ACM Trans. Graph., vol. 42, no. 4, 2023.