1. はじめに

　文化財の保存活動の一環として，文化財の情報を電子的に記録するデジタルアーカイブが重要な役割を果たしている．近年では，三次元計測技術や三次元再構成技術によって得られた文化財の高精度な形状データが記録や博物館展示に活用されている．しかし，文化財の教育活動において，三次元モデルを表示するだけでは対象物の内部構造や特徴を理解させられない場合がある．特に民具などの道具の文化財に関しては，道具を操作する体験を通して仕組みの工夫や人々の暮らしを伝えることが重要である．しかし，アーカイブされている対象物は静的な物体がほとんどであり，動的な物体や可動部をもつ物体に関しては，その動作を再現することが難しい．

　我々は先行研究 [16]で，一つの回転関節をもつ道具の静的な三次元モデルから関節運動を再現する手法を提案した．また，先行研究 [21]では，この手法を二つ以下の回転関節をもつ道具に拡張し，バーチャルリアリティ (VR)環境で操作体験を再現する手法を提案した．これらの研究では，三次元計測や三次元再構成によって得られた点群データをもとに可動部を推定し，その回転運動を再現することで，文化財の操作体験を可能にした．一軸関節体，二軸関節体の実例として，川崎市立日本民家園が所蔵する民具に対して本手法を適用し，一人称視点でのバーチャル操作体験の実現可能性を示した．

　本報告では，上記の手法を紹介し，本手法に基づいて民具文化財の使い方や仕組みを学習するアプリケーションを開発し，小学校3年生の授業での利用事例を報告する．

2. 関連研究

　本節では，文化財のバーチャル展示 (2.1項)，関節体の関節推定手法 (2.2項)に関する関連研究を紹介する．

2.1. 文化財のバーチャル展示

　文化財のデジタルアーカイブでは，LiDAR（Light Detection and Ranging）スキャナやフォトグラメトリによる三次元再構成技術が広く利用されている [25]．計測された高精度な三次元形状データは，文化財の保存や修復，博物館展示などに活用されている．基盤技術として，三次元計測データからリトポロジーやテクスチャベイクなどの整形処理を施すことで，さまざまな目的に活用しやすい三次元モデルを生成するワークフローが活発に研究されてきた [2, 14]．

　博物館展示における活用では，レプリカやディスプレイを用いた効果的な提示方法が模索されている [26]．文化財データの効果的な提示方法として，VR環境を用いた体験も提案されている．

　Kihongら [5]は，Head-Mounted Display (HMD)と3Dプリントされたダミーの展示品を用いて，ユーザが文化財を触りながら鑑賞しているように感じられる体験を提案した．HMD内に提示される3Dモデルの位置姿勢をダミーの陶器の位置姿勢に同期し，ユーザがダミーを触るとHMD内の3Dモデルも同期して動く．視覚や聴覚だけでなく，素手での触覚提示をすることで臨場感が向上し，没入感や嗜好性が高まることが示された．

　しかし，これらの研究や展示では，文化財の静的な三次元モデルを鑑賞する体験にとどまり，文化財の操作を体験させることはできない．本研究では，可動部をもった道具の文化財に着目し，バーチャル環境での操作体験を再現し提示する手法を提案する．

2.2. 関節体の機械学習による関節推定

　関節体の動作に限定的に着目した研究も進められている．Liら [6]は，点群の各パーツの形状をPointNet++ [13]によって機械学習し関節運動を推定している．その手法では，まず各カテゴリ固有の各パーツと，各パーツに対して正規化した相対座標をPointNet++を用いて教師あり学習する．次に，別のPointNet++ネットワークを用いて，関節に対する相対座標と各関節の状態を機械学習する．これらのネットワークを用いて既知のカテゴリの新たな点群に対して，パーツごとのセグメンテーションと関節の状態を推定する．

　データの少ない貴重な文化財に対しては，十分な機械学習データが利用可能であることを期待できず，物体に対して多くの学習データを必要とする手法をそのまま適用することは困難である．

　そこで我々は先行研究 [16,24]で，点群と，ユーザによる回転軸指定やペイント操作を受け付けることで，関節運動を再現する手法を提案した．この手法では，パーツ同士の干渉を考慮し，回転軸を含むような平面または回転軸に垂直な円柱を検出することで関節体のパーツを推定している．また，ユーザによるバーチャル操作をもとに，一軸および二軸の回転関節をもつ関節体の関節運動を再現する手法を提案した．パーツ推定手法は二軸以上の関節体に対しても適用可能である．

　本稿では，この手法を用いて川崎市立日本民家園の所蔵民具である屋根鋏と唐箕の関節運動を再現し，それをもとに民具文化財の使い方や仕組みを学習するアプリケーションを開発，活用した事例を報告する．

3. 関節運動推定手法

　本節では，提案する関節運動推定手法について説明する．

　本手法では，三次元計測や三次元再構成によって得られた点群データから可動部を推定し，回転運動を再現することで，文化財の操作体験を再現する．その処理の流れを 図 1 に示す．本手法ではユーザのペイント操作によるおおまかなパーツ指定と回転軸の指定により可動部を推定する．指定された回転軸をもとに一人称視点でのバーチャル操作を可能にする．回転軸に対する可動域が限定される場合は，回転運動を録画した動画から可動域を推定する．　

　本稿では，川崎市立日本民家園 [18]が所蔵する民具である屋根鋏（一軸関節体）と唐箕（二軸関節体）の例を用いて提案手法を説明する．屋根鋏とは，茅葺き屋根の茅を刈り揃えて手入れをするための道具であり，今回用いた屋根鋏は戦後使用されたものである．一方，唐箕とは，脱穀した稲から籾殻や異物を取り除くための道具で，今回用いた唐箕は昭和30-40年代まで使用されたものと考えられる．これらの民具の点群は，それぞれ2023年1月24日と2024年7月10日に日本民家園にて撮影した多視点画像から三次元再構成した．図 1 は唐箕の実計測データに対する実行例である．

図 1　提案手法の処理の流れ．唐箕（二軸関節体）の実計測データに対する実行例

3.1. 回転軸・ペイント入力インタフェース

　本項では，ユーザが回転軸とパーツ概形を入力するための二次元インタフェースについて説明する．入力された回転軸はパーツ分割と動作再現の工程で参照され，パーツ概形はパーツ分割の工程でのみ参照される．

　まず，回転軸入力インタフェースについて説明する．最初に準備として，三次元点群からポアソンメッシュ再構成 [4]を用いてメッシュを作成し，QEM (Quadric Error Metrics) [3]によりメッシュを簡略化する．次に，ユーザが回転軸の始点と終点を指定する．このとき，ユーザが示す二次元の画面上の座標から三次元の光線を飛ばし，粗いメッシュに衝突した交点を三次元の点として取得する．二本の回転軸をもつ場合は，これを複数回繰り返す．この入力インタフェースは，二軸以上の任意の関節体に対しても適用可能である．

　図 2, 3 に回転軸入力インタフェース上での入力例を示す．図中の赤い軸がユーザの指定した始点から終点方向に延ばした回転軸である．図 2 に単一の回転軸の例として屋根鋏の入力結果を，図 3 に二本の回転軸の例として唐箕の入力結果を示す．

　次に，パーツ概形のペイント入力インタフェースについて説明する．ユーザはGUI上でペイントする半径とパーツのIDを指定する．ユーザが半径を変更した際に変更後の半径を球として可視化することでユーザの判断を補助する．次に，ユーザは回転軸入力と同様に粗いメッシュ上でクリックされた位置から，指定された球内の点を探索し，パーツのIDを付与する．

　図 4, 5 にペイント入力インタフェース上での入力例を示す．図中の赤，青，緑の色がそれぞれ異なるパーツを表す．図 5 中の球がユーザが指定したペイント半径を示したものである．

3.2. パーツ分割手法

　本項では，3.1項の回転軸入力インタフェースで指定された回転軸をもとに，可動部を推定する手法について説明する．

　このパーツ分割手法は三軸以上の多軸関節体についても適用可能である．また，パーツ分割手法では，計算量削減のため点群をダウンサンプリングして計算する．ダウンサンプリングは，八分木を用いて階層的に点群を分割し，各ノードの重心をサンプリングすることで行う．八分木の深さは，点群の形状を損ねない程度になるべく浅く設定する．ここでは八分木の深さを8とした．

　3.1項で指定された回転軸とパーツの概形をもとに，回転軸に対して妥当性を保ったパーツ形状を推定する．干渉を考慮するために，パーツは回転軸を含む平面と，回転軸に対して垂直な円柱形に配置されると仮定する．鋏や小箱など回転軸上でパーツが交差する形状では，各パーツは回転軸を含む平面を芯とした形状であると考えられる．それに対して回転軸を回転させる，ハンドルのような形状では，各パーツは回転軸に対して垂直な円柱形内に収まる形状であれば他のパーツと干渉しない．本手法では，回転軸を含む平面と，回転軸に対して垂直な円柱形を検出し，スコアが高かった方の形状をパーツの形状として取得する．

　点群からの形状検出についてはRANSAC (Random Sample Consensus) [15]を用いて推定する．RANSACは，外れ値の影響を受けにくいモデルパラメータの推定手法であり，3DCGの分野では点群に対する形状検出によく用いられるアルゴリズムである．RANSACによる形状検出では，点群からランダムにサンプリングした点を用いて候補形状を決定し，候補形状の妥当性を評価したスコアを比較して最も評価の高い形状を取得する．平面の評価には，ペイントされたパーツの情報を用いたスコアを用いる．

　スコアSは，形状に含まれる該当パーツの点の個数 P correctと，形状に含まれる他パーツの点の個数 P incorrectを用いてS = P correct - λP incorrect と定義する．ここで，λは定数であり，他パーツと干渉するような平面に対してペナルティを与えるための重みである．実装では λ= 5 とした．

　まず，回転軸を含む平面（図 6）については，ランダムにサンプリングした点pと回転軸上の二点から法線ベクトルを計算し，候補平面を取得する．一方で，回転軸に対して垂直な円柱形（図 7）については，ランダムにサンプリングした二点 p₀, p₁ を用い，軸方向に射影した二点の距離から高さを計算し，軸から遠い点の距離を半径とした円柱形を取得する．平面と円柱の候補形状それぞれについて，サンプリングをn回繰り返し，スコアの高い候補形状をパーツの形状として取得する．このようにして得られたパーツ形状を図 8, 9に示す．

　図 10, 11に全点群を各パーツに分類した様子を示す．各パーツの形状に含まれる点群と，ユーザ入力によってペイントされた点群の和集合をとり，各パーツの分類済み点群とする．この分類済み点群から，一定距離以内にある点を分類済みの最近傍点と同一のパーツに分類することを繰り返し，未分類の点群を各パーツに分類する．

図 10　二パーツの分類

図 11　三パーツの分類

3.3. バーチャル操作再現手法

　本項では，回転軸と可動域をもとにハンドトラッキングまたはコントローラで操作可能なHMD上でバーチャル操作を再現する手法について述べる．屋根鋏のような一軸の可動物体と唐箕のような二軸の固定物体に対して，回転軸の制約を満たした操作を再現する．このバーチャル操作再現手法は，二軸までの関節体にのみ適用可能である．図 12, 13に一軸の可動物体と二軸の固定物体に対するバーチャル操作再現の方法を示す．

　まず，一軸の可動物体に対しては，片方の手を物体全体の移動と回転に用い，もう片方の手を回転軸に沿ったパーツの回転に用いる．各手の把持状態を判定し，先に把持した手の位置と姿勢をもとに物体全体の移動回転を操作する．

　次に，二軸の固定物体に対しては，片手で二つのパーツの回転を操作する．二つのパーツの長さと手の位置が分かれば，二つの回転軸と手の位置のなす三角形の三辺の長さが分かり，二つのパーツの回転角を逆算できる．このとき，条件を満たす角度が二つ考えられるが，固定されたパーツに近い可動部の回転方向が一定になる角度を選択する．

　VR環境では，描画負荷を軽減するため，点群をパーツごとにメッシュ化して表現する．点群からメッシュを生成するには，3.1項で説明したポアソンメッシュ再構成を用いるか，フォトグラメトリなどによって得られたメッシュを分割する．

4. 結果

　開発環境として， Apple M1 Pro チップ(10コアCPU，16コアGPU) @2.0GHz, RAM: 32 GB を使用した．回転軸およびペイント操作のUIとVR実装にはUnity2023.1を使用した．また，点群表示にはVisual Effect Graph [17]を用いた．パーツ分割はプログラミング言語としてPython 3.10を，ライブラリはOpen3D 0.18を使用した． HMDは，VRMeta Quest 3 [8]を用い，ハンドトラッキングまたはコントローラでの物体の把持判定には Meta Interaction SDK [11]を用いた．

　実際の道具の文化財から得られた点群に対して本手法を実行した結果を示す．川崎市立日本民家園が所蔵する文化財の屋根鋏と唐箕の多視点画像に対してLumaAI [7]を用いて三次元再構成し，点群とメッシュを得た．図 14に，屋根鋏と唐箕について，入力された回転軸とペイントされた点群，パーツ分割結果とバーチャル操作の様子を示す．

図 14　実測した点群に対する結果

　このように，実測した点群に対して本手法を適用することで，パーツの推定とバーチャル操作の再現ができた．一軸関節体の例として，屋根鋏に対してペイントされたパーツの形状をもとにパーツ分割し，両手での把持に対して回転軸の制約を満たしたバーチャル操作を再現した．二軸関節体の例として，唐箕に対しても三つのパーツに分割し，片手での把持に対して二つの回転軸について制約を満たしたバーチャル操作を再現した．

5. 道具文化財学習アプリケーションへの応用

　本節では，提案手法を文化財学習アプリケーションに応用した事例を示す．

　5.1項では小学校の学習指導要領に基づいた学習目標を紹介し，5.2項で屋根鋏の学習アプリケーション実装，5.3項で唐箕の学習アプリケーション実装，5.4項で小学校3年生の授業における活用事例を紹介する．

5.1. 学習指導要領に基づく学習目標

　文部科学省による学習指導要領 [27]や教育出版による学習指導案 [19]に基づいて，小学校3年生の昔の道具学習単元における学習目標を紹介する．

　学習指導要領 [27]によると，昔の道具についての学習は，小学校3年生の社会科学習のなかで行われる．その4つの学習内容のうち，（4）「市の様子の移り変わりについて」の学習内容にて採り上げられる．「生活の道具などの時期による違いに着目して，市や人々の生活の様子を捉え，それらの変化を考え，表現すること」を学習目標とされている．

　教育出版による学習指導案 [19]では，大単元4「わたしたちの市の歩み」小単元1「かわる道具とくらし」として6時間分の単元が設けられている．昔の道具に対して調べ学習，郷土資料館の見学，インタビューを通して，道具の使い方や昔の人の暮らし，現代に至るまでの道具や暮らしの変化を思考し表現する内容になっている．

　これらの資料から，昔の道具についての学習は，使い方を知り，昔の人々の暮らしや工夫を理解することを目標としていることがわかる．

　本研究では，昔の道具の使い方や昔の人々の工夫を表現する学習アプリケーションを開発し，学習目標を達成するための支援を行う．4節で得られた可動モデルを用いて，昔の道具の使い方や工夫を学習するためのアプリケーションを開発した例を次節以降で示す．

5.2. 屋根鋏の学習アプリケーション

　屋根鋏とは，茅葺き屋根の葺き替え作業において，葺いた後の茅の端を刈り揃えるために用いられる道具である．図 15, 16に屋根鋏の使い方を示す．茅葺き屋根を刈る手順としては，まず屋根面四隅の下端から刈り始め，そのまま棟に向かって刈り進めていく．これによって屋根全体の刈り込みの厚さを決定する．次に棟の両端部を刈り込んで整える．続いて屋根の平面部分を刈り込んでいき，コテなどを用いて茅を叩きながら全体を平らに仕上げる（図 15）．そして最後に軒先や軒端の小口部分を刈り上げる（図 16）．茅葺き屋根は，近世に入ると屋根葺きを専門とする職人に依頼して葺き替えが行われるようになった．屋根葺き職人は足場を取り付けた屋根面に登り，上面を刈る場合は屋根鋏の刃先が屋根面に沿って上を向くように持って刈り揃え，下面の場合は屋根鋏を裏返して刃先が下を向くように持って刈り揃える．

　屋根鋏は，植木用の刈込鋏と同形の柄を両手で持って使う大型の鋏であるが，一般的な刈込鋏よりも刃幅が大きいのが特徴である．柄を持った際に刃先が上向きに反り返るように刃が付けられており，これによって屋根面に手が当たることなく，効率的に刈り込み作業をすることができる．また，刃の大小，反りの大小は地域や用途に応じていくつか種類があり，屋根葺き職人は刈る場所に応じて複数の屋根鋏を使い分けていた．

　屋根鋏で茅葺き屋根を刈り揃える際には，刃先の角度を調整することで綺麗な斜面に刈り込むことができる．先に述べた通り，屋根鋏は刃先と持ち手に角度が付き，植木用の刈り込み鋏に比べて反り上がった形状になっていることが特徴であるが，これは刃先の角度を調整しやすくするための工夫である．このように，屋根鋏は刃先の角度を斜面に合わせて調整するための工夫が込められている．

　そこで本研究では，屋根鋏を屋根の表面に合わせた角度で用いることを学習できるアプリケーションを開発した．

　図 17, 18は，屋根鋏のVR学習アプリケーションのキャプチャである．屋根鋏の刃先の角度と斜面の角度が近い状態で屋根鋏を操作することで，使い方が正しいことを示すエフェクトが表示される．このアプリケーションを用いることで，屋根鋏の角度を斜面に合わせた正しい使い方を学習することができる．

　切る動作をしたかどうかは，各パーツの回転角度が最小回転角度に達したとき，一定以上の速度で操作していたかどうかで判定する．速度の条件を設けることで，操作の力加減をユーザに意識させることができる．

　切る動作を行った際のフィードバックとして，茅の切れ端が飛ぶような視覚効果，茅を切ったような音声，コントローラの振動を用いた．茅の切れ端が飛ぶ様子は，Visual Effect Graph [17]を用いてパーティクルエフェクトを作成し，切る動作をした際にパーティクルが飛び散る様子が表示される．実際に表面の茅の物理演算を行なっているわけではないが，ユーザに操作の作用を感じさせることができる．振動は Meta XR Haptics SDK [9]を用いて実装した．効果音と振動を用いることで，ユーザの過度な操作を防ぎ，バーチャルな物体の位置と現実の手の位置のずれを減らすことができる．

　角度の評価について，屋根鋏の角度は回転軸を法線とした平面を用い，屋根側は斜面に合うような平面を手動で設定して角度を評価する．また，屋根鋏の関節部分から屋根表面の距離を計測し，一定以上の距離がある場合は，屋根鋏が屋根に接触していないと判定し，角度を評価しない．

　屋根の上面を刈るために，ユーザはテレポート機能を用いて屋根に移動する．地上に立っている状態では，現実の景色上に屋根鋏と民家が表示されるようなMR環境であるが，テレポート機能を用いて屋根に移動すると，周囲がバーチャル空間に切り替わる．バーチャル空間にすることで，周りの物体の高度が下がったのではなく，自分の高度が変わったことを実感させやすくなる．

5.3. 唐箕の学習アプリケーション

　唐箕とは，風力を利用して穀物を選別する農具である．稲作における選別工程としては，脱穀後に籾（もみ）に混入する藁くず，ごみ，未熟粒の選別に使用するほか，籾すり後に玄米に混入する籾殻やくず米を除去する際に使用される．図 19, 20に唐箕の使い方を示す．

図 19　唐箕の使い方

図 20　ハンドルを回す様子

　唐箕の内部には数枚の扇板があり，連動するハンドルを回すことで唐箕内部に風を起こすことができる．籾とごみや未熟粒が混在した穀物を唐箕上部から投入し，内部に落下させると，内部の風力によって軽いごみは先の吐き出し口から吹き出される．一方，実のよく入った重い籾とやや軽い未熟粒は，風力を受けながら唐箕内部の選別板にぶつかって落下し，それぞれ別の取り出し口から排出される（図 19）．唐箕のハンドルは，図 20のように，唐箕内部の扇板に接続する棒とその棒に接続して操作者が握る棒の２本から成っており，２つの接合部によって回転運動を起こす．これによって，操作者の最小限の手の動きで大きな扇板が回るように工夫がされている．このように唐箕は，ハンドルを回すことで内部に風が発生しているという仕組みと，ハンドルの回し方の理解が重要である．

　そこで本研究では，唐箕のハンドルを回し，その風力によって内部で起きている現象を学習できるアプリケーションを開発した．

図 21　唐箕の学習アプリケーション

　図 21は，唐箕のVR学習アプリケーションのキャプチャである．唐箕のハンドルを回すことで，内部で風が発生し，籾とゴミが分離される様子を，外の囲いを透明化して観察することができる．

　内部の羽は，外側の囲いによって遮蔽されており，三次元再構成が困難なため，別途 blender [1]を用いてモデルを作成した．羽のモデルは中心の回転軸の回転に同期して回転する．

　3.3項で示したように，二軸関節体のモデルでは，2つのパーツと把持位置の距離から各関節の角度を計算するが，角度が一意に定まらない場合がある．基本的には，前のフレームの関節角度に近い方を採用することで現実的な解を選択できるが，可動関節が0度または180度の位置にある場合，挙動が不安定で操作が困難になる．そこで，ハンドルの回転慣性を再現するために，可動関節が0度または180度の位置から一定の角度以内にある場合は，固定関節は回転速度を維持して回転し，可動関節は把持位置に合わせるような回転位置をとるようにした．

　風によって籾とゴミが分離される様子の再現には，Unity の Visual Effect Graph [17]を用いて風のエフェクトを再現した．籾とゴミにはそれぞれ異なる質量を設定して重力を計算し，ハンドルの回転速度と形状による風の受けやすさを示す定数の積で表される横向きの風力を加えることで，籾とゴミが分離されるようにした．

 F = w ・ s ・k

• F：籾とゴミに加える風力
• w：風速の方向ベクトル
• s： ハンドルの回転速度
• k： 物体の形状による風の受けやすさ．籾とゴミで異なる

5.4 小学校3年生の授業への応用

　2024年11月13日に，慶應義塾大学理工学部（ケ）が木月小学校（キ）で出前授業を実施する「ケーキ☆サイエンス」という取り組みの一環で，川崎市立木月小学校の3年生の授業において，唐箕の学習アプリケーションを用いた授業を行った．以下で授業の内容，アンケート結果，その考察について述べる．

授業の内容

　授業は休憩を含む90分で行い，2クラス合同で合計62名の児童が参加した．講師2名で授業を行い，担任教諭2名が授業の運営に協力した．

　授業構成は以下の通りである．

1. 唐箕の事前知識の確認（アンケート1）

2. 唐箕に関する背景知識の口頭説明

3. 唐箕の学習アプリケーションのデモンストレーション（アンケート2）

4. VR/MRとフォトグラメトリの紹介

　まず，1.唐箕の事前知識の確認では，アンケート1を用いて，唐箕についての事前知識を確認した．5.1項で示した「かわる道具とくらし」の単元における一般的な小学校3年生の理解度を確認するためのアンケートである．その単元では，校内にある昔の道具を集めた資料室を見学し，唐箕を観察したり，教師による説明を受けたりしたと報告されている．

　アンケート1では，唐箕の用途と使い方についての質問を行い，唐箕についての理解度を確認した．アンケートの内容は以下の通りである．

• 何をするもの？
• どうやって使う？

　配布したアンケートの内容と回答例を図 24に示す．

図 24　唐箕の事前知識確認アンケートの内容と回答例

　2.唐箕に関する背景知識の口頭説明では，唐箕についての背景知識として，稲作の工程を口頭で説明した．ここでは，唐箕の説明に用いられる稲，籾，籾殻，藁くず，玄米などの用語を説明した．使い方や仕組みについては口頭で説明せず，アプリケーションのデモンストレーションで説明することとした．解説時に使用した資料を図 25に示す．

図 25　唐箕に関する背景知識の口頭説明資料

　3.唐箕の学習アプリケーションのデモンストレーションでは，唐箕の学習アプリケーションをデモンストレーションした．唐箕の学習アプリケーションで見えている様子をプロジェクタで投影し，ハンドルの回し方や風による籾とゴミの分離の様子を見せながら説明した．当初，児童にHMDを被らせて体験した上で回答を得る予定であったが，HMDの製造者によって示された対象年齢が最も低くて10歳以上とされており，小学校3年生に体験させることができなかったため，プロジェクタで投影した．アプリケーションのデモンストレーション後にアンケート2を実施し，アプリケーションを用いた場合の理解度を確認した．アンケート2の内容は以下の通りである．

• どうやって使う？
• どうやって動く？
• 気づいたこと

　配布したアンケートの内容と回答例を図 26に示す．　

図 26　唐箕の学習アプリケーションデモンストレーション後のアンケートの内容と回答例

　4. VR/MRとフォトグラメトリの紹介では，本アプリケーションに用いた技術であるVR/MRとフォトグラメトリについての説明を行った．このセクションは，道具文化財の学習目的とは直接関係がないが，学習アプリケーションの背景知識として紹介した．まずVR/MRについて，実際には存在しない空間に没入できることや，現実の空間にバーチャルな物体を表示できることを説明し，National Geographic Explore VR [12]を例に挙げてマチュピチュ観光体験の様子を紹介した．次にフォトグラメトリについて，複数の画像から三次元モデルを生成する技術であることを説明し，3Dスキャンアプリケーション，Scaniverse [10]を用いて実際の人物を撮影し，三次元モデルを生成するデモンストレーションを行った．Scaniverseでの担任教諭の3Dモデル作成の様子を図 27に示す．

図 27　Scaniverseでの担任教諭の3Dモデル作成

　授業の様子を以下の図 28, 29に示す．

アンケート結果

　事前のアンケート1では，唐箕の用途と使い方について以下のような回答が代表的だった．

• 何をするもの?（用途）
  • 米の皮をむく
  • お米を綺麗にする
  • もみがらやゴミを米と分ける

• どうやって使う？（使い方）
  • ハンドルを回す
  • 上から籾を入れてハンドルを回す
  • ハンドルを回して中に歯があって，それで削る

　用途については，「米の皮をむく」のような間違った用途の回答があった．61人中35人の回答内容に誤りがあった．また，「お米を綺麗にする」のような抽象的な回答も13人いた．籾殻やゴミと籾を分けるという正解に近い回答は11人だけであった．

　使い方については，「ハンドルを回す」という正解に近い回答が多かった．道具の外見から，上部に三角形の漏斗，中部にハンドル，下部に穴があることから，作用がわからなくてもハンドルを回すことで何かが起こるという理解があることがわかった．内部で起きる現象については，「ハンドルを回して中に歯があって，それで削る」など，用途の誤解が含まれる回答があった．

　唐箕の学習アプリケーションのデモンストレーション後のアンケート2では以下のような回答が代表的だった．

• どうやって使う？（使い方）
  • ハンドルを回す
  • ハンドルを回して稲のゴミとかを飛ばす
  • 上から米を入れてハンドル動かして，ゴミと米を分ける

• どうやって動く？（仕組み）
  • ハンドルが回る
  • ハンドルを回すと中に羽が3−4枚くらい入っていてそれが中で回る
  • ハンドルを回して風を起こして軽いゴミと重い米が分けられる

• 気づいたこと
  • ゴミは風で飛ばしてる
  •  一番左にあるのがゴミ，うしろの方は小さい米，一番前が大きい米
  •  中のところに風車があった
  •  2本のぼうがあることでこしを曲げずに使える

　使い方については，デモンストレーション前から使い方の理解がある程度あったが，「ハンドルを回す」という正解に近い回答が多かった．アンケート1で用途の誤解が含まれる回答をしていた7人のうち，アンケート2では5人が正解に近い回答をした．

　仕組みについては，気付きの自由回答も含めた回答から，風を利用して籾とゴミを分離する仕組みについての理解が深まっていることがわかった．また，内部構造を透過したことによって，内部の羽が回転している様子を観察できたことから，大きな羽が入っていることに対する感想も多く見られた．唐箕の内部構造や動作の仕組みについて正しい理解が広がったと考えられる．

考察

　デモンストレーションを通じて，唐箕の正しい用途と使い方，さらにその仕組みに関する理解が深まったことが分かった．特に，アンケート1では用途について抽象的な表現や誤解が多かったが，アンケート2では具体的かつ正確になった．具体的には以下の点が挙げられる．

• 用途の誤解の改善 

アンケート1で「米の皮をむく」という回答をしていた回答者のうち，アンケート2では「ゴミと米を分ける」という正しい回答に変化した者が多かった．

• 使い方の理解が定着

「ハンドルを回す」という正解に近い回答がアンケート1から継続的に多かったが，デモンストレーションによって二軸のハンドル動作など，動作の理解がさらに具体化された．

• 仕組みへの気づき

羽や風を利用した仕組みへの認識が回答に表れ，「風を起こして軽いゴミと重い米を分ける」などの科学的な理解が進んだ．

6. 結論

　本報告では，文化財の三次元点群データをもとに，ユーザが指定した回転軸とペイントされたパーツの形状をもとに，バーチャル操作を再現する手法を紹介した．回転軸に対して平行または垂直なパーツ形状を検出することで，回転運動に干渉しないパーツ形状を推定した．実際の屋根鋏と唐箕の文化財に対して提案手法を適用し，一軸の可動物体と二軸の固定物体に対してパーツの推定とバーチャル操作の再現ができることを示した．さらに，道具の使い方や文化的背景を理解するための学習アプリケーションを開発し，小学生の授業に活用した際のアンケートから，ユーザがバーチャル操作を通して文化財の理解を深められることを示した．

　提案手法は，文化財の保存活動や教育活動において，操作方法や構造，先人の知恵を伝えるための新たな表現手法として有用である．所蔵資料を活用して遠隔でバーチャル体験型展示を提供したり，博物館展示として実際の古民家などの環境下でバーチャル体験を提供したりなど，さまざまな展開が可能である．これによって，所蔵資料の保存コストが削減されたり，文化財の普及活動が促進されたりすることが期待される．

謝辞

　貴重な現場記録資料を提供してくださった，世田谷区教育委員会 生涯学習課 民家園係に厚く御礼申し上げます．

　本研究結果を活用した授業をさせてくださった川崎市立木月小学校の教職員の皆様，そして，授業に参加し，素直で率直な意見やアイデアをたくさん聞かせてくださった児童の皆様に心より感謝申し上げます．

　XRミートアップにて展示機会を提供してくださった，ワイクウーデザイン　桑山様，現場の実態を踏まえディスカッションしてくださった奈良文化財研究所の皆様をはじめとする参加者の皆様に深く感謝申し上げます．

　本研究の一部は，科研費基盤研究（A）21H04916 の支援により実施された．

参考文献

[1]  Blender Online Community, Blender—A 3D Modelling and Rendering Package, Blender Foundation, http://www.blender.org, 最終参照: 2025-1-31.

[2]  Kedong Chai and Yue Li, "Cultural heritage assets optimization workflow for interactive system development," in 2022 IEEE 46th Annual Computers, Software, and Applications Conference (COMPSAC), pp. 1822–1827, 2022.

[3]  Michael Garland and Paul S. Heckbert, "Surface simplification using quadric error metrics," in Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH '97, pp. 209–216, 1997.

[4]  Michael Kazhdan, Matthew Bolitho, and Hugues Hoppe, "Poisson surface reconstruction," in Proceedings of SGP 2006, pp. 61–70, 2006.

[5]  Kihong Kim, Ohyang Kwon, and Jeongmin Yu, "Evaluation of an HMD-based multisensory virtual museum experience for enhancing sense of presence," IEEE Access, Vol. 11, pp. 100295–100308, 2023.

[6]  Xiaolong Li, He Wang, Li Yi, Leonidas J. Guibas, A. Lynn Abbott, and Shuran Song, "Category-level articulated object pose estimation," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3703–3712, June 2020.

[7]  Luma AI, Inc., Luma AI, 2022, 最終参照: 2025-1-31. [Online]. Available: https://lumalabs.ai/interactive-scenes

[8]  Meta, Inc., Meta Quest 3, 2023, 最終参照: 2025-1-31. [Online]. Available: https://www.meta.com/jp/quest/quest-3/

[9]  Meta, Inc., Meta XR Haptics SDK | Integration | Unity Asset Store, 2024, 最終参照: 2025-1-31. [Online]. Available: https://assetstore.unity.com/packages/tools/integration/meta-xr-haptics-sdk-272446

[10]  Niantic, Inc., Scaniverse - Free 3D Scanner - Gaussian Splatting for iOS and Android, 2024, 最終参照: 2025-1-31. [Online]. Available: https://scaniverse.com/

[11]  Oculus, Meta XR Interaction SDK, 最終参照: 2025-1-31. [Online]. Available: https://developer.oculus.com/documentation/unity/unity-isdk-interaction-sdk-overview/

[12]  Oculus Studios, National Geographic Explore VR on Meta Quest | Quest VR Games | Meta Store, 2019, 最終参照: 2025-1-31. [Online]. Available: https://www.meta.com/ja-jp/experiences/national-geographic-explore-vr/2046607608728563/

[13]  Charles R. Qi, Li Yi, Hao Su, and Leonidas J. Guibas, "PointNet++: Deep hierarchical feature learning on point sets in a metric space," in Proceedings of NIPS'17, pp. 5105–5114, 2017.

[14]  Hafizur Rahaman, Erik Malcolm Champion, and Mafkereseb Kassahun Bekele, "From photo to 3D to mixed reality: A complete workflow for cultural heritage visualisation and experience," Digital Applicaions in Archaeology and Cultural Heritage, Vol. 13, p. 102, 2019.

[15]  Ruwen Schnabel, Roland Wahl, and Reinhard Klein, "Efficient RANSAC for point-cloud shape detection," Computer Graphics Forum, Vol. 26, No. 2, pp. 214–226, 2007.

[16]  Sakura Shinji and Issei Fujishiro, "Virtual manipulation of cultural assets: An initial case study with single-joint articulated models," in ACM SIGGRAPH 2023 Posters, SIGGRAPH '23, Article No. 26, 2023.

[17]  Unity Technologies, Visual Effect Graph, 2023, 最終参照: 2025-1-31. [Online]. Available: https://docs.unity3d.com/ja/2021.3/Manual/VFXGraph.html

[18]  川崎市, 川崎市立日本民家園, 2022, 最終参照: 2025-1-31. [Online]. Available: https://www.nihonminkaen.jp/

[19]  教育出版, 令和６年度版『小学社会』 年間指導計画・評価計画（案） - 教育出版, 最終参照: 2025-1-31. [Online]. Available: https://www.kyoiku-shuppan.co.jp/textbook/shou/shakai/document/ducu1/r6plan.html

[20]  岩井宏實, 絵引　民具の事典, 2008, 河出書房.

[21]  進士 さくら，藤代 一成，"三次元点群からの回転関節をもつ民具文化財のバーチャル操作再現"， 芸術科学会 NICOGRAPH2024 予稿集，pp. F6:1–F6:8，2024．

[22] 世田谷区教育委員会社会教育部管理課民家園係, 【企画展】 一民家を造る職人一 茅葺き師, 1993, 世田谷区教育委員会.

[23]  日本民具学会, 日本民具辞典, 1997, ぎょうせい.

[24]  日本民俗建築学会, 図説　民俗建築大事典, 2001, 柏書房.

[25]  野口 淳, "デジタルアーカイブス時代の文化財3次元計測," 日本画像学会誌, Vol. 62, No. 1, pp. 68–72, 2023.

[26]  文化財活用センター-ぶんかつ, 東京国立博物館創立150年特別企画 未来の博物館, 2022, 最終参照: 2025-1-31. [Online]. Available: https://cpcp.nich.go.jp/

[27]  文部科学省, 小学校学習指導要領解説：文部科学省, 最終参照: 2025-1-31. [Online]. Available: https://www.mext.go.jp/a_menu/shotou/new-cs/1387014.htm