VR（Virtual Reality:仮想現実）やMR（Mixed Reality:複合現実）の技術によって、現実とまったく同じ世界を仮想空間に再現し、あたかも実際にその場にいるかのようにリアルに体感することが可能になった。だがVR/MR空間で感じていることは、果たして本当に現実世界と同じなのだろうか？

「VR/MR空間で得られる感覚は、現実世界で実際に体が感じているものと必ずしも同じではありません」と木村朝子は明かす。例えばプラスチック製のハンドルに、仮想と現実を融合するMR技術で重厚感のある革製のハンドルの映像を重ねると、それを握った人はプラスチックの触感しか感じないのだろうか？このような疑問から木村は、VR/MR空間で視覚情報が変わると、触知覚にどのような影響を及ぼすのかに関心を持った。そこで、仮想空間を構築して知覚実験を行い、さまざまな影響について確認している。その一つに、硬さに対する知覚が視覚刺激によってどのように変化するかを探った研究がある。

被験者の前に同じ実物体を2つ置き、それぞれを指で押して硬さを比べさせる。一方にはMRでCG映像を重ね、指で押すと物体が実物よりも凹んで見えるようにした。「すると実物体の硬さは同じであるにもかかわらず、MRで凹んだCG映像を重ねた方の物体は、より柔らかく感じることがわかりました。しかもCG映像の凹みを大きくするほど、『柔らかい』という感覚も大きくなる傾向が見られました」

また別の実験では、同じ実物体に大きい物体のCG映像を重ねた場合と、小さい物体のCG映像を重ねた場合を比べたところ、大きい物体を重ねた場合の方がより重心を遠くに（実物体よりもCG映像の方の重心により近い位置に）感じるということもわかった。

他に重さに関する知覚実験でも、視覚刺激によって興味深い錯覚が起こることを確かめている。被験者に取っ手のついた箱を持たせ、箱にMRで液体が入っているような映像を重ねて、重さの感覚を調べた。「まず重畳描画する液体の量を変えると、実際の重さは同じでも、水面位置が高い（水量が多い）ほど重く、低い（水量が少ない）ほど軽く感じる傾向がありました。また映像の水面が揺れている場合と、揺れていない場合を比較すると、水面が揺れている方が軽いと感じることもわかりました。つまり視覚的に『水の揺れ』を表現すると、被験者は重心が移動していると錯覚し、実物体をより軽く知覚する傾向があるようです」

実験結果を見ると、人間がいかに視覚に惑わされ、思い込みで現実を見誤っているかがわかる。「これまでのVRやMRは、現実世界をいかにリアルに再現できるかを追求してきました。けれど人間の感覚はそれほど現実に忠実ではありません。ゲームやアトラクションでも、VR/MRのクオリティを高めるだけでなく、視覚や聴覚、触覚などの刺激を融合することで、より豊かな体験を実現することが可能になります」

こうした錯覚は現実世界でも起こるが、最近、VR/MR空間で現実世界とは異なるパターンの錯覚が起こることがわかってきたという。それはなぜ、どのような要因で起こるのか。木村はそれを突き止める研究にも取り組もうとしている。

一方で木村は、視覚や聴覚、触覚といった感覚をどのように活用すれば、よりスムーズに操作できるのか、VR/MR空間でのユーザインタフェース（UI）についても研究している。「マウスやキーボードを使ってパソコンに入力したり、スマホを指で操作したり、現実の世界では手を使って機器を操作するのが一般的ですが、全身を活用できるVR/MR空間では、手や指だけでなく、あらゆる部位を使った入力方法があり得ます」。その一つとして考えられるのが、「足の動き（フットジェスチャ）」だ。「フットジェスチャをコマンドにできれば、両手を自由に使えるという利点があります。しかしVR空間でどのようなフットジェスチャがどのような操作に適しているかについては、これまであまり検討されてきませんでした」。そこで木村は、さまざまなフットジェスチャについてUIとしての特性を検討した。

かかとを軸につま先を上下左右に回転させる、反対につま先を軸にかかとを上下左右に回転させる、あるいは足を前に踏み出す、前後左右にスライドする、膝を上下させるなど、フットジェスチャのパターンを分類。VR空間で、各々のジェスチャをコマンドとしてオン/オフや値変更などの入力操作を行い、操作性を比較検討した。「例えば、かかとを軸にしてつま先を上下するフットジェスチャはオン/オフのコマンドとして分かりやすいですが、入力を繰り返す必要がある場合には疲れやすいなど、タスクによって適した操作方法を分類しました」

さらには各フットジェスチャにそれぞれ異なるコマンドを割り当て、VR空間を移動して目的地までたどり着く実験を実施。さまざまなジェスチャを組み合わせた時の操作性も検討した。「VR/MRの活用は、ゲームや遊びの要素を多分に含んでいます。単に効率や簡単さを追求することだけが重要というわけではありません。肉体的にはしんどいけれど、やってみると爽快だったり、楽しい操作というのもあります。目的によってどのようなジェスチャが適しているかを判断できるガイドラインの構築につなげていきたい」と、今後を見据えている。