砲丸投げの選手が、雄叫びを上げながら鉄球を投げる。あの力強い叫び声は、決して無意味なものではない。大きな声を出すと大きな力を出しやすいことは、スポーツ心理学の分野で報告されている。人間の知覚・認知システムは身体と不思議な関わりがあるのだ。

永井聖剛は、知覚・認知といった人間の情報処理システムが身体や運動、感情、あるいは他者とのコミュニケーションによってどのように変容するのかに関心を抱いている。自閉症傾向と足踏み同期の強さとの関連を示した研究もその一つだ。「気づかないうちに一緒に歩く人の足運びに自分の歩みを合わせてしまったことはないでしょうか。対人間では無意識・無自覚に動作や感情が伝播（ミミクリ）し、同期することが知られています。ところが自閉症的傾向が高い人はこの『足踏み同期』がほとんど生じません」と言う。また永井は、動作の大小が創造的な思考に与える影響を検証し、大きな動作を行うと拡散的な創造性が高まることも明らかにしている。その他にも大きな物体を見たり大きな刺激を受けると大きな力が生じることや、大きな声を出すと動作が大きくなることなど、知覚・認知と筋反応や発声などの身体運動とのさまざまな関わりを指摘してきた。

その中でも近年注目するのが、「聴覚」だ。最近の研究では、永井のもとで学ぶ鈴木悠介と共に、感覚情報と発声特徴の関連を検討している。「異なる感覚刺激に対する直感的（非恣意的）な対応や結びつきは感覚間対応と呼ばれ、これまでも多くの研究がなされていて、聴覚刺激におけるピッチ（音の高低）についても多様な刺激との対応が指摘されています。しかし、動作として行われる発声特徴に焦点を当てた研究はほとんどありません」と鈴木は説明する。永井・鈴木は実験を行い、空間における物体の位置の高低と、発声のピッチに対応が見られるかを調べた。

実験参加者にディスプレイ内の高い位置に物体が映し出された時には高音を、低い位置に映された時には低音を発声させる。あるいは逆に、高位置に物体が映された時に低音を、低位置に物体が映ると高音を発声させる。「それぞれの場合で参加者の反応時間を比較した結果、高／低位置－高／低音のように空間位置とピッチが一致する場合の方が、不一致の場合よりも反応時間が短く、空間的な高低と発声ピッチにおける高低が同様に扱われていることを明らかにしました」と鈴木。空間位置の知覚からピッチを生成するという運動反応においても、先行研究と同様に知覚と運動が相互に影響し、情報処理を行うことが示されたという。

また鈴木は、物体が空間内を下から上へ、あるいは上から下へと動く場合も検証。前者は高音、後者は低音を発声しやすいことを見出した。「これらの知見は、発声困難者に対するボイストレーニングや、カラオケなどのアミューズメント分野への活用が考えられます」と永井は応用可能性を語る。

永井のもとで視聴覚的な三次元空間の知覚について研究する山崎大暉も、「身体周辺の音でモノの見え方が変わる」という興味深い成果を発表している。

その一つが、自分に向かって接近する音を聞きながら身体前方の物体を見ると、物体がより大きく見えることを明らかにした研究だ。「おもしろいのは、物体の位置と音が近づいてくる方向が同じ時にしかこの知覚はなされないことです」と山崎。接近物体は自身に危害を与える可能性があり、もしかしたらこのような視聴覚刺激の統合処理は、防御機能を持ったユニークなシステムなのかもしれない。

視覚と聴覚が互いに影響し合っているとはいえ、空間知覚において聴覚より視覚が圧倒的に有利であることは想像に難くない。ところが山崎は、視覚が制限された環境を利用することで、逆に聴覚が視覚による空間の知覚に重要な役割を果たすことを実証し、大きな驚きを与えた。

実験では、まず参加者の耳の穴にマイクを設置するバイノーラル録音という方法を用いてさまざまな距離で鳴らされる音を録音し、音から得られる空間情報の精度を高めることから始めた。この方法で録音された音を聞かせると、参加者は「この音の距離は50cm」、「この音なら100cm」という具合いに音から距離を言い当てられるようになる。次に参加者は視覚が制限される暗闇の実験室に置かれ、見かけの大きさは分かるが距離は分からない物体を観察した。通常は同じ大きさの物体でも近くにあれば大きく、遠くにあれば小さく見えるので、見え方の大小で距離を推測できるが、この環境ではそれができない。そこで先に録音した物体との距離が分かる音を聞かせると、参加者は音の距離に応じて見かけの大きさから物体の大きさを正確に推定することができた。

「この実験によって、曖昧な視環境においては視覚よりも空間処理に弱い聴覚が三次元空間知覚を補うことが明らかになりました」と山崎。「自分を取り囲む三次元空間を安定して知覚するために、人は視覚と聴覚を相補的に用いています。しかも空間での身体と刺激の関係によって、脳は異なる視聴覚情報処理の戦略を取っていると考えられます」と解説した。

さらに永井らは、視聴覚情報統合に基づく空間処理の個人差にも関心を広げている。「例えば自閉症者は独特の視聴覚情報処理を行っていることが知られます。自閉症者に特有のコミュニケーション様式が彼らの視聴覚統合スタイルに密接に関わることを、我々は前例のない新たな方法で示そうとしています」。永井らの研究によってどのような視界が広がるのか、可能性に期待が募る。