IRTが拓く超臨場感遠隔協働環境の研究 | 多地点で臓器に触れ、互いに反動を感じる超臨場感遠隔手術訓練

臨場感通信を用いた手術訓練システムを開発したい

共同研究者:総合理工学院・情報理工学部メディア情報学科 田中 覚 教授

遠く離れた複数の場所で同じ仮想空間を共有し、互いにあたかもその場にいるようなリアルなコミュニケーションを実現する。コンピュータの高性能化やネットワークの高速化、触覚デバイスの実用化などによって、そんな臨場感通信が現実のものとなりつつある今、研究開発にも多大な関心が注がれるようになっています。

中でも私たちのプロジェクトでは、この技術を医療分野に応用し、医師が手術や治療の技術を高めるためのトレーニングや遠隔地医療に役立て、高度医療の実現に貢献することを目指しています。特に近年は、患者の心身に負担の少ない内視鏡下での低侵襲手術へのニーズが高まっています。従来の開腹手術とは異なり、モニタを見ながら鉗子で緻密な操作を行うといった高度な手術が求められるようになっているのです。私たちの研究によって、こうした高度な技術をどこにいても習得することが可能になります。

2005年に総務省の戦略的情報通信研究開発推進制度、また、2007年には独立行政法人情報通信研究機構(NECT)の「革新的な三次元映像技術による臨場感コミュニケーション技術の研究開発」の委託研究に採択されるなど、成果への期待も高まっています。

肉感まで再現するシミュレーションモデルを開発しました

本プロジェクトでは、これまで誰にも解決できなかったいくつもの難題を克服してきました。一つ目は、柔らかさや肉感のある非一様柔軟物のモデリングとシミュレーションの技術を開発したことです。コンピュータ上の仮想空間にある物を「見る」のみならず「触れる」ことのできるハプティクス(触覚)デバイスは、すでに実用化段階に入っています。また、CTやMRIの普及によって3次元の形状データを取得することも容易になりました。しかしながら、たとえば皮膚を引っ張ったり押したりした時の肉感的な感覚をもシミュレーションで再現するには、弾性・塑性・粘性といった力学的な変形特性と内部構造を把握し、「中身の詰まった」忠実なボリュームモデルを再現する、という大きな課題が残されていました。

私たちは、多様な物性をもつ柔軟物に対し、適応的に四面体の格子を生成する手法を世界で初めて開発しました。メッシュ(格子)状で四面体を表し、物体の変形に応じて歪んだ各格子の容量を計算し、変形具合を算出することでメッシュ構造を動的に適応させる、というものです。変形の大きな箇所ではメッシュを細かくし、一方、変形の小さな箇所では四面体を粗くするといった、適応的メッシュ法を採用。四面体を二分割、再統合するオンラインリメッシュ法により、変形した部分だけを局所的に修正・再現することで、計算コストを減らしながら高速でシミュレーションの精度を保つことに成功しました。“Dynamic Deformable Adaptive Grid”と名づけたこの変形モデルを実際にGPU を用いて計算したところ、CPUに対して100倍以上の高速化を確認できました。

多地点で触覚を共有するシステムを構築しました

二つ目の成果は、多地点での遠隔触覚協働環境を構築したことです。柔軟物の変形情報などの医療情報はデータ量が膨大で、リアルタイムの通信には大容量のコンピュータと通信システムを要します。

遠隔協働型一対多低侵襲手術訓練システムの構築 複数の被訓練医を同時・平行に指導する

私たちはあらかじめ同一の変形モデルをインストールしておき、操作パラメータだけを交信することで、同じシミュレーションを高速に行うことを可能にしました。さらに、多地点のコンピュータの計算能力の違いによって同時性を保てなくなる危険性も考慮に入れ、操作パラメータにタイムスタンプをつけることで、同一時刻に各地点の変形を一致させるよう改良を加えました。実際に、東京、京都、大阪の3地点間で遠隔協働実験を行い、各拠点間での変形の誤差は最大でも0.6mm程度であることを確認しました。

これにより、一般的な性能のコンピュータを使って、複数の地点にいる人が同じ臓器に触れ、たとえば誰かが肉塊をつついて凹ませれば、他の全員にその反動が伝わるといったことができるわけです。

複数臓器の半透明可視化

さらに次なるチャレンジとして、田中覚研究室が医療用のボリュームデータの半透明可視化に取り組んでいます。一般に3次元のボリュームデータを可視化するには、物体の「面」に関する情報を計算して画像に再現する「サーフェスレンダリング」や、物体内部を直接可視化する「ボリュームレンダリング」といった手法がありますが、これらの手法では、視線の変化に応じて大量のポリゴンやサンプル点群を並べ替えなければなりません。私たちは、こうした並べ替えをせずに可視化が可能な手法として、物体の「点」の集合を計算する「ポイントベースレンダリング」を採用。不透明な発光粒子群を画像に投影させることにより、半透明の等値面描画を実現し、胃や肝臓、胆のう、腎臓などの人体臓器における、立体感があり視認性の高い半透明可視化に成功しました。シミュレータに実装すれば、実際の体内では他の臓器などに隠れて見えにくい臓器も視認することができるようになります。

これらの開発してきた要素技術を統合し、現在、ネットワーク型の手術訓練システムのプロトタイプが完成しています。今後5年間で、実際の医療現場に導入可能なレベルにまでブラッシュアップし、実用化を目指します。現在、協力企業による製品開発が進められており、従来のシミュレータに比べて安価に製品化を実現できる見通しです。また、滋賀医科大学の協力のもと、琵琶湖を挟んだ遠隔多地点でのシミュレーションによる教育プログラムの構築も進められつつあります。近い将来、医療現場において革新的な教育が始まるという夢も現実味を帯びてきました。

Quarterly Report vol.04 2011年1月5日

田中弘美 教授

田中弘美 教授

1975年 お茶の水女子大学理学部物理学科卒業。'81年 アメリカ・ロチェスター大学大学院計算科学科マスターコース修了。'88年 大阪大学大学院基礎工学研究科制御工学専攻後期課程修了。工学博士。'75年 (株)富士通勤務。'88年 ATR通信システム研究所客員研究員。'94年 立命館大学理工学部教授。'04年 情報理工学部教授、現在に至る。電子情報通信学会、 情報処理学会、人工知能学会、ロボット学会、芸術科学会、ヒューマンインタフェース学会、IEEE、 Eurographicsに所属。'02年 情報技術委員会委員(文部科学省)、'06年 日本学術会議情報学委員会連携会員。

研究者の詳しいプロフィール
立命館大学研究者データベース:田中弘美
Computer Vision Lab.

このプロジェクトに関連する記事

研究成果一覧へ戻る