Microsoft HoloLens 2 によるMR活用のトレーニングツールの導入事例

日本メドトロニック株式会社様

背景

器械出し看護師のための教材がなかった

メドトロニックソファモアダネック株式会社 CST-SPINE East Region Sr Clinical Specialist
三浦 里美 氏

世界的な医療機器メーカーの日本法人として、東京品川に本社を置くメドトロニックは「人々の痛みをやわらげ、健康を回復し、生命を延ばす」を社員全員のミッションに、国内の医療施設に向けて製品を提供している企業です。

同社が長年頭を悩ませていたのは、手術室で医師に器具を渡す器械出し看護師のためのトレーニングコンテンツがないことでした。

「例えば、整形外科領域で使用される脊椎インストゥルメントやインプラントにおける手技を解説する手技書は医師向けとしてありますが、手術室の器械出し看護師向けに特化したトレーニングコンテンツがありませんでした。そのため、当社の担当セールスが医療施設を訪問し、各施設で行われている手技や手順に沿って個別に製品の組み立て方や使用方法をレクチャーしていました」（三浦氏）

医療機器の使い方に慣れることは業務遂行に不可欠ではあるものの、看護師にとっては労働時間増加の要因ともなっていました。

「医療施設にもよるのですが、看護師を集めての勉強会は、業務時間外に行われるのが一般的でした。手術に使用される器具にはさまざまな部品があり、使用方法も特殊です。それらに習熟しなければならない看護師にかかる負荷を少しでも軽減したいと思っていました」（長谷川氏）

取り組み

熟練看護師の目線を HoloLens 2 で記録・再生

日本メドトロニック株式会社 CST Training & Education Sr Training/Education Specialist
長谷川 佳苗 氏

そこで同社がめざしたのは、ゲーム実況動画のように、熟練看護師の目線をトレーニングコンテンツとして使用することでした。

「器械出し看護師には、的確かつ素早い器具の組み立てと操作が求められます。さらに、医師へ差し出すタイミングも正確でなければなりません。熟練した器械出し看護師は、手術を行っている部分である術野だけでなく、周りにいる手術室スタッフの動作を見て、先を見越した動作をしています。その目線の動きを学ぶことができればよいのではないかと思いつきました」（三浦氏）

この構想を2020年の社内アイデアコンテストで提案、入賞したのを機に、最新のアイトラッキング技術でアイデアを具現化することにしました。

機能要件として同社が設定したのは、「アイトラッキング機能」「ハンズフリーの操作性」「簡便な操作画面」の3点です。非機能要件としては「オフライン対応」「長時間の録画能力」を求めました。

「これらの条件を満たすデバイスとして、さまざまなアプリが使える HoloLens 2 を選びました。 HoloLens 2 のアイトラッキング機能を使ったアプリケーション開発を提案してくれたのは当時、日立ソリューションズであり、実現したいことに対して熱心に対応してくれたことから同社へ開発を依頼しました」（長谷川氏）

システム構築は2021年4月にスタート。メドトロニックが設定した仕様に基づき、日立ソリューションズグループが HoloLens 2 のシステム構築を担当しました。

効果

医療現場での教育時間約20%削減を見込む

HoloLens 2 のMR（複合現実）技術をベースとした器械出し看護師向けトレーニングコンテンツ制作システムは、2022年3月に完成。メドトロニックはこのシステムに「HoloMe」（ホロミー）と名付け、同4月からメドトロニック イノベーションセンターで脊椎インプラント用のトレーニングコンテンツ制作に使い始めました。

システムは HoloLens 2 の操作になじみがなくても直感的に使えるように設計されています。例えば、熟練看護師が HoloLens 2 をかぶって脊椎インプラントの準備の際に、音声コマンドで記録開始・終了のタイミングを指示するだけ、とシンプルです。 HoloLens 2 に取り込まれた目線データは動画（MP4形式）として保存でき、 HoloLens 2 やPCで再生できます。

「トレーニングコンテンツ制作の仕組みができあがったことで、プロジェクトの第1段階の目的は達成できたと考えています」（長谷川氏）

今後、医療現場での活用が広がれば、器械出し看護師の教育に要する時間を20%程度削減できる見込みです。

「制作に参加した看護師からは『ヘッドセット（ HoloLens 2 ）は軽くて動作もしやすい』『教育する側にとっても、新たな気付きがあったり、教え方を見直す機会になる』といったコメントが寄せられており、満足度も高いようです」（三浦氏）

展望

対象分野と機器を拡大し分析も拡充予定

最初にできあがった脊椎インプラント用のトレーニングコンテンツに続き、メドトロニックはほかの製品についてもHoloMeで器械出し看護師向けのトレーニングコンテンツを作ろうと考えています。習得でつまずきやすい場面を検出したり、患者の個人情報を保護したりするための機能拡張も検討中です。日立ソリューションズグループから提供されるAIを使ったソリューションや匿名化技術を活用して、動作解析や、画像・音声をマスキング加工する仕組みを、今後追加することも検討しています。

「日立ソリューションズに、医療現場がどのような環境であるかを説明したところ、すぐに理解してくれて、的確なアドバイスや提案をくれました。とても頼りになる存在です」（三浦氏）

プロジェクトを進める中ではメドトロニックのグローバルチームとの打ち合わせもありましたが、そういった場面でも日立ソリューションズの対応力は信頼できたということで、「日本と時差がある地域のミーティングにも対応してくれて、感謝しています」と長谷川氏は振り返ります。

医療の世界でも、ITは競争力の源泉となる重要なファクターです。日立ソリューションズはこれからも、さまざまな製品・サービスを駆使して、医療機器メーカーを支援してまいります。

MR技術を使って看護師の目線を可視化

• Microsoft HoloLens 2 のアイトラッキング機能を使って、本来見えない熟練看護師の目線を空間上に可視化。可視化した目線を手術の進行とともに録画することで、注視する長さや、ある点から別の点へ目線が移動するタイミングまでもが手術の流れとともに再現可能
• 音声コマンドの指示により両手がふさがっていてもHoloMeの操作が可能
• 医療機器との兼ね合いで電波の利用が限られる場所でもオフラインで利用可能

左図：視覚を追跡するアイトラッキングの機能を設定している様子
右図：熟練看護師の目線が、緑のマークとして投影されている様子