JP-2026077064-A - 可視化プログラム、可視化装置、及び可視化方法

JP2026077064AJP 2026077064 AJP2026077064 AJP 2026077064AJP-2026077064-A

Abstract

【課題】材料の内部組織に関する情報を効率的にユーザに提示すること。【解決手段】ユーザの動作を取得することと、取得した前記動作に応じた視野に材料の内部組織に関する情報を立体視で可視化したＶＲ画像を生成することと、前記ＶＲ画像を表示装置に表示させることと、をコンピュータに実行させるための可視化プログラムによる。【選択図】図１

Inventors

松岡佑亮
小山敏幸
阿部太一
大出真知子

Assignees

国立研究開発法人物質・材料研究機構

Dates

Publication Date: 20260513
Application Date: 20241025

Claims (20)

ユーザの動作を取得することと、取得した前記動作に応じた視野に材料の内部組織に関する情報を立体視で可視化したＶＲ画像を生成することと、前記ＶＲ画像を表示装置に表示させることと、をコンピュータに実行させるための可視化プログラム。
前記情報は、前記材料の前記内部組織に関する予測又は実験の結果を含む、請求項１に記載の可視化プログラム。
前記コンピュータに、前記予測を行うシミュレーションプログラムを更に実行させ、前記情報は、前記シミュレーションプログラムの実行結果を示す情報である、請求項２に記載の可視化プログラム。
前記コンピュータに、前記シミュレーションプログラムをリアルタイムで実行させる、請求項３に記載の可視化プログラム。
前記コンピュータに、前記シミュレーションプログラムの実行を一時停止させる、請求項４に記載の可視化プログラム。
前記情報は、前記コンピュータとは異なる他のコンピュータが生成した情報である、請求項２に記載の可視化プログラム。
前記コンピュータに、前記予測では行われていない追加計算を行うことと、前記ＶＲ画像を生成することにおいて、前記追加計算の結果を前記ＶＲ画像に重ねることと、を更に実行させるための請求項２に記載の可視化プログラム。
前記予測は、前記材料の状態図の予測であり、前記追加計算は、前記状態図における連結線を特定する計算である、請求項７に記載の可視化プログラム。
前記コンピュータに、前記ユーザの入力操作を受け付けることを更に実行させ、前記追加計算を行うことは、前記入力操作を受け付けたときに行われる、請求項７又は８に記載の可視化プログラム。
前記入力操作は、操作入力装置に対する操作であり、前記コンピュータに、前記ＶＲ画像において操作入力装置が指し示している点の位置に基づいて前記追加計算を行わせる、請求項９に記載の可視化プログラム。
前記コンピュータに、前記予測を行う複数のシミュレーションプログラムのいずれかの選択、又は複数の前記実験の結果のいずれかの選択をユーザに促す選択画面を生成することを更に実行させる、請求項２に記載の可視化プログラム。
前記予測は、前記材料における場に関する予測であり、前記ＶＲ画像を生成することにおいて、前記場を可視化した前記ＶＲ画像を生成する、請求項２に記載の可視化プログラム。
前記ＶＲ画像を生成することにおいて、前記場の等値面又は断面を可視化した前記ＶＲ画像を生成する、請求項１２に記載の可視化プログラム。
前記場は、相場、濃度場、温度場、磁場、電場、速度場、応力場、ひずみ場、エネルギ場、ポテンシャル場、及び規則度場のいずれかである、請求項１２又は請求項１３に記載の可視化プログラム。
前記予測は、前記材料の内部組織に関する数値計算である、請求項２に記載の可視化プログラム。
前記数値計算は、ＣＡＬＰＨＡＤ法、フェーズフィールド法、密度汎関数法、分子軌道法、ＧＷ法、ハートリー－フォック法、及び分子動力学法のいずれかである、請求項１５に記載の可視化プログラム。
前記表示装置はヘッドマウントディスプレイである、請求項１乃至請求項１６のいずれか１項に記載の可視化プログラム。
前記動作を取得することは、前記ユーザの位置と姿勢とを示す信号を前記ヘッドマウントディスプレイから取得することにより行われる、請求項１７に記載の可視化プログラム。
ユーザの動作を取得する取得部と、取得した前記動作に応じた視野に材料の内部組織に関する情報を立体視で可視化したＶＲ画像を生成するＶＲ画像生成部と、前記ＶＲ画像を表示装置に表示させる表示制御部と、を有する可視化装置。
ユーザの動作を取得することと、取得した前記動作に応じた視野に材料の内部組織に関する情報を立体視で可視化したＶＲ画像を生成することと、前記ＶＲ画像を表示装置に表示させることと、をコンピュータが実行する可視化方法。

Description

本発明は、可視化プログラム、可視化装置、及び可視化方法に関する。コンピュータの性能向上に伴い、様々なモデルや方程式を数値的に解いた結果を新規材料の設計に役立てることが行われつつある。例えば、ある材料の計算状態図によりユーザはその材料の知見を視覚的に得ることができる。更に、材料分野では、材料の内部組織に関するシミュレーション結果を可視化することで、ユーザは数値のままでは把握ができないようなデータの傾向、異常値、及び相関関係等の重要な知見を把握することができる。これについては実験結果でも同様であり、実験値を可視化することでユーザは直観的に結果を理解し、数値のみでは見落としがちな知見を得ることができる。しかしながら、液晶ディスプレイ等の平面型の表示装置にシミュレーション結果や実験結果を表示し、平面内のみで結果を可視化したのでは、表示できる情報が限られてしまうため、結果に含まれる重要な情報をユーザが見落とす可能性がある。分子構造を立体的に表示する技術はあるが（特許文献１、２）、これらの技術は専ら分子構造を表示するに留まり、金属、絶縁体、及び半導体等の種々の材料の内部組織に関する予測を行うことはできない。特開２０２３－０５４６０３号公報特開２０２１－１４０７０１号公報図１は、本実施形態に係る可視化システムの全体構成図である。図２（ａ）はコントローラの正面図であり、図２（ｂ）はコントローラの側面図である。図３は、本実施形態においてＶＲ画像として状態図を採用した場合の例である。図４は、本実施形態において図３の状態図に追加計算を行った場合のＶＲ画像の例である。図５は、本実施形態においてＡボタンの押下によって拡大されたＶＲ画像の例である。図６は、本実施形態において図５のように拡大された状態図に追加計算を行った場合のＶＲ画像の例である。図７は、本実施形態においてＶＲ画像として濃度場を採用した場合の例である。図８は、図７よりも後の時刻におけるＶＲ画像の例である。図９は、図８よりも後の時刻におけるＶＲ画像の例である。図１０は、本実施形態においてマルテンサイト変態を起こしている鉄鋼内部の組織及び応力場をＶＲ画像として採用した例である。図１１は、ＭｇがドープされたＧａＮ試料の３次元アトムプローブデータをＶＲ画像として生成した例である。図１２は、図１１の状態から視点をＧａＮ試料の内部に移動させた場合のＶＲ画像の例である。図１３は、ネオジム磁石のＦＩＢ／ＳＥＭトモグラフィーデータをＶＲ画像として生成した例である。図１４は、図１３の状態から視点を試料の内部に移動させた場合のＶＲ画像の例（その１）である。図１５は、図１３の状態から視点を試料の内部に移動させた場合のＶＲ画像の例（その２）である。図１６は、本実施形態に係る可視化装置の機能構成図の一例である。図１７は、本実施形態に係る表示情報のデータ構造の一例を示す模式図である。図１８（ａ）～（ｄ）は、本実施形態において第１～第３座標と属性値との関連付けの例について説明するための模式図である。図１９は、本実施形態に係る選択画面の一例である。図２０は、本実施形態においてポインタが合わせられた場合の選択画面の一例である。図２１は、本実施形態に係る可視化装置が行う処理の一例を示すフローチャート（その１）である。図２２は、本実施形態に係る可視化装置が行う処理の一例を示すフローチャート（その２）である。図２３は、本実施形態に係る可視化装置が行う処理の一例を示すフローチャート（その３）である。図２４は、本実施形態に係る可視化装置が行う処理の一例を示すフローチャート（その４）である。図２５は、本実施形態に係る可視化装置のハードウェア構成図の一例である。（本実施形態）以下、図面を参照しながら本発明の実施の形態を説明する。なお、同様の要素には同様の符号を付し、その説明を省略する。図１は、本実施形態に係る可視化システムの全体構成図である。図１に示すように、可視化システム１は、可視化装置２、ＨＭＤ（ヘッドマウントディスプレイ）３、及びコントローラ４を備える。可視化装置２は、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）等のコンピュータであって、材料の内部組織に関する情報を可視化したＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）画像５を生成し、それをＨＭＤ３に表示させる制御を行う。可視化対象の材料は特に限定されないが、例えば金属、半導体、及び磁性体等の周期系の固体がある。また、以下では、ＶＲ画像５が投影される仮想的な三次元空間を仮想空間と呼び、ユーザＵが存在する現実の三次元空間を実空間と呼ぶ。可視化装置２は、左目用と右目用の二つのＶＲ画像５を視差が生じるように生成するが、特に断らない限り、以下のＶＲ画像５は左目用と右目用のどちらでもよい。また、ＶＲ画像５に表示する情報は特に限定されない。例えば、材料内部における相場、濃度場、温度場、磁場、電場、速度場、応力場、ひずみ場、エネルギ場、ポテンシャル場、及び規則度場等の種々の場の等値面や断面をＶＲ画像５としてもよいし、３元系や４元系等の複数の元素からなる材料の状態図をＶＲ画像５としてもよい。ＨＭＤ３は、表示装置の一例であって、ユーザＵの頭部に装着するウェアラブルデバイスである。ＨＭＤ３は、視差のある左目用と右目用の各ＶＲ画像５を表示する機能を有する。これにより、ユーザは、仮想空間内でＶＲ画像５を立体視することができる。ＨＭＤにはゴーグル型、ヘルメット型、眼鏡型等の様々な形態があるが、いずれをＨＭＤ３として用いてもよい。ＨＭＤ３にはユーザＵの動作を取得するためのジャイロセンサ、加速度センサ、及び複数のカメラ（不図示）の各デバイスが内蔵される。ジャイロセンサは、ユーザＵの頭部の方向を検知するセンサである。また、加速度センサは、ユーザＵの水平方向の加速度を検知するセンサである。複数のカメラは、ＨＭＤ３の周囲の画像を撮像するデバイスである。ＨＭＤ３には、ジャイロセンサ、加速度センサ、及びカメラの各々で得られた情報に基づいて実空間におけるユーザＵの頭部の位置と姿勢とを推定するプロセッサが内蔵される。このようにカメラの画像を併用して位置と姿勢とを推定する方法はインサイドアウト方式と呼ばれる。プロセッサは、インサイドアウト方式で推定した頭部の位置と姿勢とを示すＨＭＤトラッキング信号をＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ケーブル７を介して可視化装置２に通知する。なお、ＵＳＢによる接続に代えて、ＤｉｓｐｌａｙＰｏｒｔや無線ＬＡＮ等で可視化装置２とＨＭＤ３とを接続してもよい。コントローラ４は、ユーザＵが手で入力操作を行う操作入力装置であって、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信によりＨＭＤ３と無線接続される。コントローラ４に対する入力操作は、ＨＭＤ３を介して可視化装置２に通知される。また、コントローラ４の内部には不図示のジャイロセンサと加速度センサとが内蔵されており、更にコントローラ４の筐体の表面には赤外線ＬＥＤが設けられる。ジャイロセンサはコントローラ４の方向を検知するセンサである。また、加速度センサはコントローラ４の加速度を検知するセンサである。ＨＭＤ３のプロセッサは、内蔵のカメラでコントローラ４の赤外線ＬＥＤの位置を検出し、その位置に基づいてＨＭＤ３とコントローラ４との相対位置を推定する。その相対位置に加え、ＨＭＤ３のプロセッサは、近距離無線通信によりコントローラ４から取得したジャイロセンサと加速度センサの各情報を併用して、実空間におけるコントローラ４の位置と姿勢とを推定し、推定した位置と姿勢とを示すコントローラトラッキング信号をＵＳＢケーブル７を介して可視化装置２に通知する。図２（ａ）はコントローラ４の正面図であり、図２（ｂ）はコントローラ４の側面図である。コントローラ４は、右手用と左手用とがあるが、どちらも構造はほぼ同じであるため、図２（ａ）、（ｂ）では右手用のコントローラ４について示している。図２（ａ）、図２（ｂ）に示すように、コントローラ４は、Ａボタン４ａ、Ｂボタン４ｂ、ジョイスティック４ｃ、グリップボタン４ｄ、トリガ４ｅ、及びシステムボタン４ｆを備える。ユーザは、これらのボタン類を操作することで入力操作を行う。例えば、Ａボタン４ａ又はＢボタン４ｂを押下すると、可視化装置２は、ＶＲ画像５をそれぞれ拡大又は縮小する。また、グリップボタン４ｄ又はトリガ４ｅを押下すると、可視化装置２は、ＶＲ画像５における視野をそれぞれ下降又は上昇させる。更に、ジョイスティック４ｃを傾けると、可視化装置２は、ＶＲ画像５における視点をジョイスティック４ｃが傾けられた方向にずらす。そして、システムボタン４ｆを押下すると、ＶＲ画像５を表示する処理を終了させる。なお、右手用のコントローラ４に代えて、左手用のコントローラ４を用いて上記と同様にしてＶＲ画像５の操作を行ってもよい。この場合、左手用のコントローラ４においてＡボタン４ａとＢボタン４ｂの各々に代えて設けられたＸボタンとＹボタンをユーザが操作すればよい。次に、ＶＲ画像５の例について図３～図１５を参照しながら説明する。図３は、ＶＲ画像５として状態図を採用した場合の例である。この例では、Ｍｇ（マグネシウム）、Ｃａ（カルシウム）、及びＺｎ（亜鉛）の三元系の合金の状態図をＶＲ画像５として表示している。その状態図は、相境界面１０、各元素を示すラベル１１、各元素の組成を示す横軸１２、及び合金の温度を示す縦軸１３から構成される。この場合、可視化装置２は、ユーザの視野に状態図を立体視で可視化したＶＲ画像５を生成する。なお、図３の表示角度では、Ｚｎを示すラベル１１は隠れて見えていない。ＶＲ画像５の基となる表示情報は、可視化装置２が状態図計算を行って生成してもよいし、可視化装置２とは異なるコンピュータが生成してもよい。状態図計算を行うための計算コードとしては例えばＴｈｅｒｍｏ－ＣａｌｃＳｏｆｔｗａｒｅＡＢ社製のＴｅｒｍｏ－Ｃａｌｃがある。Ｔｅｒｍｏ－Ｃａｌｃは、ＣＡＬＰＨＡＤ法で状態図計算を行う計算コードである。また、可視化装置２は、図３の状態から以下のように追加計算を行ってもよい。図４は、図３の状態図に追加計算を行った場合のＶＲ画像５の例である。この例では、状態図における二相共存領域のある点をユーザＵがコントローラ４で指し示すと、可視化装置２はその点にポインタ９を表示する。この状態でコントローラ４のトリガ４ｅを押下する入力操作をユーザが行うと、可視化装置２は、その点を通る連結線（ｔｉｅｌｉｎｅ）１４を追加計算で特定し、その連結線１４を状態図に重ねて表示する。また、可視化装置２は、連結線１４の端点における相の種別を示すラベル１５を表示する。この例では、「ＢＣＣ＿Ｂ２＃１、ＬＩＱＵＩＤ」とのラベル１５により、連結線１４の一方の端点が「ＢＣＣ＿Ｂ２＃１」という化合物相であり他方の端点が液相であることが示されている。図３と図４の各ＶＲ画像５の視野は、ユーザの頭部の位置と姿勢とを示す前述のＨＭＤトラッキング信号に基づいて可視化装置２が種々に変えることができる。例えば、ユーザＵが顔を上下左右に傾けると、可視化装置２が視野をそれぞれ上下左右に傾けたＶＲ画像５を生成する。また、ユーザが実空間内を歩き回ると、可視化装置２が歩いた方向と距離だけ移動したＶＲ画像５を生成する。これにより、仮想空間内においてユーザが見たい視点や視線でＶＲ画像５を立体視で表示できる。そのため、ユーザは、仮想空間内で没入感を感じながら自分が見やすいようにＶＲ画像５を調整でき、平面ディスプレイでは見落としがちな知見を得ることができる。また、ＶＲ画像５の視野は、前述のようにユーザがコントローラ４の各ボタンを操作することによっても変えることができる。図５は、Ａボタン４ａの押下によって拡大されたＶＲ画像５の例である。このようにＶＲ画像５を拡大すること