Search

JP-2026077767-A - 表示装置

JP2026077767AJP 2026077767 AJP2026077767 AJP 2026077767AJP-2026077767-A

Abstract

【課題】ＨＭＤの技術に関して、高度な機能と重量低減とをバランス良く実現でき、ユーザの使い勝手を向上できる技術を提供する。 【解決手段】実施の形態のＨＭＤは、ユーザの視野に画像を表示できるヘッドマウントディスプレイ装置であって、ユーザの頭部に装着され、画像を表示する表示面を持つ頭装着部と、頭装着部と通信し、ユーザの体幹の一部に装着される体幹装着部とを備え、頭装着部と体幹装着部との相対的な位置関係を計測し、位置関係に基づいて、頭装着部の位置および方向を含む状態および体幹装着部の位置および方向を含む状態を把握する。 【選択図】図１

Inventors

  • 橋本 康宣
  • 吉澤 和彦
  • 中出 眞弓
  • 秋山 仁

Assignees

  • マクセル株式会社

Dates

Publication Date
20260513
Application Date
20260213

Claims (12)

  1. 表示装置であって、 前記表示装置は、頭部に装着する第一の装着部と、頭部以外に装着する第二の装着部とによって構成され、 前記第一の装着部は、第一のプロセッサと、第一のセンサと、表示デバイスと、第一の通信インタフェース部と、を備え、 前記第二の装着部は、第二のプロセッサと、第二のセンサと、表示制御部と、第二の通信インタフェース部と、を備え、 前記第二のプロセッサは、 前記第一の通信インタフェース部から送信される前記第一のセンサが取得した情報を、前記第二の通信インタフェース部で受信し、 前記表示制御部によって、前記受信した情報と、前記第二のセンサが取得した情報と、に基づいて表示データを生成し、 前記表示データを前記第一の装着部に送信し、 前記第一のプロセッサは、前記表示データを前記表示デバイスに表示し、 前記第一の装着部は、第一のバッテリをさらに備え、 前記第二の装着部は、第二のバッテリをさらに備え、 前記第二の装着部の有する前記第二のセンサで前記第一の装着部に設けられているマーカの位置を測定した第一の測定情報と、前記第一の装着部の有する前記第一のセンサで前記第二の装着部に設けられているマーカの位置を測定した第二の測定情報とのうち、少なくとも一方の測定情報に基づいて、前記第一の装着部と前記第二の装着部との位置関係を得る、 ことを特徴とする表示装置。
  2. 請求項１に記載の表示装置であって、 前記第二の装着部の電源がＯＮになる場合、前記第二の装着部は、前記第一の装着部と通信を行い、前記第一の装着部を起動する、 ことを特徴とする表示装置。
  3. 請求項１に記載の表示装置であって、 前記第二の装着部の電源がＯＦＦになる場合、前記第二の装着部は、前記第一の装着部と通信を行い、前記第一の装着部の電源もＯＦＦにする、 ことを特徴とする表示装置。
  4. 請求項１に記載の表示装置であって、 前記第二の装着部と前記第一の装着部との間で、無線による給電を行う、 ことを特徴とする表示装置。
  5. 請求項１に記載の表示装置であって、 前記第二の装着部と前記第一の装着部との間で、有線による給電を行う、 ことを特徴とする表示装置。
  6. 請求項１に記載の表示装置であって、 前記第二の装着部は、操作入力部をさらに備え、 ユーザによる操作に基づいて、前記第二の装着部および前記第一の装着部を制御する、 ことを特徴とする表示装置。
  7. 請求項１に記載の表示装置であって、 前記第一の装着部は、音声入力部と音声出力部との少なくとも一方をさらに備える、 ことを特徴とする表示装置。
  8. 請求項１に記載の表示装置であって、 前記第一のセンサと前記第二のセンサとの少なくとも一方によって、前記マーカの検出が適切に行えない場合、 前記第一のセンサと前記第二のセンサとの少なくとも一方によって、外界の任意の特徴点を取得し、前記取得した特徴点の位置に基づいて、前記第一の装着部と前記第二の装着部との位置関係を得る、 ことを特徴とする表示装置。
  9. 請求項１に記載の表示装置であって、 前記表示装置は、 前記第一の装着部と前記第二の装着部との位置関係が不明となった場合には、前記表示データの配置座標を、 前記第二の装着部を基準とする座標系から、 座標原点が前記第一の装着部または前記第二の装着部の位置の変化に追随して移動し、前記第一の装着部または前記第二の装着部の向きの変化に追従しない座標系、に切り替えて表示する、 ことを特徴とする表示装置。
  10. 請求項９に記載の表示装置であって、 前記第一の装着部と前記第二の装着部との位置関係が回復した場合には、前記表示データの配置座標を、 前記座標原点が前記第一の装着部または前記第二の装着部の位置の変化に追随して移動し、前記第一の装着部または前記第二の装着部の向きの変化に追従しない座標系から、 前記第二の装着部を基準とする座標系、に戻して表示する、 ことを特徴とする表示装置。
  11. 請求項１に記載の表示装置であって、 前記第一のバッテリの重量と、前記第二のバッテリの重量とが異なる、 ことを特徴とする表示装置。
  12. 請求項１１に記載の表示装置であって、 前記第一のバッテリの重量が前記第二のバッテリの重量よりも軽い、 ことを特徴とする表示装置。

Description

本発明は、ヘッドマウントディスプレイ装置（Head Mounted Display：ＨＭＤ）の技術に関する。 ユーザの頭部に装着されるＨＭＤは、透過型または非透過型の表示面に仮想物体等の画像を表示できる。従来のＨＭＤは、表示面に画像を表示する方式としては、世界座標系に合わせた位置に表示する方式や、ユーザの頭（対応するＨＭＤ）の方向に合わせた位置に表示する方式がある。また、他の方式としては、ユーザの胴体等の体幹の方向に合わせた位置に表示する方式も提案されている。 上記ＨＭＤに係わる先行技術例として、特開２０１９－２８６３８号公報（特許文献１）が挙げられる。特許文献１には、ヘッドマウントディスプレイ等として、頭部の向きを検出する頭部センサー、体幹の向きを検出する体幹センサー等を備え、装着者の周囲の仮想空間に、体幹レイヤーと頭部レイヤーの２層からなるとともに連続的な情報表示領域を構成する仮想デスクトップを構築する旨が記載されている。 特開２０１９－２８６３８号公報 本発明の実施の形態１のヘッドマウントディスプレイ装置（ＨＭＤ）を含む、表示システムの構成を示す図である。実施の形態１のＨＭＤの構成を示す図である。実施の形態１のＨＭＤで、制御部等の構成を示す図である。実施の形態１のＨＭＤで、主な処理フローを示す図である。実施の形態１のＨＭＤで、座標系および位置関係の測距等について示す図である。実施の形態１のＨＭＤで、位置関係の計算等について示す図である。実施の形態１のＨＭＤで、首装着部での要素の実装例を示す図である。実施の形態１のＨＭＤで、接続線に関する構成例を示す図である。実施の形態１のＨＭＤで、筐体の幅についての構成例を示す図である。実施の形態１のＨＭＤで、構成要素を分離する構成例を示す図である。実施の形態１のＨＭＤで、表示情報および座標系情報の構成例を示す図である。本発明の実施の形態２のＨＭＤの構成を示す図である。本発明の実施の形態３のＨＭＤの構成を示す図である。本発明の実施の形態４のＨＭＤの構成を示す図である。本発明の実施の形態５のＨＭＤにおける、第１表示制御例の第１状態等を示す図である。実施の形態５のＨＭＤで、第１表示制御例の第２状態を示す図である。実施の形態５のＨＭＤで、第１表示制御例の第３状態を示す図である。実施の形態５のＨＭＤで、第１表示制御例の第４状態を示す図である。実施の形態５のＨＭＤで、第２表示制御例として頭部座標系を基準としたアプリアイコンの表示例を示す図である。実施の形態５のＨＭＤで、第２表示制御例として首部座標系を基準としたアプリアイコンの表示例を示す図である。実施の形態５のＨＭＤで、第３表示制御例を示す図である。実施の形態５のＨＭＤで、第４表示制御例として、アプリの表示座標系の設定例を示す図である。実施の形態５のＨＭＤで、第４表示制御例として、アプリアイコンの表示座標系の設定例を示す図である。実施の形態５のＨＭＤで、第４表示制御例として、作業用ツールの表示座標系の設定例を示す図である。実施の形態５のＨＭＤで、第５表示制御例として、慣性座標系の概念を示す図である。 以下、本発明の実施の形態を図面に基づいて詳細に説明する。 （実施の形態１） 図１～図１１を用いて、本発明の実施の形態１のヘッドマウントディスプレイ装置（ＨＭＤ）について説明する。 実施の形態１のＨＭＤは、分離型の構成を有し、大別して頭装着部と首装着部との２つの部分で構成される。ＨＭＤ機能の構成要素は、それらの２つの部分に分かれて実装される。例えば、頭装着部には、表示デバイスが実装され、首装着部には、主要なセンサ群、コントローラ、およびバッテリ等が実装される。このような分離型の構成によって、頭装着部に実装されるデバイスを低減でき、高度な機能のために必要なセンサ群のうち少なくとも一部のセンサの頭装着部への実装を省略することができる。これにより、このＨＭＤは、ユーザの頭部に装着される頭装着部の重量を、従来のＨＭＤに比べて低減できる。よって、このＨＭＤは、ユーザの装着感が良くなり、長時間の利用もしやすくなる。 また、このＨＭＤは、ユーザの動きに応じて、首装着部の位置および方向（対応する姿勢）と、頭装着部の位置および方向（対応する姿勢）とが、独立的に変化し得る。そのため、このＨＭＤは、首装着部と頭装着部との相対的な位置関係を測定するための手段を備える。その手段の例として、このＨＭＤは、首装着部に測距センサを備え、首装着部から頭装着部の位置および方向を測定する。そして、このＨＭＤは、測定した位置関係を用いて、座標系の回転等の計算に基づいて、首装着部の位置および方向等の状態と、頭装着部の位置および方向等の状態との両方を把握する。 このＨＭＤは、上記位置関係を用いて、頭装着部または首装着部の一方のセンサで検出した状態（対応するセンサデータ等）を、頭装着部または首装着部の他方の座標系での状態（対応するセンサデータ等）に補正、変換することができる。すなわち、このＨＭＤは、頭装着部のセンサで検出した頭部座標系での状態を、位置関係を用いて、首装着部の首部座標系での状態に変換できる。また、このＨＭＤは、首装着部のセンサで検出した首部座標系での状態を、位置関係を用いて、頭装着部の頭部座標系での状態に変換できる。 実施の形態１のＨＭＤは、このような構成によって、ユーザの頭方向（対応する頭装着部の方向）と、体幹方向（対応する首装着部の方向）との両方を検出でき、それらの２つの方向の各方向を用いた仮想物体の表示制御が可能である。このＨＭＤは、例えば、頭部座標系での頭方向に合わせた位置への画像の表示と、首部座標系での体幹方向に合わせた位置への画像の表示とが、併用できる。このような高度な機能によって、ユーザの作業を支援できる等、利便性を高めることができる。 実施の形態１のＨＭＤは、特に、頭装着部ではなく首装着部に、位置姿勢センサを実装する。この位置姿勢センサは、首・肩を含む体幹を基準とした位置や方向（対応する姿勢）を検出するセンサであり、言い換えると首部座標系での状態を検出するセンサである。このセンサで検出した状態は、そのままでは、頭（対応する頭装着部および頭部座標系）を基準とした状態とは異なる。そのため、このＨＭＤは、首装着部で検出した状態から、上記位置関係に基づいて、座標系の計算によって、頭部座標系を基準とした状態を得る。 ［表示システム］ 図１は、実施の形態１のＨＭＤ１を含む、表示システムの構成を示す。ＨＭＤ１は、頭装着部１Ａと首装着部１Ｂとが接続線４で接続されている。頭装着部１Ａと首装着部１Ｂは、ケーブルである接続線４によって、通信および給電が可能に接続されている。図１では示していないが、ＨＭＤ１を装着するユーザの身体が存在する。ユーザの頭には頭装着部１Ａが装着され、ユーザの首・肩の付近には首装着部１Ｂが装着される。ＨＭＤ１は、オプションとして、リモコンである操作器２が付属してもよい。ユーザは、手に持った操作器２によるＨＭＤ１の操作が可能である。例えば首装着部１Ｂと操作器２が近距離無線通信を行う。ＨＭＤ１は、外部の機器と通信してもよい。例えば、ＨＭＤ１は、通信網を介して事業者のサーバ３Ａや自宅のＰＣ３Ｂ等と接続されてもよい。なお、説明上の方向として、座標系とは別に、Ｘ，Ｙ，Ｚ方向を用いる場合がある。Ｘ方向は、ユーザの身体およびＨＭＤ１に対して前後方向に対応する。Ｙ方向は、ユーザの身体およびＨＭＤ１に対して左右方向に対応する。Ｚ方向は、ユーザの身体およびＨＭＤ１に対して上下方向に対応する。 頭装着部１Ａは、例えば眼鏡状の筐体１０を有し、筐体１０には、透過型の表示面５を含む表示デバイスや、カメラ６等の構成要素が実装されている。筐体１０の一部、例えば左右の側面の付近には、測距のためのマーカ部１３を含み、マーカ部１３には、測定点となる複数のマーカ１７が形成されている。 首装着部１Ｂは、例えば弧形状の筐体として、筐体１１および筐体１２を有する。筐体１１は、ユーザの首・肩に対し左右の位置に配置される部分であり、右側筐体１１Ｒと左側筐体１１Ｌとを有する。筐体１２は、左右の筐体１１を接続し、ユーザの首・肩の後ろの位置に配置される部分である。筐体１１には、測距センサ７、マイク８、スピーカ９、操作入力部１４等が実装されている。 ＨＭＤ１は、従来のＨＭＤのように初期化状態からの変位の差によってＨＭＤの位置や方向等の状態を測定する構成ではなく、首装着部１Ｂの測距センサ７から直接的に頭装着部１Ａの位置や方向等の位置関係を測定する構成である。これにより、このＨＭＤ１は、頭装着部１Ａにおける位置姿勢センサ等の構成要素の搭載を省略し、頭装着部１Ａの重量低減を図る。 従来のＨＭＤにおける位置や姿勢の測定用のセンサとしては、加速度センサ、角速度センサ（ジャイロセンサ）、地磁気センサ、ＧＰＳ受信器、カメラ、および測距センサ等が挙げられる。なお、カメラを含め、これらのデバイスをセンサと総称する場合がある。加速度センサは、ＨＭＤの移動量を計測すると共に、静止時には重力加速度ベクトルを計測できるので、ＨＭＤの傾きを計測することができる。角速度センサは、ＨＭＤの向きの変化を計測する。地磁気センサは、地磁気の方向の検出に基づいてＨＭＤの向きを推定する。ＧＰＳ受信器は、ＧＰＳ電波によって受信できる情報に基づいて、ＨＭＤの位置を緯度および経度の値として知ることができる。カメラは、外界の特徴点を撮影する。特徴点がある方向と地図情報とからＨＭＤの位置および向きが推定できる。測距センサは、外界の特徴点までの距離を測定する。その距離と地図情報とからＨＭＤの位置および向きが推定できる。 実施の形態１のＨＭＤ１は、上記のようなＨＭＤの状態を測定するためのセンサの少なくとも一部のセンサを、頭装着部１Ａではなく首装着部１Ｂに実装する。そのため、ＨＭＤ１は、首装着部１Ｂと頭装着部１Ａとの相対的な位置関係を測定するための機能を備える。ＨＭＤ１は、その位置関係を用いて、首装着部１Ｂのセンサで測定したデータと、頭装着部１Ａのセンサで測定したデータとの間での変換を行う。 ＨＭＤ１は、首装着部１Ｂに実装されている測距センサ７から、頭装着部１Ａの筐体１０に対し、位置関係の把握のための測距を行う。特に、測距センサ７は、筐体１０の複数のマーカ１７の位置を、複数の特徴点として計測する。複数の特徴点は、同一直線上にない３点以上の点とすればよい。首装着部１Ｂは、計測した特徴点に基づいて、頭装着部１Ａの頭部座標系と首装着部１Ｂの首部座標系との位置関係を得ることができる（後述の図５）。 ＨＭＤ１は、得た位置関係を用いて、首装着部１Ｂのセンサで検出した状態を、頭装着部１Ａの頭部座標系を基準とした状態に補正、変換することができる。また、ＨＭＤ１は、得た位置関係を用いて、頭装着部１Ａのセンサで検出した状態を、首装着部１Ｂの首部座標系を基準とした状態に補正、変換することができる。よって、ＨＭＤ１は、頭部座標系を基準とした頭の位置および方向等の状態と、首部座標系を基準とした体幹の位置および方向等の状態との両方を把握できる。ＨＭＤ１は、それらの状態のデータを用いて、頭方向等に応じた仮想物体の表示制御と、体幹方向等に応じた仮想物体の表示制御との両方を行うことができる。 ［ＨＭＤ］ 図２は、実施の形態１のＨＭＤ１の機能ブロック構成を示す。頭装着部１Ａは、プロセッサ１００、メモリ１２０、通信インタフェース部１３０、電源回路１４１、サブバッテリ１４２、表示デバイス１５０、カメラ６、操作入力部１８等を備え、それらはバス等を介して相互に接続されている。 プロセッサ１００は、頭装着部１Ａを制御するサブコントローラである。メモリ１２０には、プロセッサ１００等が扱うデータや情報が記憶される。通信インタフェース部１３０は、首装着部１Ｂとの間で接続線４を介して有線通信を行う通信回