Search

JP-2026076517-A - 情報処理装置、情報処理方法、及びプログラム

JP2026076517AJP 2026076517 AJP2026076517 AJP 2026076517AJP-2026076517-A

Abstract

【課題】 他のユーザとの衝突を回避できる一方で、警告を発することによりユーザのＭＲの没入感を低下させる可能性がある。また、注意領域外で他のユーザが仮想コンテンツを遮蔽するような状況でユーザのＭＲの没入感を低下させることを避けられない。 【解決手段】 第一のユーザの位置姿勢を取得する第一の位置姿勢取得手段と、第二のユーザの位置姿勢を取得する第二の位置姿勢取得手段と、前記第一の位置姿勢と前記第二の位置姿勢とに基づいて、前記第一のユーザと前記第二のユーザとの相対位置姿勢を算出する相対位置姿勢算出手段と、前記第二のユーザが仮想コンテンツを体験するプレイエリアを算出するプレイエリア算出手段と、前記相対位置姿勢と前記プレイエリアに基づいて、前記第一のユーザが前記プレイエリアを識別可能なコンテンツを生成するコンテンツ生成手段と、を備えることを特徴とする情報処理装置。 【選択図】 図４

Inventors

  • 佐藤 貴俊

Assignees

  • キヤノン株式会社

Dates

Publication Date
20260512
Application Date
20241024

Claims (11)

  1. 第一のユーザの位置姿勢を取得する第一の位置姿勢取得手段と、 第二のユーザの位置姿勢を取得する第二の位置姿勢取得手段と、 前記第一の位置姿勢と前記第二の位置姿勢とに基づいて、前記第一のユーザと前記第二のユーザとの相対位置姿勢を算出する相対位置姿勢算出手段と、 前記第二のユーザが仮想コンテンツを体験するプレイエリアを算出するプレイエリア算出手段と、 前記相対位置姿勢と前記プレイエリアに基づいて、前記第一のユーザが前記プレイエリアを識別可能なコンテンツを生成するコンテンツ生成手段と、 を備えることを特徴とする情報処理装置。
  2. 前記第二のユーザのユーザ情報を取得するユーザ情報取得手段をさらに備え、 前記プレイエリア算出手段は、前記ユーザ情報に基づいて前記プレイエリアを算出する ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記第一のユーザが前記プレイエリアに対して警告すべき度合いを示す警告強度を算出する警告強度算出手段をさらに有し、 前記コンテンツ生成手段は、前記警告強度が大きいほど視覚刺激の度合いが大きくなるように前記コンテンツを生成する ことを特徴とする請求項２に記載の情報処理装置。
  4. 前記ユーザ情報は、前記第二のユーザと前記仮想コンテンツとの相対位置姿勢情報、前記仮想コンテンツの三次元モデル情報を含み、 前記プレイエリア算出手段は、前記相対位置姿勢情報と前記三次元モデルに基づいて、前記第二のユーザと前記仮想コンテンツとを包含する領域をプレイエリアとして算出する ことを特徴とする請求項２に記載の情報処理装置。
  5. 前記ユーザ情報は、前記仮想コンテンツの動特性、前記第二のユーザの動特性のうち少なくとも１つを含み、 前記プレイエリア算出手段は、前記仮想コンテンツの動特性、前記第二のユーザの動特性の少なくとも１つに基づいて、前記仮想コンテンツの移動領域と前記第二のユーザの移動領域とを包含する領域をプレイエリアとして算出すること、 を特徴とする請求項４に記載の情報処理装置。
  6. 前記ユーザ情報は、前記第二のユーザのユーザ属性情報である、前記第二のユーザの年齢、身長、前記第二のユーザと前記第一のユーザとの関係性、前記第二のユーザの位置姿勢の履歴のうち少なくとも一つを含み、 前記プレイエリア算出手段は、前記ユーザ属性情報に基づいて、前記プレイエリアのスケーリング係数を算出し、該スケーリング係数に基づいて、前記プレイエリアをスケーリングすること、 を特徴とする請求項４に記載の情報処理装置。
  7. 前記警告強度算出手段は、前記相対位置姿勢算出手段が算出した前記第一のユーザと前記第二のユーザの相対位置姿勢と、前記プレイエリア算出手段が算出したプレイエリアに基づいて、前記第一のユーザと前記プレイエリアの距離を算出し、該距離が小さいほど警告強度が大きくなるように算出すること、 を特徴とする請求項３に記載の情報処理装置。
  8. 前記警告強度算出手段は、前記第一の位置姿勢取得手段が取得した前記第一のユーザの位置姿勢に基づいて、前記第一のユーザの移動速度を算出し、移動速度が大きいほど警告強度が大きくなるように算出すること、 を特徴とする請求項３に記載の情報処理装置。
  9. 前記警告強度算出手段は、前記相対位置姿勢算出手段が算出した前記第一のユーザと前記第二のユーザの相対位置姿勢に基づいて算出した前記第一のユーザから前記第二のユーザに向かうベクトルと、前記第一の位置姿勢取得手段が取得した第一の位置姿勢に基づいて前記第一のユーザの進行方向を示すベクトルとのなす角を算出し、該なす角が小さくなるほど、警告強度が大きくなるように算出すること、 を特徴とする請求項３に記載の情報処理装置。
  10. 第一のユーザの位置姿勢を取得する第一の位置姿勢取得工程と、 第二のユーザの位置姿勢を取得する第二の位置姿勢取得工程と、 前記第一の位置姿勢と前記第二の位置姿勢とに基づいて、前記第一のユーザと前記第二のユーザとの相対位置姿勢を算出する相対位置姿勢算出工程と、 前記第二のユーザが仮想コンテンツを体験するプレイエリアを算出するプレイエリア算出工程と、 前記相対位置姿勢と前記プレイエリアに基づいて、前記第一のユーザが前記プレイエリアを識別可能なコンテンツを生成するコンテンツ生成工程と、 を備えることを特徴とする、情報処理装置によって実行される情報処理方法。
  11. 請求項１０に記載の情報処理方法の各工程をコンピュータに実行させるためのコンピュータプログラム。

Description

本発明は、複数ユーザでＭＲを同時に体験する際の仮想コンテンツ生成に関する。 カメラで撮影した映像に仮想コンテンツ（ＣＧや文字）を重畳表示させるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術が知られている。そこでは、映像情報をもとに端末（ＨＭＤやスマートフォンなどの情報端末）の位置姿勢を推定することで、端末の動きに合わせた仮想コンテンツの描画位置を計算する技術が利用されている。 ＭＲを複数のユーザが同時に体験する場合、仮想コンテンツが他のユーザを遮り、他のユーザの接近により衝突してしまう可能性がある。また、ユーザ同士の距離が衝突するような距離でなくとも、表示している仮想コンテンツの前を他のユーザが通ることにより遮蔽することで、ＭＲの没入感を損なう可能性もある。特許文献１では、前者の課題に対して、ユーザ同士の距離に基づいて、注意領域に入った場合に警告することで、衝突を回避する方法を提案している。 特許０４６４２５３８号 情報処理装置の一例を示すハードウェア構成図。実施例１における適用シーンを示すイメージ図。実施例１におけるプレイエリアの領域を示すイメージ図。実施例１における情報処理装置の論理構成を示すブロック図。実施例１における情報処理装置の処理を示すフローチャート。実施例１におけるプレイエリア算出部の処理を示すフローチャート。変形例１－５における情報処理装置の処理を示すフローチャート。変形例１－５における警告強度算出部の処理を示すフローチャート。実施例２におけるプレイエリア算出部の処理を示すフローチャート。 本発明にかかる各実施形態を説明するのに先立ち、各実施形態に示す情報処理装置を実現可能なハードウェア構成について、図１を用いて説明する。 図１は、一実施形態にかかる情報処理装置のハードウェア構成図である。ＣＰＵ１０は、バス６０を介して、バス６０に接続された各部を制御する。入力Ｉ／Ｆ４０は、外部装置（撮像装置、表示装置または操作装置など）から、情報処理装置が処理可能な形式の入力信号を取得する。また、出力Ｉ／Ｆ５０は、外部装置（表示装置など）へと、外部装置が処理可能な形式の出力信号を出力する。 各実施形態の機能を実現するためのプログラムは、読み出し専用メモリ（ＲＯＭ）２０のような記憶媒体に格納する。また、ＲＯＭ２０は、オペレーティングシステム（ＯＳ）及びデバイスドライバを記憶する。ランダムアクセスメモリ（ＲＡＭ）３０のようなメモリは、これらのプログラムを一次記憶する。そして、ＣＰＵ１０がＲＡＭ３０に記憶されたプログラムを実行することにより、後述する各フローチャートに従った処理を実行し、各実施形態の機能を実現する。もっとも、ＣＰＵ１０を用いたソフトウェア処理の代わりに、各機能部の処理に対応する演算部または回路を有するハードウェアを用いて、各実施形態の機能を実現することも可能である。 ［実施例１］ 実施例１では、第一のユーザと第二のユーザが、本発明の情報処理装置を搭載するＭＲを体験可能なＨＭＤを装着しているものとする。 図２は、本発明の情報処理装置を搭載するＨＭＤの利用シーンを示したイメージ図である。第一のユーザ１はＨＭＤ３を装着しており、第二のユーザ２はＨＭＤ４を装着している。ＨＭＤ３、ＨＭＤ４には、現実世界の映像に仮想コンテンツを重畳表示した映像が表示される。第二のユーザ２には、ＨＭＤ４によって仮想モニタの形状で仮想コンテンツ５が見えている。 ここで、仮想コンテンツ５は第二のユーザ２のＨＭＤ４に表示されているが、第一のユーザ１のＨＭＤ３には表示されていない。そのため、第一のユーザ１は、第二のユーザ２が仮想コンテンツ５を視聴しているのに気がつかずに、第二のユーザ２と仮想コンテンツ５の間を通り過ぎてしまう。これにより、第二のユーザ２のＭＲの没入感が低下する。 図３は、本発明を利用して、第一のユーザ１がＨＭＤ３によって、第二のユーザ２のプレイエリア６を見ている様子を示している。プレイエリアとは、ＨＭＤにより仮想コンテンツを体験しているユーザが動き回ることのできる実世界の範囲のことであり、例えば周囲の物や人や壁などに衝突することなく安全な移動が保証される範囲などである。また、ユーザが動き回らずにほぼ静止して仮想コンテンツを体験している場合の、ユーザと仮想コンテンツの間の範囲もプレイエリアに含める。例えば、ユーザが仮想モニタを視聴している際の、ユーザと仮想モニタの間の領域などである。プレイエリア６は、第一のユーザ１が見ている仮想コンテンツ５と第一のユーザ１を包含する領域で表現される。第一のユーザ１は、第二のユーザ２のプレイエリア６を見ることにより、第二のユーザ２がＭＲを体験していることを認識することができ、第二のユーザ２との衝突や、第二のユーザ２のＭＲの体験の妨害を回避することに利用できる。 図４は、本実施例における情報処理装置１００を含む装置構成を示すブロック図である。 情報処理装置１００は、第一の位置姿勢取得部１０１、第二の位置姿勢取得部１０２、ユーザ情報取得部１０３、相対位置姿勢算出部１０４、プレイエリア算出部１０５、コンテンツ生成部１０６を備える。第一の位置姿勢取得部１０１は、第一の位置姿勢算出部３２と接続されており、第二の位置姿勢取得部１０２は、第二の位置姿勢算出部４２と接続されている。また、ユーザ情報取得部１０３は送信部４３と接続しており、コンテンツ生成部１０６は表示部３３と接続している。 第一の位置姿勢取得部１０１は、第一の位置姿勢算出部３２が算出したＨＭＤ３の位置姿勢を取得する。 第二の位置姿勢取得部１０２は、第二の位置姿勢算出部４２が算出したＨＭＤ４の位置姿勢を取得する。 ユーザ情報取得部１０３は、送信部４３を介して、ユーザ情報保持部４４が保持するユーザ情報を取得する。 相対位置姿勢算出部１０４は、第一の位置姿勢取得部１０１と第二の位置姿勢取得部１０２が取得した二つの位置姿勢に基づいて、ＨＭＤ３とＨＭＤ４の相対位置姿勢を算出する。 プレイエリア算出部１０５は、第二の位置姿勢取得部１０２が取得したＨＭＤ４の位置姿勢とユーザ情報取得部１０３が取得したユーザ情報に基づいて、第二のユーザ２のプレイエリアを算出する。 コンテンツ生成部１０６は、相対位置姿勢算出部１０４が算出した相対位置姿勢とプレイエリア算出部１０５が算出したプレイエリアに基づいて、ＨＭＤ４に表示するコンテンツを生成する。 第一の表示装置３（ＨＭＤ３）は、入力部３１、第一の位置姿勢算出部３２、情報処理装置１００、表示部３３により構成される。 入力部３１は、ＨＭＤに搭載されているカメラが入力する画像を取得する。 第一の位置姿勢算出部３２は、入力部３１が出力した画像を取得し、入力した画像に基づいて、ＨＭＤ３の位置姿勢を算出し、第一の位置姿勢取得部１０１に出力する。 表示部３３は、コンテンツ生成部１０６が出力する第二のユーザ２のプレイエリアを表す仮想コンテンツを入力し、第二のユーザ２のＭＲ体験用の表示映像にプレイエリアを表す仮想コンテンツを重畳表示した映像を表示する。 第二の表示装置（ＨＭＤ４）は、入力部４１、第二の位置姿勢算出部３２、送信部４３、ユーザ情報保持部４４により構成される。なお、第二の表示装置（ＨＭＤ４）にも第一の表示装置と同様に映像を表示する機能は有する想定ではあるが、情報処理装置１００の処理と直接かかわらないため説明は省略する。 入力部４１は、ＨＭＤに搭載されているカメラが入力する画像を取得する。 第二の位置姿勢算出部４２は、入力部４１が出力した画像を取得し、入力した画像に基づいて、ＨＭＤ４の位置姿勢を算出し、送信部４３に出力する。 送信部４３は、第二の位置姿勢算出部４２が出力したＨＭＤ４の位置姿勢と、ユーザ情報保持部４４が保持するユーザ情報をユーザ情報取得部１０３に出力する。なお、通信はＰ２Ｐ（Ｐｅｅｒ－ｔｏ－Ｐｅｅｒ）通信で行う。 ユーザ情報保持部４４は、第二のユーザ２のユーザ情報を保持する。ユーザ情報の中身については、後述する。 本実施例におけるユーザ情報には、仮想コンテンツの属性情報が含まれているものとする。仮想コンテンツの属性情報の中身は、ＨＭＤ４と仮想コンテンツ５の相対位置姿勢情報、仮想コンテンツ５の三次元モデル情報を表す情報である。また、仮想コンテンツ５が動くかどうかを表す仮想コンテンツの動特性（静的、動的）を表す情報でもよい。さらに、仮想コンテンツ５を体験するユーザが動くかどうかを表すユーザの動特性（静的、動的）を表す情報でもよい。 これ以降の説明におけるフローチャートによる処理手順は、例に限定されることはなく、本発明の結果を満たす限りいかなる手順の組み合わせも、複数処理をまとめることも、処理を細分化することも可能である。また、各処理を個々に切り出してひとつの機能要素として単体として機能し、示している処理以外の処理と組み合わせて使用することも可能である。 図５は、本実施例における処理手順を示すフローチャートである。 ステップＳ１０１０で、初期化処理を行い情報処理装置１００が動作可能な状態にする。 ステップＳ１０２０で、第一のユーザ１の位置姿勢取得部１０１は、第一の位置姿勢算出部３２が算出したＨＭＤ３の位置姿勢を取得する。なお、第一の位置姿勢算出部３２のＨＭＤ３の位置姿勢の算出方法は、Ｒａｕｌらの方法（後述）に記載の方法で現実空間の三次元地図を作成しながら、カメラの位置姿勢を推定する手法を用いる。Ｒａｕｌらの方法とは、Ｒａuｌ Ｍｕｒ－Ａｒｔａｌ ｅｔ．ａｌ，ＯＲＢ－ＳＬＡＭ：Ａ Ｖｅｒｓａｔｉｌｅ ａｎｄ Ａｃｃｕｒａｔｅ Ｍｏｎｏｃｕｌａｒ ＳＬＡＭ Ｓｙｓｔｅｍ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｒｏｂｏｔｉｃｓである。 ステップＳ１０３０で、第二のユーザ２の位置姿勢取得部１０２は、第二の位置姿勢算出部４２が算出したＨＭＤ４の位置姿勢を取得する。なお、第二の位置姿勢算出部４２のＨＭＤ４の位置姿勢の算出手法は、第一の位置姿勢算出部３２の算出方法と同じものを用いる。 ステップＳ１０４０で、ユーザ情報取得部１０３は、ユーザ情報保持部４４が保持するユーザ情報を取得する。なお、本実施例におけるユーザ情報とは、第二のユーザ２が体験しているＭＲの仮想コンテンツの属性情報（ＨＭＤ４と仮想コンテンツ５の相対位置姿勢情報、仮想コンテンツ５の三次元モデル情報を示す情報を含んでいる。また、仮想コンテンツ５が動くかどうかを表す仮想コンテンツの動特性（静的、動的）を示す情報を含んでいる。さらに、仮想コンテンツを体験するユーザが動くかどうかを表すユーザの動特性（静的、動的））を示す情報を含んでいる。 ステップＳ１０５０で、相対位置姿勢算出部１０４は、第一の位置姿勢取得部１０１が取得したＨＭＤ３の位置姿勢と、第二の位置姿勢取得部１０２が取得したＨＭＤ４の位置姿勢に基づいて、ＨＭＤ３とＨＭＤ４の相対位置姿勢を算出する。なお、このとき、ＨＭＤ３の位置姿勢とＨＭＤ４の位置姿勢の基準座標系の原点の位置姿勢は、事前に整合させてあるものとする。本実施例においては、Ｒｉｃｈａｒｄらの方法（後述）のように、第一の位置姿勢算出部３２が作成した三次元地図と、第二の位置姿勢算出部４２が作成した三次元地図の共通の領域を検出し、共通の領域に基づいて、二つの座標系の原点の位置姿勢を整合させる。Ｒｉｃｈａｒｄらの方法とは、Ｒｉｃｈａｒｄ Ｅｌｖｉｒａ ｅｔ．ａｌ，ＯＲＢＳＬＡＭ－Ａｔｌａｓ：ａ ｒｏｂｕｓｔ ａｎｄ ａｃｃｕｒａｔｅ ｍｕｌｔｉ－ｍａｐ ｓｙｓｔｅｍである。これにより、二つの位置姿勢は同一の座標系で計算される。 ステップＳ１０６０で、プレイエリア算出部１０５は、ステップＳ１０４０で取得したユーザ情報に基づいて、第二のユーザ２のプレイエリアを算出する。なお、第二のユーザ２のプレイエリアは第二のユーザの位置姿勢を原点として算出