Search

JP-2026076549-A - 表示方法、表示システムおよび表示プログラム

JP2026076549AJP 2026076549 AJP2026076549 AJP 2026076549AJP-2026076549-A

Abstract

【課題】ユーザーの操作指示における操作性を向上させた表示方法、表示システムおよび表示プログラムを提供する。 【解決手段】プロジェクションシステム１では、表示面１０上の位置を指示する第１指示体が指示ペンであるか否かを判定することと、第１指示体が指示ペンと判定された場合、指示ペンによる操作指示を受け付けるアイコン画像２０１～２０５を含む第１画像２００を表示面１０に表示することと、表示面１０上の位置を指示する第２指示体がユーザーの指であるか否かを判定することと、第２指示体がユーザーの指と判定された場合、ユーザーの指による操作指示を受け付けるアイコン画像３０１～３０４を含む第２画像３００を表示面１０に表示することと、をプロセッサーが実行し、アイコン画像３０１～３０４の一つである表示サイズが最小の画像は、アイコン画像２０１～２０５の一つである表示サイズが最小の画像より大きな表示サイズである。 【選択図】図７

Inventors

  • 本田 康弘
  • 後藤 希一朗

Assignees

  • セイコーエプソン株式会社

Dates

Publication Date
20260512
Application Date
20241024

Claims (10)

  1. 表示面上の位置を指示する第１指示体が指示ペンであるか否かを判定することと、 前記第１指示体が前記指示ペンと判定された場合、前記指示ペンによる操作指示を受け付ける複数の第１アイコン画像を含む第１画像を前記表示面に表示することと、 前記表示面上の位置を指示する第２指示体がユーザーの指であるか否かを判定することと、 前記第２指示体が前記ユーザーの指と判定された場合、前記ユーザーの指による操作指示を受け付ける複数の第２アイコン画像を含む第２画像を前記表示面に表示することと、 をプロセッサーが実行し、 前記複数の第２アイコン画像の一つである表示サイズが最小の第２小画像は、前記複数の第１アイコン画像の一つである表示サイズが最小の第１小画像より大きな表示サイズである、 表示方法。
  2. 前記表示面における前記第１画像の位置と、前記第２画像の位置とが所定の距離以内の場合、前記指示ペンおよび前記ユーザーの指による操作指示を受け付ける複数の第３アイコン画像を含む第３画像を表示することを更に前記プロセッサーが実行し、 前記複数の第３アイコン画像は、前記複数の第１アイコン画像の少なくとも１つに対応するアイコン画像と、前記複数の第２アイコン画像の少なくとも１つに対応するアイコン画像と、を含む、 請求項１に記載の表示方法。
  3. 前記第３画像を表示することは、前記第１画像と、前記第２画像とを合成して前記第３画像を表示することである、 請求項２に記載の表示方法。
  4. 前記複数の第３アイコン画像の一つである表示サイズが最小の第３小画像は、前記複数の第１アイコン画像の一つである表示サイズが最小の第１小画像より大きな表示サイズである、 請求項２または３に記載の表示方法。
  5. 前記複数の第３アイコン画像の個数は、前記複数の第１アイコン画像の個数と、前記複数の第２アイコン画像の個数との合計よりも少ない、 請求項２または３に記載の表示方法。
  6. 前記複数の第３アイコン画像は、前記複数の第１アイコン画像と、前記複数の第２アイコン画像とにおいて共通の操作指示に対応するアイコン画像を含む、 請求項５に記載の表示方法。
  7. 前記複数の第１アイコン画像と、前記複数の第２アイコン画像との中から、操作指示の履歴情報に基づいて前記複数の第３アイコン画像に含めるアイコン画像を決定することを更に前記プロセッサーが実行する、 請求項２または３に記載の表示方法。
  8. 前記第１画像、前記第２画像、または、前記第３画像に対応する代表画像を前記表示面に表示することと、 前記代表画像に対する前記指示ペンおよび前記ユーザーの指の少なくとも一方による所定の動作に基づいて、前記第１画像、前記第２画像、または、前記第３画像を前記表示面の所定の位置に移動することと、を更に前記プロセッサーが実行する、 請求項２または３に記載の表示方法。
  9. 表示面上の位置を指示する第１指示体が指示ペンであるか否かを判定することと、 前記第１指示体が前記指示ペンと判定された場合、前記指示ペンによる操作指示を受け付ける複数の第１アイコン画像を含む第１画像を前記表示面に表示することと、 前記表示面上の位置を指示する第２指示体がユーザーの指であるか否かを判定することと、 前記第２指示体が前記ユーザーの指と判定された場合、前記ユーザーの指による操作指示を受け付ける複数の第２アイコン画像を含む第２画像を前記表示面に表示することと、 を実行するプロセッサーを含み、 前記複数の第２アイコン画像の一つである表示サイズが最小の第２小画像は、前記複数の第１アイコン画像の一つである表示サイズが最小の第１小画像より大きな表示サイズである、 表示システム。
  10. 表示面上の位置を指示する第１指示体が指示ペンであるか否かを判定することと、 前記第１指示体が前記指示ペンと判定された場合、前記指示ペンによる操作指示を受け付ける複数の第１アイコン画像を含む第１画像を前記表示面に表示することと、 前記表示面上の位置を指示する第２指示体がユーザーの指であるか否かを判定することと、 前記第２指示体が前記ユーザーの指と判定された場合、前記ユーザーの指による操作指示を受け付ける複数の第２アイコン画像を含む第２画像を前記表示面に表示することと、 をプロセッサーに実行させ、 前記複数の第２アイコン画像の一つである表示サイズが最小の第２小画像は、前記複数の第１アイコン画像の一つである表示サイズが最小の第１小画像より大きな表示サイズである、 表示プログラム。

Description

本発明は、表示方法、表示システムおよび表示プログラムに関する。 従来、ユーザーの指による操作、または、タッチペンによる操作を受け付けるＧＵＩを備えた表示システムが知られている。 特許文献１には、所定のタッチ操作を検出したことを受けて、制御部が実行する処理に関する設定状態を表示する部分画像を表示することで、ユーザーは指によるタッチ操作にどのような処理が割当てられているかを容易に確認できることが開示されている。また、特許文献１には、タッチペンによるタッチ操作に割当てられた処理に関する設定状態を表示する部分画像を表示することで、ユーザーは現在ペン操作にどのような処理が割当てられているかを容易に確認できることが開示されている。 特開２０１５－１３２９８６号公報 プロジェクションシステムのシステム構成の一例を示す斜視図。プロジェクションシステムの側面の一例を示す側面図。プロジェクターおよび第１指示体の構成例を示す構成図。第１制御部の動作例を示すフローチャート。第１画像の一例を示す説明図。第２画像の一例を示す説明図。最小サイズのアイコン画像のサイズについて説明するための説明図。第３画像の一例を示す説明図。表示面における第２画像の移動を説明する説明図。第１画像と第２画像との合成による第３画像の表示を説明する説明図。 以下、図面を参照しながら本開示にかかる実施形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。 また、本開示の説明では、一般的な略称を用いて説明を行う場合がある。例えば、ＧＵＩは、Graphical User Interfaceの略称である。ＬＥＤは、Light Emitting Diodeの略称である。ＣＰＵは、Central Processing Unitの略称である。ＧＰＵは、Graphics Processing Unitの略称である。ＡＳＩＣは、Application Specific Integrated Circuitの略称である。ＦＰＧＡは、field-programmable gate arrayの略称である。ＬＤは、Laser Diodeの略称である。ＣＭＯＳは、Complementary Metal Oxide Semiconductorの略称である。ＣＣＤは、Charge Coupled Deviceの略称である。ＲＡＭは、Random Access Memoryの略称である。ＲＯＭは、Read Only Memoryの略称である。ＭＰＵは、Micro Processor Unitの略称である。ＬＳＩは、Large Scale Integrationの略称である。ＰＬＤは、Programmable Logic Deviceの略称である。ＭＣＵは、Micro Control Unitの略称である。ＳｏＣは、System-on-a-Chipの略称である。ＤＶＤは、Digital Versatile Discの略称である。ＵＳＢは、Universal Serial Busの略称である。ＳＳＤは、Solid State Driveの略称である。 ［１．プロジェクションシステムの構成］ 図１は、プロジェクションシステムのシステム構成の一例を示す斜視図である。図１に示すように、プロジェクションシステム１は、プロジェクター１００と、プロジェクター１００が画像を投写して表示する表示面１０と、表示面１０において位置を指定することに用いる第１指示体５０とを備える。プロジェクションシステム１は、表示システムの一例である。表示面１０において位置を指定することは、ユーザーの指等である第２指示体７０による指定も可能である。以下では、表示面１０の法線をＺ軸、鉛直軸をＹ軸、Ｚ軸とＹ軸とに垂直な軸をＸ軸として説明する。 プロジェクター１００は、画像データに対応した画像光を生成し、生成した画像光を表示面１０に投写することで画像を表示する。また、プロジェクター１００は、インタラクティブ機能を備える。インタラクティブ機能とは、検出した第１指示体５０および第２指示体７０の位置に基づいて第１指示体５０および第２指示体７０の位置や軌跡に対応した画像を表示させたり、表示させた画像に変更を加えたりする機能である。 第１指示体５０は、ユーザーが手に持って使用する指示ペンの一例であり、発光可能な先端部５１、ユーザーが把持する軸部５２等を有する。先端部５１には近赤外光を発光するＬＥＤ等の光源が搭載されている。第１指示体５０は、先端部５１が表示面１０に接触したタッチ状態において、所定の発光間隔で発光する。また、第１指示体５０は、先端部５１が表示面１０に接触していない状態でも所定の発光間隔で発光する。また、図１には、１つの第１指示体５０を示すが、同時に使用可能な第１指示体５０の数は１つに限らず、複数の第１指示体５０を同時に使用することも可能である。 また、ユーザーの手指を第２指示体７０として使用する場合、ユーザーは、指先等の先端を表示面１０に接触させ、表示面１０上の位置を指定する。プロジェクター１００は表示面１０に沿って検出光を出射しており、第２指示体７０の先端が表示面１０に接触すると、検出光を遮る。この検出光を、以下では第２光１８０という。第２光１８０が第２指示体７０に当たって反射し、第２光１８０の反射光の一部は第２指示体７０からプロジェクター１００に向かって進む。プロジェクター１００は、第２光１８０が第２指示体７０で反射した反射光を検出して、第２指示体７０により指示された位置を検出する。 例えば、プロジェクター１００は、表示面１０に第１指示体５０または第２指示体７０が接触している状態における第１指示体５０または第２指示体７０の位置の変化を検出する。また、プロジェクター１００は、表示面１０に第１指示体５０または第２指示体７０が接触していない状態における第１指示体５０または第２指示体７０の位置の変化を検出することができる。ここでいう表示面１０に第１指示体５０または第２指示体７０が接触していない状態とは、表示面１０の法線方向に表示面の範囲を伸ばした空間に第１指示体５０または第２指示体７０があることをいう。なお、第１指示体５０または第２指示体７０と、表示面１０との非接触時における法線方向における距離は、所定の閾値以内とする。すなわち、表示面１０に第１指示体５０または第２指示体７０が接触していない状態でのその位置の変化は、表示面１０近傍での第１指示体５０または第２指示体７０のホバリング動作に対応する。 これにより、プロジェクター１００は、例えば、第１指示体５０または第２指示体７０と表示面１０とが接触させられて第１指示体５０または第２指示体７０により表示面１１０に描かれる文字または図形などを検出することができる。なお、文字または図形などの描画は、消しゴムの機能により文字または図形などを消去することを含んでもよい。また、プロジェクター１００は、例えば、第１指示体５０または第２指示体７０と表示面１０とが接触していない状態から第１指示体５０または第２指示体７０により表示面１１０に描かれる文字または図形などを検出することができる。また、プロジェクター１００は、例えば、第１指示体５０または第２指示体７０が表示面１０に接触せずに表示面１０から離隔した状態で第１指示体５０または第２指示体７０の位置が変化するホバリングの動作を検出することができる。具体例として、プロジェクター１００は、表示面１０に表示された複数の項目を含むメニューの中から第１指示体５０または第２指示体７０により特定の項目が指示されたことを検出することができる。 図２は、プロジェクションシステム１の側面の一例を示す側面図である。図２に示すように、本実施形態にかかるプロジェクター１００は、壁面に固定されて表示面１０の前方かつ上方に設置され、斜め下方の表示面１０に向けて画像光を投写する。プロジェクター１００によって画像光が投写される表示面１０の領域を投写領域２０という。また、プロジェクター１００は、第１指示体５０および第２指示体７０の検出に用いる第２光１８０を、表示面１０に対応する方向に照射する。具体的には、表示面１０から所定距離以内に近づいた第２指示体７０で反射した反射光が、撮像部１３５へ入射させることが可能な方向である。第２光１８０は、第２指示体７０の検出に用いられる光であり、本実施形態では赤外光が用いられる。赤外光を用いることにより、可視光を主とする画像光の影響を受けずに第２指示体７０を検出でき、また、画像光による表示にも影響を与えない。第２光１８０は、表示面１０の少なくとも一部を含む範囲に照射される。本実施形態では、表示面１０の全体をカバーする範囲に投写される。 ［２．プロジェクターの構成］ 図３は、プロジェクター１００および第１指示体５０の構成を示す構成図である。まず、プロジェクター１００の構成について説明する。 図３に示すように、プロジェクター１００は、画像生成部１１０、投写部１２０、送信部１３１、照射部１３３、撮像部１３５、受光部１４０および第１制御部１５０を備える。 画像生成部１１０は、ＣＰＵやＧＰＵにより構成される演算処理装置である。画像生成部１１０は、投写画像を記憶する画像記憶部１１５を有する。画像記憶部１１５は、投写部１２０が投写する画像をフレーム単位で格納する、いわゆるフレームメモリーである。 画像生成部１１０は、画像データに基づいて、表示面１０上に投写される投写画像を画像記憶部１１５に描画する。画像生成部１１０は、画像記憶部１１５に描画した画像を示す画像信号を光変調装置１２３に出力して、画像データに対応した画像光を投写部１２０により表示面１０に投写させる。 また、画像生成部１１０は、画像記憶部１１５に描画する画像に対する画像処理を実行する。例えば、画像生成部１１０は、投写領域２０の台形歪み等を補正する幾何補正処理、表示面１０に表示させる画像のサイズを拡大または縮小するデジタルズーム処理、表示面１０に表示させる画像の色調等を補正する色補正処理等を実行する。 投写部１２０は、光源１２１、光変調装置１２３および光学ユニット１２５を備える。 光源１２１は、キセノンランプや、超高圧水銀ランプ、ＬＥＤ、レーザー光源等の光源を備える。また、光源１２１は、光源が発した光を光変調装置１２３に導くリフレクターおよび補助リフレクターを備えていてもよい。 光変調装置１２３は、例えば、液晶パネル等の変調素子を備える。光変調装置１２３は、画像記憶部１１５から入力される画像信号に従って光源１２１から入射される光を変調して画像光を形成する。画像光は、典型的には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の可視光を含むカラー画像光である。 光学ユニット１２５は、光変調装置１２３により形成された画像光を表示面１０に投写して、表示面１０上に結像させる。光学ユニット１２５は、レンズおよびミラーの少なくとも一方を含む。光学ユニット１２５は、表示面１０に投写される画像を拡大または縮小させるズーム機構や、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。 送信部１３１は、第１指示体５０の発光タイミングを、撮像部１３５の撮像タイミングに同期させるための信号である信号光１７０を出力する。信号光１７０を、図３に二点鎖線で示す。信号光１７０は、第１指示体５０が受信部５３により受信可能な近赤外光の信号である。送信部１３１は、プロジェクター１００の起動中、信号光１７０を定期的に送信する。 信号光１７０は、例えば、第１指示体５０に、第１光１９０を送信させるタイミングを指定する制御信号である。第１光１９０は、予め定められた発光パターンを有する近赤外光である。図３に、第１光１９０を一点鎖線で示す。第１指示体５０は、例