Search

JP-2026077740-A - プログラム、通信端末、表示方法、画像通信システム

JP2026077740AJP 2026077740 AJP2026077740 AJP 2026077740AJP-2026077740-A

Abstract

【課題】画像の撮像元がリアルタイムに注目点を指定することができる画像通信システムを提供すること。 【解決手段】画像を撮像する撮像装置５と、前記画像を画面に表示する通信端末１～４とを有する画像通信システム１０であって、前記画像における注目点を定義する注目点定義部１９４と、前記撮像装置の姿勢情報を取得する姿勢情報取得部１５ａと、前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部１９６と、前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部２２０と、前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示する出力部２２４と、を有することを特徴とする。 【選択図】図１

Inventors

  • 城 英樹
  • 森田 健一郎
  • 安中 英邦
  • 本間 毅史
  • 曽根田 拓也
  • 相川 智慎
  • 武田 貴文

Assignees

  • 株式会社リコー

Dates

Publication Date
20260513
Application Date
20260212

Claims (11)

  1. 画像を撮像する撮像装置であって、 前記画像における注目点を定義する注目点定義部と、 前記撮像装置の姿勢情報を取得する姿勢情報取得部と、 前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、 前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部と、 を有することを特徴とする撮像装置。
  2. 前記姿勢情報取得部が取得した前記姿勢情報を用いて画像の天頂補正に関する処理を行う天頂補正部を有し、 前記注目点変換部は、前記天頂補正部による天頂補正の結果を用いて、前記注目点定義部が定義した注目点を変換することを特徴とする請求項１に記載の撮像装置。
  3. 前記天頂補正部は、撮像素子の座標値を球面座標系の座標値に変換する変換テーブルに、前記姿勢情報を用いて天頂補正を施し、 前記注目点変換部は前記注目点定義部が定義した注目点を撮像素子の座標値とし、前記姿勢情報で天頂補正が施された変換テーブルを用いて、前記注目点定義部が定義した注目点を球面座標系の座標値に変換することを特徴とする請求項２に記載の撮像装置。
  4. 前記天頂補正は、前記撮像装置の姿勢に関わらず、前記画像の上側に実空間の上側が写るように補正するものであり、 前記撮像装置の長手方向の上側が指し示す対象が写る撮像素子の座標値を、前記注目点定義部が前記注目点として定義することを特徴とする請求項２又は３に記載の撮像装置。
  5. 前記撮像装置が撮像する際、撮像者が注目点を指定しているか否かを判断する注目点指定有無判断部を有し、 前記注目点指定有無判断部は、撮像者が注目点を指定していると判断した場合、注目点が指定されている旨を前記画像に添付し、 前記注目点が指定されている旨が前記画像に添付されている場合、前記注目点変換部は前記注目点定義部が定義した注目点を変換することを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
  6. 撮像装置が撮像した画像を通信端末が画面に表示する画像通信システムであって、 前記画像における注目点を定義する注目点定義部と、 前記撮像装置の姿勢情報を取得する姿勢情報取得部と、 前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、 前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部と、 前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示する出力部と、 を有することを特徴とする画像通信システム。
  7. 前記出力部が表示する前記画像の表示領域の変更を受け付ける受付部を有し、 前記注目点変換部が変換した注目点を前記切出処理部が前記画像から切り出して前記出力部が表示している場合、 前記受付部は、前記表示領域の変更を受け付けないか、又は、 前記表示領域の変更を受け付けるが、前記表示領域の変更を受け付けなくなると、前記注目点変換部が変換した注目点を前記切出処理部が前記画像から切り出して前記出力部が表示することを特徴とする請求項６に記載の画像通信システム。
  8. 前記出力部は、前記注目点が指定されている旨が前記画像に添付されている場合、前記注目点が指定されている旨を表示することを特徴とする請求項６又は７に記載の画像通信システム。
  9. 画像を撮像する撮像装置と、前記画像を画面に表示する通信端末とを有する画像通信システムが行う画像処理方法であって、 姿勢情報取得部が、前記撮像装置の姿勢情報を取得するステップと、 前記姿勢情報取得部が取得した前記姿勢情報に応じて、注目点定義部が定義している注目点を注目点変換部が変換するステップと、 切出処理部が、前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出すステップと、 出力部が、前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示するステップと、 を有することを特徴とする画像処理方法。
  10. 画像を撮像する撮像装置を、 前記画像における注目点を定義する注目点定義部と、 前記撮像装置の姿勢情報を取得する姿勢情報取得部と、 前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、 前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部、 として機能させるためのプログラム。
  11. 画像を撮像する撮像装置から取得した前記画像を画面に表示する通信端末を、 姿勢情報取得部が取得した前記撮像装置の姿勢情報に応じて変換された、注目点定義部が定義している注目点、及び、前記画像を受信する受信部と、 前記受信部が受信した前記注目点を含む所定領域を前記画像から切り出す切出処理部と、 前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示する出力部、 として機能させるためのプログラム。

Description

本発明は、撮像装置、画像通信システム、画像処理方法、及び、プログラムに関する。 魚眼レンズや超広角レンズなどの広角なレンズを複数使用して周囲３６０度又は全方位（以下、全天球という。）を一度に撮像する撮像装置が知られている。この撮像装置では、各々のレンズからの像を各撮像素子に投影し、得られる各画像を画像処理によってつなぎ合わせることで、全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角なレンズを用いて、全天球の被写体が撮像された全天球画像を生成することができる。 しかしながら、撮像装置で生成される全天球画像は球面座標系にて表現されているのに対し、ディスプレイなどの通常の表示装置は平面であるため、一度に全体を表示することが困難である。このため、全天球画像を表示する際には、通常、全天球画像の一部の画角を通常の表示装置に適合した画像へ変換する専用ビューアが用いられる。 全天球画像のうち任意の画角を端末側が表示できるように、注目点を決定する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、ユーザが撮像装置を傾けたり回転させたりすることで注目点を変更し、注目点を通常の表示装置に表示する方法が開示されている。 任意の方向の注目点が指定された全天球画像を拠点Ａから拠点Ｂの間に送信する画像通信システムの概略的な動作を説明する図である。（ａ）は撮像装置の左側面図であり、（ｂ）は撮像装置の正面図であり、（ｃ）は撮像装置の平面図である。撮像装置の使用イメージ図である。（ａ）は撮像装置で撮像された半球画像（前）、（ｂ）は撮像装置で撮像された半球画像（後）、（ｃ）は正距円筒射影図法により表された画像を示した図である。（ａ）正距円筒射影画像で球を被う状態を示した概念図、（ｂ）全天球パノラマ画像を示した図である。全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。（ａ）は図６の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。所定領域情報と所定領域Ｔの画像との関係を示した図である。球座標による３次元ユークリッド空間内の点を示した図である。本実施形態の画像通信システムの構成の概略図である。撮像装置の一例のハードウェア構成図である。通信端末３，４の一例のハードウェア構成図である通信管理システムの一例のハードウェア構成図である。通信端末１，２の一例のハードウェア構成図である。画像通信システムの機能をブロック状に示す一例の機能ブロック図である（その１）。画像通信システムの機能をブロック状に示す一例の機能ブロック図である（その２）。画像種類管理テーブルを示す概念図である。撮像装置管理テーブルを示す概念図である。所定領域情報管理テーブルを示す概念図である。セッション管理テーブルを示す概念図である。画像種類管理テーブルを示す概念図である。所定領域情報管理テーブルを示す概念図である。特定の通信セッションへの参加処理を示した一例のシーケンス図である。通信セッション（仮想の会議室）の一例の選択画面を示した図である。撮像装置の一例の座標軸を説明する図である。基準となる撮像装置の姿勢の一例を説明する図である。加速度・方位センサが検出する値の一例を説明する図である。（ａ）は撮像者が対象を指し示す様子の概念図、（ｂ）は天頂補正なしに全天球画像が正距円筒図法で表された一例の正距円筒画像、（ｃ）は天頂補正ありに全天球画像が正距円筒図法で表された一例の正距円筒画像、である。撮像装置が有する画像処理部の一例の機能ブロック図である。一例の変換テーブル及び平面座標系から球面座標系への変換の一例を説明する図である。姿勢情報に基づく変換テーブルの補正の一例を説明する図である。画像回転部による一例の画像回転処理を模式的に示す図である。映像通話における全天球画像及び音データの通信処理を示す一例のシーケンス図である。撮像装置が全天球画像を生成する一例の処理と、通信端末が全天球画像を表示する処理を示す一例のフローチャート図である。ディスプレイに表示された一例の映像表示画面を示す図である。 以下、本発明を実施するための形態の一例として、画像処理システムと画像処理システムが行う画像処理方法について図面を参照しながら説明する。 ＜画像通信システムの概略＞ まず、図１を用いて、画像通信システム１０の概略的な動作について説明する。図１は、任意の方向の注目点が指定された全天球画像を拠点Ａから拠点Ｂの間に送信する画像通信システム１０の概略的な動作を説明する図である。 （１）本実施形態の撮像装置５ａには注目点座標が予め定義されている。注目点座標は、例えば撮像装置５ａの長手方向（上側）の被写体が写る撮像素子の画素又はある範囲を示すｘ、ｙ座標である。なお、注目点座標は、撮像素子上の座標であり出荷時に予め設定されている。 （２）拠点Ａの撮像者８がエアコン１４０を拠点Ｂのユーザに注目して欲しい場合、撮像者８は撮像装置５ａの長手方向（上側）をエアコン１４０に向ける。撮像装置５ａは後述する天頂補正のために常に姿勢情報を取得している。撮像装置５ａは全天球画像を撮像し、姿勢情報に基づいて天頂補正を行うので、エアコン１４０が傾いて撮像されるようなことはない。また、注目点座標にはエアコン１４０が写っているので、注目点座標の被写体がエアコンである。そして、撮像者８が撮像装置５ａを傾けることで、注目点座標がどこに変化したかは姿勢情報そのものである。従って、天頂補正により、定義されている注目点座標の変換後の注目点座標を特定できる。 （３）撮像装置５ａは通信端末１を介して全天球画像と変換後の注目点座標を拠点Ｂの通信端末２に送信する。 （４）通信端末２はそれまで表示していた所定領域画像に関わりなく、注目点座標を含む所定範囲を切り出して、所定領域画像を生成してディスプレイ等に表示するので、撮像者８は注目して欲しい対象をユーザに注目させることができる。また、撮像者ビュー情報で生成された所定領域画像は、少なくとも一定時間、閲覧者が変更できない。すなわち、強制的に撮像者ビュー情報で生成された所定領域画像が表示される。 このように、本実施形態の画像通信システム１０は、撮像装置５ａに予め注目点座標が定義されており、撮像者がこの注目点座標で見せたい対象を指し示すことで、注目点座標を姿勢情報に応じて変換してユーザに送信するので、撮像者８は拠点Ｂのユーザをリアルタイムに注目点に注目させることができる。 ＜用語について＞ 定義される注目点とは上記のように撮像素子上の１点又はある範囲である。撮像装置５ａからみて常に同じ方向の被写体が写る。本実施形態では長手方向の上側の被写体が写る撮像素子の画素又はある範囲を定義された注目点とするが、注目点の場所は任意に決定できる。例えば、長手方向の下側が指す方向、レンズの光軸方向、又は、撮像装置５ａの突起部分が指す方向、の被写体が写る撮像素子の画素などでもよい。 撮像装置の姿勢情報は、撮像装置の任意の方向が指し示す方向を特定できる情報であればよい。例えば、正立状態からどの位倒れているかを示す情報や、三次元空間の各軸の回転に関する情報である。 ＜全天球画像の生成方法＞ 図２乃至図９を用いて、全天球画像の生成方法について説明する。 まず、図２を用いて、撮像装置５ａの外観を説明する。撮像装置５ａは、３次元の全天球（３６０°）画像の元になる撮像画像を得るためのデジタルカメラである。なお、図２（ａ）は撮像装置５ａの左側面図であり、図２（ｂ）は撮像装置５ａの正面図であり、図２（ｃ）は撮像装置５ａの平面図である。 図２（ａ）に示されているように、撮像装置５ａは、人間が片手で持つことができる大きさである。また、図２（ａ），図２（ｂ），図２（ｃ）に示されているように、撮像装置５ａの上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。これら撮像素子（画像センサ）１０３ａ，１０３ｂは、半球画像（画角１８０°以上）の撮像が可能な光学部材（例えば、後述する図１１の魚眼レンズ１０２ａ，１０２ｂ）と併せて用いられる。また、図２（ｂ）に示されているように、撮像装置５ａの正面側と反対側の面には、シャッターボタン等の操作部１１５が設けられている。 次に、図３を用いて、撮像装置５ａの使用状況を説明する。なお、図３は、撮像装置の使用イメージ図である。撮像装置５ａは、図３に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮像するために用いられる。この場合、図２に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。 次に、図４及び図５を用いて、撮像装置５ａで撮像された画像から全天球画像が作成されるまでの処理の概略を説明する。なお、図４（ａ）は撮像装置で撮像された半球画像（前側）、図４（ｂ）は撮像装置で撮像された半球画像（後側）、図４（ｃ）は正距円筒図法により表された画像（以下、「正距円筒画像」という）を示した図である。図５（ａ）は正距円筒画像で球を被う状態を示した概念図、図５（ｂ）は全天球画像を示した図である。 図４（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図４（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮像装置５ａによって合成され、図４（ｃ）に示されているように、正距円筒画像が作成される。 そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図５（ａ）に示されているように、正距円筒画像が球面を覆うように貼り付けられ、図５（ｂ）に示されているような全天球画像が作成される。このように、全天球画像は、正距円筒画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2－Dimensions)及び３Ｄ(3－Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像は、静止画であっても動画であってもよい。 以上のように、全天球画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図６及び図７を用いて説明する。 なお、図６は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図７（ａ）は図６の立体斜視図、図７（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図７（ａ）では、図６に示されている全天球画像ＣＥが、三次元の立体球ＣＳで表されている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図６に示されているように、仮想カメラＩＣが全天球画像ＣＥの外部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮像方向と画角を示す所定領域情報によって特定される。 そして、図７（ａ）に示されている所定領域Ｔは、図７（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮像領域の画像として表示される。図７（ｂ）に示され