JP-2026077369-A - 通信システム、通信装置および通信方法

Abstract

【課題】意思疎通を妨げないようにシステム全体で要求される伝送容量を低減する。 【解決手段】少なくとも第１装置と第２装置を備え、第１装置は、原映像を被写体の態様に基づいて重要性が異なる複数段階の要素映像に区分し、重要性が高い段階ほど相対的に高くなるように要素映像の情報密度を調整し、複数段階の要素映像を第２装置に送信し、第２装置は、第１装置から複数段階の要素映像を受信し、複数段階の要素映像を合成して復元映像を再構成する。 【選択図】図３

Inventors

• 河野 誠一
• 黒田 翔
• 高田 浩和
• 要 ▲強▼

Assignees

• レノボ・シンガポール・プライベート・リミテッド

Dates

Publication Date

20260513

Application Date

20241025

Claims (9)

1. 少なくとも第１装置と第２装置を備える通信システムであって、 前記第１装置は、 原映像を被写体の態様に基づいて重要性が異なる複数段階の要素映像に区分し、 重要性が高い段階ほど相対的に高くなるように要素映像の情報密度を調整する第１映像処理部と、 前記複数段階の要素映像を前記第２装置に送信する第１通信処理部と、を備え、 前記第２装置は、 前記第１装置から前記複数段階の要素映像を受信する第２通信処理部と、 複数段階の前記要素映像を合成して復元映像を再構成する第２映像処理部と、を備える 通信システム。
2. 前記第１映像処理部は、 前記原映像から前記被写体の形態的特徴と位置を示す特徴情報を検出し、 前記第２映像処理部は、 前記特徴情報に示される位置に前記形態的特徴が配置されるように、複数段階の前記要素映像を重畳して前記復元映像を再構成する 請求項１に記載の通信システム。
3. 前記第２映像処理部は、前記複数段階の要素映像を、情報密度が複数段階の要素映像のうち最も高い情報密度と等しくなるように変換し、変換した複数段階の要素映像を重畳して前記復元映像を再構成する 請求項２に記載の通信システム。
4. 前記第２映像処理部は、重要性が高い段階の要素映像ほど優先されるように、複数段階の前記要素映像を重畳して前記復元映像を再構成する 請求項３に記載の通信システム。
5. 前記第１映像処理部は、 前記原映像から特定の態様の被写体の移動量を検出し、 前記移動量が予め定めた移動量の範囲外である場合、当該被写体を示す要素映像を、重要性が最も低い段階である最低段階の要素映像と判定し、 前記移動量が前記移動量の範囲内である場合、当該被写体を示す要素映像を、前記最低段階の要素映像よりも重要性がより高い段階である高段階の要素映像の候補として判定する 請求項３に記載の通信システム。
6. 前記第１映像処理部は、 前記原映像から特定の態様の被写体の像の大きさを検出し、 前記大きさが予め定めた大きさの範囲外である場合、当該被写体を示す要素映像を、重要性が最も低い段階である最低段階の基本映像と判定し、 前記大きさが前記大きさの範囲内である場合、当該被写体を示す要素映像を、前記最低段階の要素映像よりも重要性が高い段階である高段階の要素映像の候補として判定する 請求項３に記載の通信システム。
7. 前記特定の態様の被写体は、人物の上半身、または、コンテンツを表示する表示媒体である 請求項５または請求項６に記載の通信システム。
8. 原映像を被写体の態様に基づいて重要性が異なる第１の複数段階の要素映像に区分し、 重要性が高い段階ほど高くなるように要素映像の情報密度を調整する映像処理部と、 前記第１の複数段階の要素映像を他の装置に送信する通信処理部と、を備え、 前記通信処理部は、 前記他の装置から少なくとも第２の複数段階の要素映像を受信し、 前記映像処理部は、 前記第２の複数段階の要素映像を合成して復元映像を再構成する 通信装置。
9. 少なくとも第１装置と第２装置を備える通信システムにおいて、 前記第１装置は、 原映像を被写体の態様に基づいて重要性が異なる複数段階の要素映像に区分するステップと、 重要性が高い段階ほど相対的に高くなるように要素映像の情報密度を調整するステップと、 前記複数段階の要素映像を前記第２装置に送信するステップと、を実行し、 前記第２装置は、 前記第１装置から前記複数段階の要素映像を受信するステップと、 複数段階の前記要素映像を合成して復元映像を再構成するステップと、を実行する 通信方法。

Description

本願は、通信システム、通信装置および通信方法、例えば、複数名で会話を行うための映像通信システムに関する。 近年、複数地点間でそれぞれ取得された映像を共有する映像通信システムが普及している。また、撮影機材や通信技術の発達により、映像通信システムには高解像度映像を扱える高解像度映像会議（High-definition video conference）を実現できるものがある。高解像度映像により、非言語的コミュニケーション（non-verbal communication）を促進することが期待される。 特開２０２３－１５５７３２号公報 本実施形態に係る通信システムの構成例を示す概略ブロック図である。本実施形態に係る端末装置のハードウェア構成例を示す概略ブロック図である。本実施形態に係る端末装置の機能構成例を示す概略ブロック図である。本実施形態に係る映像通信処理を例示するフローチャートである。原画像から抽出される静止画像を例示する図である。静止画像から抽出される要素画像を例示する図である。静止画像から特徴情報の検出例を示す図である。基本映像をなす基本静止画像を例示する図である。要素画像と基本静止画像を合成した復元静止画像を例示する図である。要素映像と基本映像との合成を例示する説明図である。本実施形態に係る要部判定処理を例示するフローチャートである。 以下、本願の実施形態について、図面を参照して説明する。本実施形態に係る通信システムＳ１の構成例について説明する。 図１は、本実施形態に係る通信システムＳ１の構成例を示す概略ブロック図である。 通信システムＳ１は、複数の端末装置１を含んで構成される。複数の端末装置１は、ネットワークＮＷを用いて相互に各種のデータを送受信可能に接続される。ネットワークＮＷは、インターネット、公衆通信ネットワーク、構内通信ネットワーク（ＬＡＮ：Local Area Network）、仮想専用ネットワーク（ＶＰＮ：Virtual Personal Network）、専用回線などのいずれか１つもしくは複数の組合せであってもよい。 図１の例では、２台の端末装置１－１、１－２が記載されている。２台の端末装置１－１、１－２は、子番号－１または－２を付して区別されている。本願では、子番号を省略することもある。 １件の通信に係る端末装置１の台数は、接続数、拠点数などと呼ばれることもある。接続数は、２個に限られず、３個以上の不特定の個数となることもあるし、特定の個数に固定されることもある。 通信システムＳ１は、例えば、会議システム、映像通話システム、などとして構成される。複数の端末装置１間で送受信されるデータには映像データが含まれる。送受信されるデータを用いて個々の端末装置１のユーザ間で意思疎通が図られる。ネットワークＮＷには、専用の通信サーバが接続され、通信サーバを経由して複数の端末装置１間でデータが伝送されることがある。 複数の端末装置１の少なくともいずれか１台（例えば、端末装置１－１）は、送信対象とする映像（本願では、「原映像」と呼ぶ）を取得する。本願では、映像の送信元となる端末装置１を「第１装置」と呼ぶことがある。第１装置は、原映像を被写体の態様に基づいて重要性が異なる複数段階の要素映像に区分し、重要性が高い段階ほど相対的に高くなるように要素映像の情報密度を調整する。第１装置は、調整後の複数段階の要素映像を他の端末装置（例えば、端末装置１－２）に送信する。本願では、映像の送信先となる端末装置１を「第２装置」と呼ぶことがある。 第２装置は、第１装置から複数段階の要素映像を受信し、受信した複数段階の要素映像を合成して復元映像を再構成する。第２装置は、再構成した復元映像を提示する。 ここで、第１装置は、映像の送信元となる端末装置１を指し、第２装置は映像の送信先となる端末装置１を指すのであって、個々の端末装置１のハードウェア構成、その他の機能構成を指すものではない。個々の端末装置１は、（１）第１装置の機能を発揮し第２装置の機能を発揮しないこと、（２）第２装置の機能を発揮し第１装置の発揮しないこと、または、（３）第１装置の機能と第２装置の機能のいずれも発揮すること、のいずれもありうる。後述する端末装置１の機能構成例では、第１装置の機能と第２装置の機能のいずれも有する。 次に、本実施形態に係る端末装置１の構成例について説明する。図２は、本実施形態に係る端末装置１のハードウェア構成例を示す概略ブロック図である。端末装置１は、例えば、パーソナルコンピュータ（ＰＣ：Personal Computer）、タブレット端末装置、多機能携帯電話機（いわゆるスマートフォンを含む）などの汎用の情報端末装置であってもよいし、会議もしくは通話専用の端末装置であってもよい。以下の説明では、端末装置１がＰＣである場合を例示する。 端末装置１は、ホストシステム１０、ＲＯＭ（Read Only Memory）２２、補助記憶装置２３、ディスプレイ２４、カメラ２５、オーディオシステム２６、通信モジュール２７、入出力Ｉ／Ｆ（Interface）２８、ＥＣ（Embedded Controller）３１、入力デバイス３２、電源回路３３および電源スイッチ３６を備える。 ホストシステム１０は、端末装置１の中核をなすコンピュータシステムである。ホストシステム１０は、プロセッサ、メインメモリおよびチップセットを備える。本願では、ホストシステム１０を構成するハードウェアを「ホストデバイス」と呼ぶことがある。 プロセッサは、端末装置１全体の動作を制御する中核的な処理装置である。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）である。プロセッサは、ソフトウェア（プログラム）に記述された各種の指令（コマンド）で指示される演算処理を実行する中核的な処理装置である。本願では、プログラムに記述された指令で指示される処理を実行することを、「プログラムを実行する」、「プログラムの実行」などと呼ぶことがある。 プロセッサとして、ＣＰＵの他、ＧＰＵが含まれてもよい。ＧＰＵは、主に画像表示に関連する機能を実現するための演算処理装置である。ＧＰＵは、ＣＰＵから発行される描画命令を処理（画像処理）し、得られた表示情報を示す表示データをディスプレイ２４に出力する。ＧＰＵは、ＣＰＵと一体化し、同一のコアに形成されてもよいし、ＣＰＵとは別個のコアに形成されてもよい。 メインメモリは、プロセッサの実行プログラムの読み込み領域として、または、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリは、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップで構成される。プロセッサとメインメモリは、ホストシステム１０をなす最小限のハードウェアである。 チップセットは、複数のコントローラを備え、複数のデバイスと各種のデータを入出力できるように接続可能とする。チップセット２１に備わるコントローラは、例えば、ＵＳＢ（Universal Serial Bus）、ＳＰＩ（Serial Peripheral Interface）バス、ＰＣＩ－Expressバス、などのいずれであってもよい。 ＲＯＭ２２は、主にファームウェアを記憶する。ＲＯＭ２２に記憶されるファームウェアには、ＢＩＯＳ（Basic Input-Output System）、その他、個々のデバイスに係るファームウェアがある。ＲＯＭ２２は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭなどの書き換え可能な不揮発性メモリを含んで構成される。 補助記憶装置２３は、ホストシステム１０の処理に用いられる各種のデータ、それらの処理により取得された各種のデータ、または、各種のプログラムなどを記憶する。補助記憶装置２３は、例えば、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard-disk Drive）などのいずれであってもよい。 ディスプレイ２４は、ホストシステム１０から入力される表示データに基づく表示画面を表示する。ディスプレイ２４は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode、有機発光ダイオード）ディスプレイなどのいずれであってもよい。 カメラ２５は、ホストシステム１０の制御に従い、自部の視野内に表われる被写体を表す画像を撮影する。カメラ２５は、映像、即ち、動画像を撮影可能なビデオカメラである。映像は、一般に一定周期ごとの静止画像を時系列順に含んで構成される。カメラ２５は、撮影した映像を示す映像データをホストシステム１０に出力する。 オーディオシステム２６は、音声コーデックを備え、音声データの入出力を行う。音声コーデックは、ホストシステム１０の制御に従い、マイクロホンから入力されるアナログの入力音声信号をディジタルの入力音声データに変換し、変換により得られる入力音声データをホストシステム１０に出力する。マイクロホンは、自部に伝搬する音声を検出し、検出した音声を示す入力音声信号をオーディオシステム２６に出力する。音声コーデックは、ホストシステム１０から出力されるディジタルの出力音声データをアナログの出力音声信号に変換するデコーダを備え、変換により得られる出力音声信号をスピーカに出力する。スピーカは、オーディオシステム２６から入力される出力音声信号に基づいて音声を提示する。 なお、マイクロホンとスピーカは端末装置１に備わってもよいし、その一方または両方は端末装置１と着脱可能に接続されてもよいし、端末装置１とは別体であってもよい。 通信モジュール２７は、無線または有線で各種のデータを送受信可能に通信ネットワークに接続する。通信モジュール２７は、通信ネットワークに接続される他の機器との間で各種のデータを通信する。通信モジュール２７は、例えば、無線ＬＡＮと接続する無線ＬＡＮモジュールである。 入出力Ｉ／Ｆ２８は、各種のデバイスと有線または無線でデータを入出力可能に接続する。入出力Ｉ／Ｆ２８は、例えば、ＵＳＢの規定に従って有線でデータを入出力するためのＵＳＢコネクタを備える。 ＥＣ３１は、ホストシステム１０の動作状態に関わらず、自部に接続される各種のデバイスの動作を監視し、制御するコントローラである。ＥＣ３１は、ホストシステム１０とは別個に、ＣＰＵ、ＲＯＭ、ＲＡＭ、タイマ、入出力Ｉ／Ｆを備える。ＥＣ３１には、ホストシステム１０に接続されるデバイスよりもデータ転送速度が低速のデバイスが接続されうる。図２の例では、ＥＣ３１には、入力デバイス３２、電源回路３３および電源スイッチ３６が接続される。 ＥＣ３１は、自部に備わるＲＯＭから所定のファームウェアを読み出し、読み出したファームウェアを実行して、その機能を提供する。自部のＲＯＭに代え、ＲＯＭ２２にファームウェアを予め記憶させておき、読み出したファームウェアを実行してもよい。但し、ＥＣ３１の起動時にＲＯＭ２２も起動させることを要する。 入力デバイス３２は、ユーザの操作を検出し、検出した操作に応じて操作信号を生成し、ＥＣ３１に出力する。入力デバイス３２は、例えば、キーボード、タッチパッド、などのいずれでもよい。 電源回路３３は、電圧変換器と充電器を備える。電圧変換器は、外部電源またはバッテリ（図示せず）から供給される直流電力の電圧を、端末装置１を構成する各デバイスの動作に要する電圧に変換し、変換した電圧を有する電力を提供先のデバイスに供給する。電源回路３３は、ＥＣ３１の制御に従って、デバイスへの電力供給を実行する。 充電器は、外部電源から供給される電力のうち、各デバイスにおいて消費されずに残され