JP-2026076878-A - 映像処理装置、映像処理方法及び映像処理プログラム

JP2026076878AJP 2026076878 AJP2026076878 AJP 2026076878AJP-2026076878-A

Abstract

【課題】ＤＲＡＭへのアクセスを減らしつつブロックごとの多並列処理を行うことによって、映像の変換処理を高画質かつ低遅延で行うことが可能な映像処理装置、映像処理方法及び映像処理プログラムを提供することを課題とする。【解決手段】入力映像を変換前フレーム画像として記憶する入力画像記憶手段と、当該入力画像記憶手段から読み出した所定範囲の変換前フレーム画像の画素データを記憶するとともに、当該画素データに対してランダムアクセス可能なメモリで構成されたブロック記憶手段と、所定の補間演算によって変換前の画素データから変換後の画素データを算出する補間手段と、変換後の画素データからなる変換後フレーム画像を記憶する出力画像記憶手段と、変換後フレーム画像を出力映像として出力する映像出力手段とを有し、前記ブロック記憶手段は、変換後フレーム画像を所定の大きさに分割してなる単位ブロックの各画素に対してバックプロジェクションを行うことで算出される変換前フレーム画像中の画素を参照してその画像データを読み出し、前記補間手段は、変換後の画素に対応する変換前の画素の周辺に位置する画素の画素データを参照して前記ブロック記憶手段から読み出すとともに、適宜の補間演算方法によって変換後の画素データを算出することとした。【選択図】なし

Inventors

篠田義一
加藤純一

Assignees

株式会社ベクトロジー

Dates

Publication Date: 20260512
Application Date: 20241024

Claims (5)

魚眼画像で構成される入力映像から正距円筒画像で構成される出力映像へ所定の補間演算を伴うエクイレクタングラー変換によって映像を処理する映像処理装置であって、入力映像を変換前フレーム画像として記憶する入力画像記憶手段と、当該入力画像記憶手段から読み出した所定範囲の変換前フレーム画像の画素データを記憶するとともに、当該画素データに対してランダムアクセス可能なメモリで構成されたブロック記憶手段と、所定の補間演算によって変換前の画素データから変換後の画素データを算出する補間手段と、変換後の画素データからなる変換後フレーム画像を記憶する出力画像記憶手段と、変換後フレーム画像を出力映像として出力する映像出力手段とを有し、前記ブロック記憶手段は、変換後フレーム画像を所定の大きさに分割してなる単位ブロックの各画素に対してバックプロジェクションを行うことで算出される変換前フレーム画像中の画素を参照してその画像データを読み出し、前記補間手段は、変換後の画素に対応する変換前の画素の周辺に位置する画素の画素データを参照して前記ブロック記憶手段から読み出すとともに、適宜の補間演算方法によって変換後の画素データを算出することを特徴とする映像処理装置。
前記ブロック記憶手段は、変換後フレーム画像を複数の前記単位ブロックからなる並列ブロックに分類するとともに、各分類につき多並列処理を行う請求項１に記載の映像処理装置。
前記補間手段は、前記単位ブロックに含まれるすべての画素に対応する変換前の画素を参照して、その参照先座標の最小値を原点とする所定の領域に位置する画素の画素データを前記入力画像記憶手段から前記ブロック記憶手段へと読み出して補間演算を行う請求項１又は２に記載の映像処理装置。
前記バックプロジェクションは、変換後フレーム画像の画素の座標（ｘ，ｙ）に対し、次式：によって変換前フレーム画像の画素の座標（ｕ′，ｖ′）を算出することで行われる請求項１～３のいずれかに記載の映像処理装置。（ここで、〔１〕（Ｒは仮想球面の半径、αは座標（ｘ，ｙ）の画素に対応する点Ｐの当該仮想球面上の経度、βは緯度をそれぞれ表す。）〔２〕（ｕは点Ｐを半径１の仮想球面に射影した点Ｐ１のｘ座標、ｖはｙ座標、ｗはｚ座標をそれぞれ表す。）〔３〕（ｒは点Ｐ 1 とイメージサークル中心からの距離、Ｋ０、Ｋ１、Ｋ２・・・Ｋ６は、当該魚眼レンズにおける半径方向の歪み係数、θは点Ｐ１の入射角を表す。）とする。）
コンピュータを請求項１～４のいずれかに記載の映像処理装置として機能させるための映像処理プログラム。

Description

本発明は、魚眼カメラで取得した画像を高解像度かつ低遅延で正距円筒図（エクイレクタングラー形式）へ変換可能な映像処理装置、映像処理方法及び映像処理プログラムに関する。近年、ヘッドマウントディスプレイ、ドーム型ディスプレイ等を利用して、遠隔地の様子をユーザがその場にいるように体験できるＶＲサービスが普及してきている。ＶＲ用の実写円天周動映像は、魚眼レンズを使用したカメラを複数配置して、それぞれのカメラが撮影した映像をフレーム画像ごとに正距円筒図法等により平面展開した後、同一の領域を画素単位で結合することで、平面映像として生成される。魚眼カメラによって取得した映像は、レンズが魚眼であることから、上下左右の端部に向かうにつれて大きな歪みを生じてしまい、そのままでは人間が視認しても立体感や奥行きが得られず、またＡＩによる画像認識に際しても正しく対象物を認識できないといった不具合があった。この問題を解決するため正距円筒図法によりエクイレクタングラー形式の映像に変換する処理工程を経ることで変換後の映像から方位・角度が判別可能となり、これによってＶＲ映像への適用が可能となった。正距円筒図法においては変換後の画素を変換前の画素を用いて補間する必要があるところ、この補間処理の手法として、変換前の複数の画素を用いてバイリニア補間等を行う手法が開示されている（特許文献１参照）。特開２０２２－０６８９８３号公報本発明の実施形態につき、図表や数式を参照しつつ説明する。なお、本発明の技術的範囲は、いうまでもなく以下の実施例に限定されるものではない。本発明の映像処理装置１は、補間工程を伴う変換処理により、入力映像を出力映像に変換するものである。本実施例において、映像処理装置１は、補間を伴う映像の変換処理方法として、魚眼カメラで撮影された入力映像を正距円筒図形式（エクイレクタングラー形式）の出力映像に変換するものとする。下表に示すように、映像処理装置１は、入力映像取得手段Ａと、入力画像記憶手段Ｍｉと、メモリブロック生成手段Ｂｇと、ブロック記憶手段Ｍｂと、補間手段Ｉｐと、出力画像記憶手段Ｍｏと、映像出力手段Ｏとを備える。入力映像取得手段Ａは、魚眼レンズを通してイメージセンサー上に射影された映像情報を取得するものであって、ここでは魚眼画像Ｇ１で構成された映像を取得する。入力映像取得手段Ａは、入力映像のフレームである魚眼画像Ｇ１を入力画像記憶手段Ｍｉに逐次書き込み記憶していく。また、入力映像取得手段Ａは、１フレームの入力画像記憶手段Ｍｉへの書き込みが終了した段階で、メモリブロック生成手段Ｂｇに書き込み終了を通知する。入力画像記憶手段Ｍｉは、入力映像を構成するフレーム画像を記憶するものであり、ここでは、入力映像取得手段Ａで取得した魚眼画像Ｇ１を記憶する。入力画像記憶手段Ｍｉは、半導体メモリで構成することができ、たとえば画像メモリとして一般的なＤＲＡＭで構成することができる。入力画像記憶手段Ｍｉに記憶された魚眼画像Ｇ１は、メモリブロック生成手段Ｂｇによって読み出される。メモリブロック生成手段Ｂｇは、入力画像記憶手段Ｍｉに記憶されたフレーム画像を、変換処理による変換後の単位ブロックに含まれるすべての画素の補間演算に要する画素数よりも多い水平方向および垂直方向にそれぞれ所定の大きさのメモリブロックに分割して生成する。このメモリブロックは、少なくとも後述する補間手段Ｉｐで補間演算に必要な画素、たとえばバイリニア補間演算であれば４画素（２×２画素）が１つのブロックに含まれる大きさとする。たとえば、４Ｋパノラマ版においては、出力映像を２４０［ｐｉｘｅｌ］ｘ２１６［ｌｉｎｅ］の単位ブロックに分割し、その単位ブロックに含まれるすべての画素が参照する入力映像の範囲を入力画像記憶手段Ｍｉからブロック記憶手段Ｍｂに読み出して、その画素データへランダムアクセスしながら変換処理、補間処理を行う。このとき、入力画像記憶手段Ｍｉからブロック記憶手段Ｍｂへ画素データを書き出すために、単位ブロックに含まれる全座標から入力画像の参照先の座標を算出することとなる。算出された参照先の座標の最小値からブロック記憶手段Ｍｂに書き込む画素データの原点が定められ、本実施例においては、その原点を基準とする３８４［ｐｉｘｅｌ］ｘ３８４［ｌｉｎｅ］の画素データをブロック記憶手段Ｍｂに書き込む。算出された参照先座標の近傍４点の画素データをブロック記憶手段Ｍｂから読み出し、バイリニア補間を行って、出力する画素データが生成される。本実施例において使用した４Ｋパノラマ版の撮影機材（ＳＯＮＹ α６４００＋ＥＮＴＡＮＩＹＡＦｉｓｈｅｙｅＨＡＬ２００）では、ＲａｗＩｍａｇｅＢｕｆｆｅｒのサイズが３８４［ｐｉｘｅｌ］ｘ３８４［ｌｉｎｅ］であることから、歪みが大きい端のほうでも２４０［ｐｉｘｅｌ］ｘ２１６［ｌｉｎｅ］の参照先の画素データをカバーすることができるが、半径値がさらに小さく歪みがさらに大きくなる場合は、ブロックのサイズを小さくするか、ＲａｗＩｍａｇｅＢｕｆｆｅｒのサイズを大きくする必要がある。メモリブロック生成手段Ｂｇは、ブロック記憶手段Ｍｂにメモリブロックの書き込みを終了した段階で、補間手段Ｉｐに書き込み終了を通知する。ブロック記憶手段Ｍｂは、メモリブロック生成手段Ｂｇで生成されたメモリブロックを記憶するものであり、画素単位でランダムアクセス可能なメモリであって、本実施例においてはＦＰＧＡのブロックＲＡＭで構成する。ブロック記憶手段Ｍｂは、複数のブロックＲＡＭ、たとえば水平方向のブロック数２個、垂直方向のブロック数１個だけブロックＲＡＭを配置して、順次メモリブロックを更新している。なお、ブロックＲＡＭの出力ポートが２の場合、メモリブロックからは、一度に２画素の画素データしか読み出せないため、その場合はブロック記憶手段Ｍｂには、メモリブロック生成手段Ｂｇが、同じメモリブロックを二重に書き込み、補間手段Ｉｐが、それぞれのメモリブロックから２画素ずつ、計４画素の画素データを読み出すこととなる。補間手段Ｉｐは、変換後の画素位置に対応する変換前の画素位置の周辺画素の画素データをメモリブロックから読み出し、補間演算により、変換後の画素位置の画素データを算出する。ここでは、ブロック記憶手段Ｍｂに記憶されているメモリブロックを参照して、正距円筒画像Ｇ２の画素データを補間して生成する。補間手段Ｉｐは、変換前座標算出手段Ｉｃと、補間画素データ算出手段Ｉｄとを備えている。変換前座標算出手段Ｉｃは、変換後の画素位置に対応する変換前の画素位置（座標）を算出するものである。ここでは、変換前座標算出手段Ｉｃは、変換後の正距円筒画像Ｇ２の画素に対応する変換前の魚眼画像Ｇ１の画素の位置（座標）を算出する。すなわち、変換前座標算出手段Ｉｃは、下表に示すように、（ａ）の魚眼画像Ｇ１を、正距円筒画像Ｇ２に変換する場合の正距円筒画像Ｇ２の画素位置（座標Ｐ（ｘ、ｙ））に対応する魚眼画像Ｇ１の画素位置（座標Ｐ′（ｕ′,ｖ′））を算出する。なお、本実施例において、魚眼画像Ｇ１から正距円筒画像Ｇ２への変換は一般的なエクイレクタングラー変換を用いて行われるため、変換前座標算出手段Ｉｃは、エクイレクタングラー変換のバックプロジェクション（逆変換）を行うことで、正距円筒画像Ｇ２の画素位置（座標Ｐ（ｘ，ｙ））に対応する変換前の魚眼画像Ｇ１の画素位置（座標Ｐ′（ｕ′，ｖ′））を算出することが可能となる。すなわち、魚眼レンズで撮像された視野角１８０°のイメージサークルの半径をＲとして、このイメージサークルを正距円筒図法に変換すると下表のような状況となる。ここで、正距円筒図法上の任意の点Ｐの座標（ｘ，ｙ）の半径Ｒの仮想球面上の経度αと緯度βは、Ｒを使って次式のとおり表すことができる。さらに、点Ｐを半径１の仮想球面上に射影した点Ｐ１の座標（ｕ，ｖ，ｗ）は、以下のような状況となる。そして、点Ｐ１の座標（ｕ，ｖ，ｗ）は、経度αと緯度βを用いて次式のとおり表すことができる。また、点Ｐ１の入射角、つまり仮想球面の中心Ｏと点Ｐ１を結ぶ線とｚ軸とのなす角をθとするとき、θは次の式で表すことができる。魚眼レンズを通して入射した光をイメージセンサーに射影するとき、射影される点とイメージサークル中心からの距離ｒは入射角θの関数で表すことができる。本実施例において用いる魚眼レンズでは、射影された点とイメージサークル中心からの距離ｒは入射角θの多項式を使って、たとえば以下のように近似することができる。（ここで、Ｋ０、Ｋ１、Ｋ２・・・Ｋ６は、当該魚眼レンズにおける半径方向の歪み係数を表す。）以上の演算過程を経ることで魚眼レンズの歪みを考慮したキャリブレーションを行うとき、点Ｐをｘｙ平面上に射影した点の座標（ｕ′，ｖ′）は、以下の式で表すことができる。本発明の画像処理方法においては、出力座標（ｘ，ｙ）からバックプロジェクションを行って入力映像（ｕ′，ｖ′）の画素を読み出して処理を行うところ、ＤＲＡＭではランダムアクセスができないことから、ラスタースキャン方式で処理を行うと冗長なメモリアクセスが増えてしまうため処理効率が著しく悪くなってしまうことは前述のとおりである。そこで、たとえば４Ｋパノラマ版では、出力映像を２４０［ｐｉｘｅｌ］ｘ２１６［ｌｉｎｅ］のブロックに分割し、そのブロックが参照する入力映像の範囲を入力画像記憶手段Ｍｉからブロック記憶手段Ｍｂに抜き出して、これにランダムアクセスしながら処理を行う。次に、入力画像記憶手段Ｍｉからブロック記憶手段Ｍｂへ画素データを書き出すために、上記の方法によってブロックに含まれる全座標から入力映像の参照先座標を計算する。計算された参照先の座標の最小値からブロック記憶手段Ｍｂに書き込む画素データの原点を決め、その原点を基準として３８４［ｐｉｘｅｌ］ｘ３８４［ｌｉｎｅ］の画素データをブロック記憶手段Ｍｂに書き込む。算出された参照先座標の近傍４点の画素データをブロック記憶手段Ｍｂから読み出し、バイリニア補間を行って、出力する画素データが生成される。２４０［ｐｉｘｅｌ］ｘ２１６［ｌｉｎｅ］のブロックに対する座標計算や画素データ読み出しは、上記のブロックを２４０［ｐｉｘｅｌ］ｘ５４［ｌｉｎｅ］ごとにさらに４つに分けて４並列で行うこととする。この点について、４Ｋの出力映像を２４０［ｐｉｘｅｌ］ｘ２１６［ｌｉｎｅ］のブロックに分割すると、横１６個、縦１０個の計１６０ブロックに分けられるところ、本実施例においては、４Ｋパノラマ修正版で６０ｆｐｓを達成するために、横６個、縦１０個の計６０ブロックずつに４Ｋ映像を３分割し、各分割領域を同時に処理する。右側でも横６個、縦１０個の計６０ブロック処理するが、出力画面に表示されるのは横４個、縦１０個の領域だけとする。変換前座標算出手段Ｉｃは、変換後の画素位置（座標ｐ）と、変換前の画素位置（座標ｐ′）とを補間画素データ算出手段Ｉｄに出力する。補間画素データ算出手段Ｉｄは、変換前座標算出手段Ｉｃで算出された変換前の画素位置の画素データを、当該画素の周辺画素の画素データで補間演算により算出する。ここでは、補間画素データ算出手段Ｉｄは、バイリニア補間演算により画素データを算出しており、変換前の画素位置の周辺４画素の画素データを、ブロック記憶手段Ｍｂに記憶されているメモリブロックから読み出し、バイリニア補間演算により画素データを算出する。この算出した画素データは、変換後の画素位置の画素データとなる。具体的には、下表に示すように、補間画素データ算出手段Ｉｄは、変換前の画素位置の座標ｐ′を（ｘ′、ｙ′）とするとき、周辺４画素の座標を、ｐ１（［ｘ′］，［ｙ′］）、ｐ２（［ｘ′］＋１，［ｙ′］）、ｐ３（［ｘ′］，