Search

JP-2026076907-A - 多重合成映像を通じた作物の生育情報分析装置およびそれを利用した植物表現型探索方法

JP2026076907AJP 2026076907 AJP2026076907 AJP 2026076907AJP-2026076907-A

Abstract

【課題】植物体を収穫せずにも測定が可能な形質（初期生長、節間長、葉面積など）を選抜し、その指標と生体量との関係を求めて生育を予測する生育情報分析装置を提供する。 【解決手段】生育情報分析装置１００は、熱画像イメージから温度を分析する温度分析部１１０と、ハイパースペクトルイメージからスペクトルの範囲を分析するスペクトル範囲分析部１２０と、ＲＧＢイメージから作物を背景と分離して認識する作物認識部１３０と、熱画像イメージ、ハイパースペクトルイメージ、およびＲＧＢイメージを併合した併合イメージを利用して多重合成映像を生成する映像合成部１４０と、映像合成部で合成された多重合成映像及び併合イメージを保存するデータ保存部１５０と、保存されたイメージを利用して作物の表現型別にデータ保存部に保存された併合イメージを分類し、ＤＢを構築する人工知能分析部１６０と、備える。 【選択図】図１

Inventors

  • イ ミョン フン
  • コ キョン イル
  • ヤン クァン ホ
  • キム ヒョン ジュン
  • ヨエ ヒョン
  • キム スン ジェ
  • シン ファ ヨン
  • パク テ ハン
  • チェ ヒョン オ
  • イム サン ミン
  • チョン グァン フン
  • キム ジェ ホン

Assignees

  • インダストリー－アカデミック コーオペレーション ファウンデーション オブ スンチョン ナショナル ユニバーシティ

Dates

Publication Date
20260512
Application Date
20241127
Priority Date
20241024

Claims (6)

  1. 作物の多重合成映像を通じた作物の生育情報分析装置およびそれを利用した植物表現型探索方法において、 前記作物の多重合成映像を撮影するための、 熱画像カメラおよび前記熱画像カメラで獲得した熱画像イメージから温度を分析する温度分析部と、 ハイパースペクトルカメラおよび前記ハイパースペクトルカメラで獲得したハイパースペクトルイメージからスペクトルの範囲を分析するスペクトル分析部と、 ＲＧＢカメラおよび前記ＲＧＢカメラで獲得したＲＧＢイメージから作物を背景と分離して認識する作物認識部と、 前記熱画像カメラで獲得した前記熱画像イメージ、前記ハイパースペクトルカメラで獲得した前記ハイパースペクトルイメージ、およびＲＧＢカメラで獲得した前記ＲＧＢイメージを一つの併合イメージを生成するイメージ併合部と、 前記イメージ併合部で並合した前記併合イメージを利用して多重合成映像を生成する映像合成部と、 前記映像合成部で合成された前記多重合成映像および前記イメージ併合部で併合した前記併合イメージを保存するデータ保存部と、 前記データ保存部で保存されたイメージを利用して作物の表現型別に前記データ保存部に保存された前記併合イメージを分類し、ＤＢを構築する人工知能分析部と、 を備えた、ことを特徴とする、多重合成映像を通じた作物の生育情報分析装置およびそれを利用した植物表現型探索方法。
  2. 前記映像合成部は、前記熱画像イメージと前記作物認識部で認識した作物データを利用して熱ストレスを分析する熱ストレス分析部と、 前記ハイパースペクトルイメージと前記作物認識部で認識した作物データを利用して植生指数を分析する植生指数分析部と、 前記ＲＧＢイメージを利用してＲＧＢ分析を行うＲＧＢ分析部で構成される、 ことを特徴とする、請求項１に記載の多重合成映像を通じた作物の生育情報分析装置およびそれを利用した植物表現型探索方法。
  3. 前記ＲＧＢ分析部は、作物の表現型質による作物の特徴を分析するために、作物の形質情報を抽出する、ことを特徴とする、請求項２に記載の多重合成映像を通じた作物の生育情報分析装置およびそれを利用した植物表現型探索方法。
  4. 前記作物の形質情報は、初期生長、節間長、葉幅、葉長である、ことを特徴とする、請求項３に記載の多重合成映像を通じた作物の生育情報分析装置およびそれを利用した植物表現型探索方法。
  5. 前記作物の形質情報と結合される情報は、実のサイズ、個数、熱ストレス、および植生指数である、ことを特徴とする、請求項４に記載の多重合成映像を通じた作物の生育情報分析装置およびそれを利用した植物表現型探索方法。
  6. 前記データ保存部には、前記併合イメージとともに、作物の種類、水ストレス指数、作物の生育指数、葉長、葉幅、葉身長、作物表面温度、培地温度、映像日付、外部温度および湿度、スマートファーム内部温度および湿度、作物の番号、作物位置を含んで保存する、ことを特徴とする、請求項５に記載の多重合成映像を通じた作物の生育情報分析装置およびそれを利用した植物表現型探索方法。

Description

本出願発明は、多重合成映像を利用した作物の生育情報分析装置に関する。より詳しくは、作物の生育表現型資料であるイメージ資料と作物の生育情報を結合して作物の表現型を探す技術に関する。 本発明の出願以前の先行技術として、映像を利用した植物の表現型測定方法が開示されている。この技術では、映像処理技術を利用して作物の植生指数に対する植物の表現型を測定する技術が開示されている。 また他の先行技術として、ディープラーニング基盤作物生育診断方法およびシステムを開示している。この技術は、豆作物に対して養分ストレスによる生育状態を撮影した多数のストレス表現型ＲＧＢイメージを確保し、これを学習データとして利用して学習モデルを学習させることで、オブジェクト認識モデルを構築して豆作物の生長状態を診断する構成が開示されている。 韓国登録特許報１０－２６３０１３３韓国公開特許公報１０－２０２４－０１０６６８３ 本発明の多重合成映像を通じた作物の生育情報分析装置の全システム構成度である。本発明の作物形質データを収集するための多重合成映像を通じた作物の生育情報分析装置を利用した多重合成映像収集方法を順序図で示している。本発明の多重合成映像を通じた作物の生育情報分析装置を利用して作物の表現型質別データを収集するためのデータ収集方法を順序図で示している。本発明の多重合成映像を通じた作物の生育情報分析装置を利用して作物の表現型質データを収集してＤＢ化するデータ構造を示している。本発明の多重合成映像を通じた作物の生育情報分析装置を利用して作物の表現型質データを収集してＤＢ化し、これをユーザ画面に表示するためのユーザ画面を示している。本発明の多重合成映像を通じた作物の生育情報分析装置を利用して表現型質データを収集してＤＢ化し、ＤＢ化された資料を分析する過程を順序図で示している。本発明の多重合成映像を通じた作物の生育情報分析装置を利用して熱ストレスを分析する方法を順序図で示している。本発明の多重合成映像を通じた作物の生育情報分析装置を利用して植生指数を分析する方法を順序図で示している。本発明の多重合成映像を通じた作物の生育情報分析装置を利用してＲＧＢイメージ分析方法を順序図で示している。本発明の多重合成映像を通じた作物の生育情報分析装置を利用してハイパースペクトル映像イメージを獲得する方法を示している。本発明の多重合成映像を通じた作物の生育情報分析装置の全システム構成を概念図で示している。 本出願発明の作用効果を図面を活用して説明すると、次のとおりである。 作物の生長に対する正確なモニタリングは、旱魃、塩分、重金属など、環境ストレスに対する作物の生理生態的反応の研究に必須である。作物の生長反応で最も重要な尺度とされる生体量の場合、非破壊的な測定が不可能であるので、様々な時期にわたって植物生長の変化を観察しようとすれば、実験初期から処理別に多数の繰り返しを置いて、相対成生長法を利用して植物体を収穫しなくても測定が可能な形質（初期生長、節間長、葉面積など）を選抜し、その指標と生体量との関係を求めた後、生体量の変化を推定することができる。 作物の場合、葉面積が地上部の生体量と密接な関係を結んでいるので、葉面積を正確に測定できれば、生体量の変化を推定することができる。本出願発明においては、ＲＧＢ、熱画像およびハイパースペクトル映像装置で撮影したイメージを利用して作物の生育および収穫量を予測しようとした。そのために、前記ＲＧＢ、熱画像およびハイパースペクトル映像装置で撮影したイメージを単独でまたは多重合成イメージに変換して作物の生育と関連する情報をできるだけ正確に獲得する技術を提供しようとした。 図１は、本発明の多重合成映像を通じた作物の生育情報分析装置の全システム構成度である。作物の多重合成映像を撮影するための、熱画像カメラおよび前記熱画像カメラで獲得したイメージから温度を分析する温度分析部とハイパースペクトルカメラおよび前記ハイパースペクトルカメラで獲得したイメージからスペクトルの範囲を分析するスペクトル分析部を備え、ＲＧＢカメラおよび前記ＲＧＢカメラで獲得したイメージから作物を背景と分離して認識する作物認識部を備える。 前記温度分析部１１０は、熱画像カメラ１１１を通じて作物表面の温度および培地の温度などを測定する。熱画像カメラは、作物の水分ストレスのような環境的変化を捕捉して作物の状態を評価するのに必須な情報を提供する。必須な情報として、葉枯、病原菌感染による葉の温度変化なしの情報を提供することができる。 前記熱画像カメラ１１１は、赤外線技術を利用して作物の温度分布を感知し、作物の水分不足や過剰による生理的変化を確認することができる。 前記スペクトル範囲分析部１２０は、ハイパースペクトルカメラ１２１を利用して撮影したハイパースペクトルイメージを通じて作物の植生指数（ＮＤＶＩなど）と水分ストレスを測定することができ、イメージ獲得波長を異にして、害虫および害虫の卵を検出し出すことができる。ハイパースペクトルイメージでは、作物の光合成能力および生育状態を分析することができる。一例として、様々な波長のハイパースペクトルイメージを獲得することができ、獲得された波長帯域によって作物の葉緑素含量、水分状態を分析することができる。このような分析を通じて病虫害および熱および水分の供給による環境ストレスによく耐える作物を確認することができ、該当作物の表現型を確認することで作物の表現型による環境抵抗性を有する遺伝型を確認することができる。 前記作物認識部１３０は、ＲＧＢカメラ１３１を利用して作物のサイズと形態（例：果実サイズ、葉長、葉幅、葉身長など）を測定する。これを通じて、作物の生長程度および可視的な病虫害有無を把握することができる。ＲＧＢイメージは、視覚的に感知可能な領域の光を使用して作物の外形を把握し、生長速度とサイズ変化をモニタリングするのに使用され、作物を認識する方法は、既存の映像処理方法とＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ Ｖ７．０）のような最新人工知能技術を使用することができる。本出願発明においては、前記人工知能認識方法に追加的な学習データを利用して果実のサイズ、葉長、葉幅、葉身長などを一枚のイメージで測定することができるようにし、イメージに該当作物の位置情報を含むように構成した。また、今後、追加的な分析が可能であるように、ＲＧＢカメラはＲ（赤色）、Ｇ（緑色）およびＢ（青色）イメージを別途のＣＣＤ素子に区分して撮影し、イメージ損失のないＢＭＰイメージで保存して使用した。 前記映像合成部１４０は、熱画像カメラ１１１、ハイパースペクトルカメラ１２１、ＲＧＢカメラ１３１から得たデータを映像合成部で結合してステレオ映像を生成する。それぞれの映像は、互いに異なる情報を提供するので、これを合成して作物状態をより総合的に分析することができる。ステレオ映像合成は、同じ位置で撮れた２個以上の映像を結合して立体的な情報を提供し、これを通じてさらに精密な生育情報を推定することができる。 また、本出願発明の多重複合映像イメージファイルの管理と使用を便利にするために、ＲＧＢ、熱画像およびハイパースペクトルイメージをヘッダーを利用して区分することができるように構成して、一つのファイルに並合して保管および利用する。ＲＧＢ映像の場合、ＣＣＤ素子がＲ、Ｇ、Ｂそれぞれ区分してＢＭＰ形式の無損失イメージでそれぞれ獲得して保存する装置を利用して獲得され、熱画像イメージもＢＭＰ無損失イメージで保存され、ハイパースペクトルイメージはハイパースペクトルで撮影された波長帯域の個数だけ保存される。 前記ヘッダーは、多重複合連想イメージであることを確認することができるヘッダーであって、ファイルの開始をＭＣＩ（Ｍｕｌｔｉ Ｃｏｐｏｓｉｏｎ Ｉｍａｇｅ）にし、次いで、ＲＧＢイメージ併合位置を知らせるために、アルファベット「Ｒ」＋Ｒイメージ開始位置、アルファベット「Ｒ」＋Ｇイメージ開始位置、アルファベット「Ｒ」＋Ｂイメージ開始位置、赤外線併合位置を知らせるために、アルファベット「Ｉ」＋イメージ開始位置、ハイパースペクトルイメージ併合位置を知らせるために、アルファベット「Ｕ」＋イメージ個数、アルファベット「Ｕ」＋１番目イメージ、…、アルファベット「Ｕ」＋最後のイメージ位置、ＲＧＢイメージからイメージデータ、．．．．．．、ハイパースペクトル最後のイメージデータ、イメージ終決タグ「ＥＮＤ」で構成されるようにして、３種類の映像獲得装置で構成された多重複合映像イメージを一つのファイルに並合して簡便に使用できるように構成した。前記「ＥＮＤ」以後に様々な情報を追加で保存することができ、各データフィールドは、アルファベットと数字の組み合わせで８字ずつ区分し追加して使用することができる。特に、作物の表現型は、前記「ＥＮＤ」以後にアルファベット８字に区分することができ、追加で８字の数字を付け加えることができるように構成した。 前記映像合成部で合成されたイメージおよび前記イメージ併合部で並合した併合イメージを保存するデータ保存部に保存され、前記データ保存部で保存されたイメージを利用して作物の表現型別に前記データ保存部に保存された前記併合イメージを分類し、ＤＢを構築する人工知能分析部を備えた。 前記映像合成部は、前記熱画像イメージと前記作物認識部で認識した作物データを利用して熱ストレスを分析する熱ストレス分析部と前記ハイパースペクトルイメージと前記作物認識部で認識した作物データを利用して植生指数を分析する植生指数分析部および前記ＲＧＢイメージを利用してＲＧＢ分析を行うＲＧＢ分析部で構成される。 前記人工知能分析部１６０は、保存されたデータを人工知能モデルを通じて分析する。 前記人工知能分析部では、前記データ保存部に保存されたＲＧＢイメージ、熱画像イメージおよびハイパースペクトルイメージを作物の初期生長、節間長、葉幅、葉長のような表現型に分類し、前記分類された表現型の関連性をさらに生成して、ユーザの要求に応じて５個から２０個まで分類し、属性データで実のサイズ、実の個数、水分ストレスおよび植生指数を結合して、栽培者である農夫が今後の作物の表現型を選択して栽培することができるように情報を提供することができる。 また、前記人工知能分析部は、作物の生育状態判断部、病虫害判断部、水分ストレス水準判断部で構成されることができ、前記多重合成イメージを利用して学習されたモデルで構成される。そのために、人工知能分野のディープラーニング技術を使用してもよい。付け加えると、ディープラーニング基盤の人工知能アルゴリズムが多重合成映像を分析して病虫害診断機能、生育傾向分析機能、環境ストレス対応方法などをユーザに提供することができる。 図２は、本発明の作物形質データを収集するための多重合成映像を通じた作物の生育情報分析装置を利用した多重合成映像収集方法を順序図で示している。本出願発明の人工知能データ分析部を利用した傾向分析および予測順序図を示している。ＲＧＢ、熱画像およびハイパースペクトル映像を獲得し、これをステレオ映像で合成する。前記ステレオ映像は、既存のステレオ映像とは異なり、２個の異なる映像イメージ撮影装置を利用して１個体を撮影した映像でステレオイメージを生成する。このようにすることで、２個の互いに異なる方法で撮影された映像イメージを比較して分析することができる。前記生成されたステレオイメージは、人工知能データ分析部で分析される。基本的に、前記人工知能データ分析部では、「作物の生育状態判断部」、「病虫害判断部」および「水分ストレス水準判断部」を含む。そのために、それぞれの作物個体別に測定されたイメージで垂直成長を判断して作物の生育状態を判断し、作物の葉周面の映像資料から病虫害を判断し、熱画像イメージとハイパースペクトルイメージを利用して水分スープ