JP-2026077306-A - 状態判定プログラム、及びこのプログラムを備えた画像検査システム

JP2026077306AJP 2026077306 AJP2026077306 AJP 2026077306AJP-2026077306-A

Abstract

【課題】専門的なプログラミングスキルを有しない者であっても画像検査用のプログラムを容易に管理可能とする。【解決手段】この状態判定プログラム１２は、所定の物体Ｗの画像Ｉｍに係る教師データを用いて画像Ｉｍから物体Ｗを認識する際の基準となるモデルを機械学習により生成する生成ステップＳ１、生成したモデルを用いて画像Ｉｍから物体Ｗの情報を認識して出力する認識ステップＳ２、及び認識して出力された物体Ｗの情報に基づいて物体Ｗの状態を判定する判定ステップＳ３をコンピュータ１３に実行させるためのプログラムであって、判定ステップＳ３は、情報に対して複数のフィルタ処理ａ～ｎの中から一つのフィルタ処理を選択して実施するフィルタ処理ステップＳ３１を有し、フィルタ処理ステップＳ３１で、所定のデータファイル１５から読み込んだデータに基づいて、実施する一つのフィルタ処理及びその内容を決定する。【選択図】図３

Inventors

林大朔
小川直也

Assignees

ダイハツ工業株式会社

Dates

Publication Date: 20260513
Application Date: 20241025

Claims (2)

所定の物体の画像に係る教師データを用いて前記画像から前記物体を認識する際の基準となるモデルを機械学習により生成する生成ステップ、前記生成したモデルを用いて前記画像から前記物体の情報を認識して出力する認識ステップ、及び前記認識して出力された物体の情報に基づいて前記物体の状態を判定する判定ステップをコンピュータに実行させるためのプログラムであって、前記判定ステップは、前記情報に対して複数のフィルタ処理の中から一つのフィルタ処理を選択して実施するフィルタ処理ステップを有し、前記フィルタ処理ステップで、所定のデータファイルから読み込んだデータに基づいて、前記実施する一つのフィルタ処理及びその内容を決定する、状態判定プログラム。
請求項１に記載の状態判定プログラムと、該プログラムを実行可能なコンピュータと、前記画像を取得可能な画像取得部と、前記所定のデータファイルから読み込み可能なデータを入力し又は変更するためのインターフェースとを備えた、前記物体の状態を前記画像から自動的に検査可能な画像検査システム。

Description

本発明は、状態判定プログラム、及びこのプログラムを備えた画像検査システムに関する。従来、工場などの生産現場では、人の目視による各種検査の負担軽減を目的として、画像を用いた検査が行われてきた。特に、最近では、人工知能（ＡＩ）の発展に伴い、画像認識ＡＩ（ここでは学習により認識精度の向上が可能なアルゴリズム）を活用した画像検査を適用する動きが加速している。ここで、画像認識ＡＩは、主に、物体検出タイプ、画像分類タイプ、及び画像セグメンテーション（要素分割）タイプの三つに大別される。各画像認識ＡＩには相対的に優位な点があり、例えば画像分類タイプのＡＩは実行速度の点で他タイプのＡＩに比べて優位であり、画像セグメンテーションタイプのＡＩは認識精度の点で他タイプの画像認識ＡＩに比べて優位であり、物体検出タイプのＡＩは、実行速度や認識精度だけでなくアノテーションや後処理など総合的な面でバランスがとれており汎用性が高い点で他タイプの画像認識ＡＩに比べて優位である。上述した観点から、例えば所定の製品の組付けに係る状態など所定の目的をもって複数の物体が所定の位置関係にある状態の良否を画像検査で短時間に判定（検査）したい場合などには、物体検出タイプのＡＩが好適である。例えば、特許文献１には、物体検出タイプのＡＩを用いた画像検査システムとして、検査対象物の良品画像データと、欠陥部分を含む不良品画像データとを取得して教師データを作成し、上記ＡＩにより検査対象物の外観の良否を判定する欠陥検出エンジンを学習させると共に、学習済みの欠陥検出エンジンに基づいて入力画像に映る検査対象物の外観の良否を検査するシステムが開示されている。特開２０２３－１７２５０８号公報本発明の一実施形態に係る画像検査システムの全体構成を概念的に示す図である。図１に示すコンピュータにより実行可能な状態判定プログラムの全体構成を示すフローチャートである。図２に示す判定ステップの詳細なフローチャートである。図２に示す判定ステップの詳細なフローチャートである。図１に示す画像検査システムを用いた画像検査の流れを模式的に描いた図である。以下、本発明の一実施形態に係る状態判定プログラム及びこのプログラムを備えた画像検査システムの内容を図面に基づいて説明する。図１は、本発明の一実施形態に係る画像検査システム１０の全体構成を概念的に示している。図１に示すように、本実施形態に係る画像検査システム１０は、所定の物体Ｗの画像を取得可能な画像取得部１１と、画像検査プログラム１２と、画像検査プログラム１２を実行可能なコンピュータ１３と、所定のデータを入力可能なインターフェース１４、及びデータベース１５とを備える。ここで、画像検査プログラム１２が本発明に係る状態判定プログラムに相当する。画像取得部１１は、例えば一又は複数のカメラであって、検査対象となる物体Ｗ及び必要に応じてその周囲を撮像可能に構成されている。撮像して得た画像Ｉｍ（後述する図５を参照）はデータ化された状態でコンピュータ１３に送信可能とされている。この際、画像取得部１１でデジタル画像を直接取得してもよいし、画像取得部１１で取得したアナログ画像をデジタル化してもよい。画像検査プログラム１２は、画像取得部１１で取得した画像Ｉｍから画像認識ＡＩ（画像認識用アルゴリズム）を利用して物体Ｗの情報を取得し、取得した物体Ｗの情報に基づいて物体Ｗの状態を判定する処理をコンピュータ１３に実行させ得るように構成されている。本実施形態では、画像検査プログラム１２は、物体検出タイプの画像認識ＡＩを用いて画像Ｉｍから物体Ｗの情報を取得（検出）し、検出した情報に基づいて物体Ｗに関する検査を可能とするもので、図２に示すように、モデル生成ステップＳ１、検出ステップＳ２、及び判定ステップＳ３をコンピュータ１３で実行可能なプログラム構造をなしている。以下、判定ステップＳ３を中心に各ステップＳ１～Ｓ３の詳細を説明する。（Ｓ１）モデル生成ステップこのステップＳ１では、上述した物体検出タイプの画像認識ＡＩ（例えばＹоｌоに代表される物体検出タイプのディープニューラルネットワーク）に、物体Ｗの画像Ｉｍに係る教師データを用いた機械学習を行わせることにより、画像Ｉｍから物体Ｗの情報を検出する際の基準となるモデル（物体検出モデル）を生成する。ここでは、図５に示すように、画像Ｉｍ中の物体Ｗ（Ｗ１，Ｗ２）を囲む矩形状の領域Ｒを特定し、領域Ｒに所定のクラス（種類）をタグ付けしてなる教師データを用いて上記画像認識ＡＩに学習させることにより、上述した物体検出モデルを生成する。なお、教師データとなる学習用データは、検査対象となる物体Ｗの画像データに対して上述した領域Ｒの指定やタグ付けなどを行った画像データ（アノテーションデータともいう。）であり、例えば画像検査を通過可能な状態にある物体Ｗの画像データに係るアノテーションデータのみで構成されてもよく、必要に応じて、画像検査を通過できない状態にある物体Ｗの画像データに係るアノテーションデータが含まれてもよい。これらのデータは例えばコンピュータ１３と通信可能なデータベース１５に記憶、蓄積される。そして、画像検査プログラム１２をコンピュータ１３により実行する際、必要に応じてデータベース１５から読み込むことで利用される。（Ｓ２）検出ステップこのステップＳ２では、ステップＳ１で生成したモデルを用いて、画像取得部１１で取得した物体Ｗの画像Ｉｍから上述した画像認識ＡＩにより物体Ｗの情報を検出する。本実施形態では、図５に示すように、画像認識ＡＩに入力された画像Ｉｍに含まれる物体Ｗ（Ｗ１，Ｗ２…）を個別に特定すると共に、物体Ｗ（Ｗ１，Ｗ２）を囲む矩形状の領域Ｒを特定し、当該領域Ｒの情報（位置、大きさ、形状、種類など）と検出の信頼性に係るスコアである確信率を出力する。なお、本ステップＳ２において出力される情報が上記例示には限定されないことは当然であり、必要に応じて、他の情報を取得可能な画像認識ＡＩを用いてもよい。（Ｓ３）判定ステップこのステップＳ３では、ステップＳ２で取得した物体Ｗの情報に基づいて物体Ｗの状態を判定する。ここで、判定ステップＳ３は、フィルタ処理ステップＳ３１と、総合判定ステップＳ３２とを有する。（Ｓ３１）フィルタ処理ステップこのステップＳ３１では、ステップＳ２で取得した物体Ｗの情報に対して複数のフィルタ処理ａ～ｎ（ステップＳ３３ａ～Ｓ３３ｎ）の中から一つのフィルタ処理を選択して実施し、物体Ｗの状態の一次判定を行う（図３を参照）。ここで選択可能な複数のフィルタ処理ａ～ｎとしては、確信率、領域Ｒの位置、大きさ、形状（アスペクト比）などがある。例えば、確信率に係るフィルタ処理ａの場合、確信率の下限閾値（例えば６０％）が設定され、ステップＳ２で取得した情報のうち確信率に係る情報を、対応するフィルタ処理ａの閾値データと照合する。そして、確信率に係るデータが閾値データ未満であるか否かを判定する。これにより、確信率に係る物体Ｗの状態の一次判定が行われる（ステップＳ３３ａ）。上述したフィルタ処理の選択実施は、データベース１５に記憶、蓄積された所定のデータファイル上のデータを読み込むことで行われる。すなわち、フィルタ処理ステップＳ３１の実施に際しては、まずデータベース１５に蓄積された所定のデータファイルにアクセスし、フィルタ処理の選択内容に関するデータ、例えばフィルタ処理の実施リストを読み込んで取得する（ステップＳ３４）。然る後、読み込んだフィルタ処理の選択内容に関するデータに基づいて、実施するフィルタ処理の種類を選択する（ステップＳ３５）。選択したフィルタ処理（例えば確信率に係るフィルタ処理ａ）において、データベース１５からフィルタ処理の条件に関するデータの読み込みを行い、読み込んだ条件（例えば確信率の下限閾値）に基づいて選択したフィルタ処理を実施する。また、本図示例では、各フィルタ処理ａ～ｎに係るプログラムがサブルーチン化されており、呼び出したサブルーチンに、データベース１５から読み込んだフィルタ処理の条件に関するデータを入力することで各フィルタ処理ａ～ｎを実施する。選択したフィルタ処理に係るステップＳ３３（例えばステップＳ３３ａ）を実施した後、読み込んだフィルタ処理の選択内容に関するデータに基づいて、未選択のフィルタ処理の存否を判定する（ステップＳ３６）。言い換えると、選択肢としての残りのフィルタ処理ｂ～ｎのうち読み込んだ選択内容に含まれているフィルタ処理が存在するか否かを判定する。そして、未選択のフィルタ処理が存在すると判定した場合、フィルタ処理の種類を選択するステップＳ３５に戻って、読み込んだ選択内容に関するデータに基づいて、次に実施すべきフィルタ処理（例えば領域Ｒのアスペクト比に係るフィルタ処理ｂ）を選択し、実施する。この一連の処理を、未選択のフィルタ処理がなくなるまで繰り返し実施する。以上のようにして一次判定処理としてのフィルタ処理ステップＳ３１が完了する。（Ｓ３２）総合判定ステップこのステップＳ３２では、ステップＳ３１で所定のフィルタ処理を実施した物体Ｗの情報に対して複数の総合判定処理ａ～ｍ（ステップＳ３７ａ～Ｓ３７ｍ）の中から一つの総合判定処理を選択して実施し、物体Ｗの状態の総合判定（二次判定）を行う（図４を参照）。ここで選択可能な複数の総合判定処理としては、誤欠品判定、相対位置判定などがある。例えば、誤欠品判定に係る総合判定処理ａの場合、画像Ｉｍ中に存在すべき全ての物体Ｗのリストが設定され、ステップＳ２で取得した情報のうち画像Ｉｍ中に存在する物体Ｗの名称（種類）に係る情報を、対応する総合判定処理ａの物体リストと照合する。そして、上記リストと完全に一致するか否かを判定する。これにより、誤欠品に係る物体Ｗの状態の二次判定が行われる（ステップＳ３７ａ）。上述した総合判定処理の選択実施は、データベース１５に記憶、蓄積された所定のデータファイル上のデータを読み込むことで行われる。すなわち、総合判定ステップＳ３２の実施に際しては、まずデータベース１５に蓄積された所定のデータファイルにアクセスし、総合判定処理の選択内容に関するデータを読み込んで取得する（ステップＳ３８）。然る後、読み込んだ選択内容に関するデータに基づいて、実施する総合判定処理の種類を選択する（ステップＳ３９）。選択した総合判定処理において、データベース１５から総合判定処理の条件に関するデータの読み込みを行い、読み込んだ条件に基づいて総合判定処理が行われる。また、本図示例では、各総合判定処理ａ～ｍに係るプログラムがサブルーチン化されており、呼び出したサブルーチンに、データベース１５から読み込んだ総合判定処理の条件に関するデータを入力することで各総合判定処理ａ～ｍを実施する。選択した総合判定処理を実施した後、読み込んだ総合判定処理の選択内容に関するデータに基づいて、未選択の総合判定処理の存否を判定する（ステップＳ４０）。未選択の総合判定処理が存在すると判定した場合、実施する総合判定処理の種類を選択するステップＳ３９に戻って、読み込んだ選択内容に関するデータに基づいて、次に実施すべき総合判定処理を選択し、実施する。この一連の処理を、未選択の総合判定処理がなくなるまで繰り返し実施する。以上のようにして二次判定処理としての総合判定ステップＳ３２が完了する。インターフェース１４は、例えば本実施形態に係る画像検査システム１０の導入先（所定の生産現場）で従事する作業者により所定の情報を入力可能な位置に配置されている。ここで、インターフェース１４を通じて入力可能な情報は、フィルタ処理の選択内容に関するデータと、各フィルタ処理の条件に関するデータと、総合判定処理の選択内容に関するデータ、及び各総合判定処理の条件に関するデータとが含まれる。インターフ