KR-20260061074-A - 이미저를 이용한 이벤트 검출 시스템 및 방법

Abstract

이미지 시퀀스를 캡처하기 위한 작동 파라미터 및 프로세서로 구성된 시스템 및 이미저. 상기 프로세서는, 현재 작동 파라미터로 구성된 이미저에 의해 캡처된 제1 이미지 시퀀스에서 볼을 검출하고; 상기 제1 이미지 시퀀스로부터 결정된 볼 또는 볼 타격 도구의 위치 정보를 기반으로 상기 볼의 움직임 또는 상기 볼 타격 도구의 움직임과 관련된 하나 이상의 조건을 분석하고; 상기 하나 이상의 조건이 충족될 때, 상기 이미저의 작동 상태 변화를 트리거하며; 조정된 작동 파라미터로 구성된 상기 이미저에 의해 캡처된 제2 이미지 시퀀스에서 상기 볼을 검출하도록 구성된다.

Inventors

• 맥케프랑 매즈 징엔베르

Assignees

• 트랙맨 에이/에스

Dates

Publication Date

20260506

Application Date

20240611

Priority Date

20230614

Claims (20)

1. 시스템으로서: 이미지 시퀀스를 캡처하기 위한 작동 파라미터로 구성된 이미저; 및 프로세서를 포함하되, 상기 프로세서는: 현재의 작동 파라미터로 구성된 이미저에 의해 캡처된 제1 이미지 시퀀스에서 볼을 검출하고; 상기 제1 이미지 시퀀스로부터 결정된 상기 볼 또는 볼 타격 도구에 대한 위치 정보에 기초하여 상기 볼의 움직임 또는 상기 볼 타격 도구의 움직임과 관련된 하나 이상의 조건을 분석하고; 상기 하나 이상의 조건이 충족될 때, 상기 이미저의 작동 상태의 변화를 트리거하고; 조정된 작동 파라미터로 구성된 상기 이미저에 의해 캡처된 제2 이미지 시퀀스에서 상기 볼을 검출하도록 구성되는, 시스템.
2. 제1항에 있어서, 상기 현재의 작동 파라미터는 제1 작동 상태를 포함하고, 상기 조정된 작동 파라미터는 제2 작동 상태를 포함하는, 시스템.
3. 제2항에 있어서, 상기 제1 작동 상태는 상기 제2 작동 상태에 비해 감소된 작동 파라미터 및 전력 소비를 포함하는, 시스템.
4. 제3항에 있어서, 상기 작동 파라미터는 프레임 속도, 해상도, 또는 상기 이미저에 의해 캡처된 상기 이미지 일부의 잘라내기를 포함하는, 시스템.
5. 제1항에 있어서, 볼 검출 알고리즘은 상기 볼을 검출하고, 상기 이미지 내에서 상기 볼의 위치를 특정하고, 상기 이미지 내에서 상기 볼에 대한 위치 정보를 결정하는, 시스템.
6. 제5항에 있어서, 상기 프로세서는, 상기 볼이 이동 중인지 또는 정지되어 있는지를 결정하기 위해, 상기 일련의 이미지에 걸쳐 상기 볼을 추적하도록 추가로 구성되는, 시스템.
7. 제6항에 있어서, 상기 하나 이상의 조건 중 제1 조건은 상기 볼이 정지되어 있는 조건인, 시스템.
8. 제1항에 있어서, 상기 볼 타격 도구에 대한 검출 알고리즘은 상기 볼 타격 도구를 검출하고, 상기 이미지 내에서 상기 볼 타격 도구의 위치를 특정하고, 상기 이미지 내에서 상기 볼 타격 도구에 대한 위치 정보를 결정하는, 시스템.
9. 제8항에 있어서, 상기 프로세서는, 상기 볼 타격 도구가 이동 중인지 또는 정지되어 있는지를 결정하기 위해 상기 일련의 이미지에 걸쳐 상기 볼 타격 도구를 추적하도록 추가로 구성되는, 시스템.
10. 제9항에 있어서, 상기 하나 이상의 조건 중 제2 조건은 상기 볼 타격 도구가 상기 볼로부터 소정의 거리 내에 있는 조건인, 시스템.
11. 제10항에 있어서, 상기 하나 이상의 조건 중 제3 조건은 상기 볼 타격 도구가 소정의 각도 범위 내의 각도로 상기 볼로부터 멀리 이동하는 조건인, 시스템.
12. 제11항에 있어서, 상기 제2 및 제3 조건은 상기 볼 타격 도구의 유형에 기초하여 결정되고, 상이한 유형의 볼 타격 도구는 상이한 거리 및 각도 임계값과 연관되는, 시스템.
13. 방법으로서, 현재의 작동 파라미터로 구성된 이미저에 의해 캡처된 제1 이미지 시퀀스에서 볼을 검출하는 단계; 상기 제1 이미지 시퀀스로부터 결정된 상기 볼 또는 볼 타격 도구에 대한 위치 정보에 기초하여 상기 볼의 움직임 또는 상기 볼 타격 도구의 움직임과 관련된 하나 이상의 조건을 분석하는 단계; 상기 하나 이상의 조건이 충족될 때, 상기 이미저의 작동 상태의 변화를 트리거하는 단계; 및 조정된 작동 파라미터로 구성된 상기 이미저에 의해 캡처된 제2 이미지 시퀀스에서 상기 볼을 검출하는 단계를 포함하는, 방법.
14. 제13항에 있어서, 상기 현재의 작동 파라미터는 제1 작동 상태를 포함하고, 상기 조정된 작동 파라미터는 제2 작동 상태를 포함하는, 방법.
15. 제14항에 있어서, 상기 제1 작동 상태는 상기 제2 작동 상태에 비해 감소된 작동 파라미터 및 전력 소비를 포함하는, 방법.
16. 제15항에 있어서, 상기 작동 파라미터는 프레임 속도, 해상도, 또는 상기 이미저에 의해 캡처된 상기 이미지 일부의 잘라내기를 포함하는, 방법.
17. 제13항에 있어서, 볼 검출 알고리즘은 상기 볼을 검출하고, 상기 이미지 내에서 상기 볼의 위치를 특정하고, 상기 이미지 내에서 상기 볼에 대한 위치 정보를 결정하는, 방법.
18. 제17항에 있어서, 상기 볼이 이동 중인지 또는 정지되어 있는지를 결정하기 위해 상기 일련의 이미지에 걸쳐 상기 볼을 추적하는 단계를 추가로 포함하는, 방법.
19. 제18항에 있어서, 상기 하나 이상의 조건 중 제1 조건은 상기 볼이 정지되어 있는 조건인, 방법.
20. 제13항에 있어서, 상기 볼 타격 도구에 대한 검출 알고리즘은 상기 볼 타격 도구를 검출하고, 상기 이미지 내에서 상기 볼 타격 도구의 위치를 특정하고, 상기 이미지 내에서 상기 볼 타격 도구에 대한 위치 정보를 결정하는, 방법.

Description

이미저를 이용한 이벤트 검출 시스템 및 방법 우선권 주장 본 출원은 2023년 6월 14일에 출원된 미국 정규 특허 출원 제18/334,685호에 대한 우선권을 주장하며; 상기 명시된 출원의 명세서는 본원에 참조로서 포함된다. 스포츠 볼을 추적하고 플레이어 움직임(예를 들어, 스윙, 던지기, 및 차기 움직임 등)을 분석하여, 예를 들어, 스포츠 방송을 흥미롭게 하고 운동 선수 훈련 등을 용이하게 하기 위한 시스템이 개발되었다. 이들 시스템은, 볼, 운동 선수, 및/또는 관련 아이템(예를 들어, 라켓, 방망이, 클럽 등)의 움직임을 추적하고 분석하기 위한, 예를 들어, 레이더 및 이미저와 같은 다양한 추적 장치를 포함한다. 본 개시는 이미지 시퀀스를 캡처하기 위한 작동 파라미터로 구성된 이미저; 및 프로세서를 포함하는 시스템에 관한 것이다. 프로세서는, 현재 작동 파라미터로 구성된 이미저에 의해 캡처된 제1 이미지 시퀀스에서 볼을 검출하고; 제1 이미지 시퀀스로부터 결정된 볼 또는 볼 타격 도구의 위치 정보를 기반으로 볼의 움직임 또는 볼 타격 도구의 움직임과 관련된 하나 이상의 조건을 분석하고; 하나 이상의 조건이 충족될 때, 이미저의 작동 상태 변화를 트리거하며; 조정된 작동 파라미터로 구성된 이미저에 의해 캡처된 제2 이미지 시퀀스에서 볼을 검출하도록 구성된다. 일 구현예에서, 현재 작동 파라미터는 제1 작동 상태를 포함하고, 조정된 작동 파라미터는 제2 작동 상태를 포함한다. 일 구현예에서, 제1 작동 상태는 제2 작동 상태에 비해 감소된 작동 파라미터 및 전력 소비를 포함한다. 일 구현예에서, 작동 파라미터는 프레임 속도, 해상도, 또는 이미저에 의해 캡처된 이미지 일부의 잘라내기를 포함한다. 일 구현예에서, 볼 검출 알고리즘은 볼을 검출하고, 이미지 내에서 볼의 위치를 특정하고, 이미지 내에서 볼에 대한 위치 정보를 결정한다. 일 구현예에서, 프로세서는, 볼이 이동 중인지 또는 정지되어 있는지를 판단하기 위해, 일련의 이미지에 걸쳐 볼을 추적하도록 추가로 구성된다. 일 구현예에서, 하나 이상의 조건 중 제1 조건은 볼이 정지되어 있는 조건이다. 일 구현예에서, 볼 타격 도구에 대한 검출 알고리즘은 볼 타격 도구를 검출하고, 이미지 내에서 볼 타격 도구의 위치를 특정하고, 이미지 내에서 볼 타격 도구에 대한 위치 정보를 결정한다. 일 구현예에서, 프로세서는 볼 타격 도구가 이동 중인지 또는 정지되어 있는지를 결정하기 위해, 일련의 이미지에 걸쳐 볼 타격 도구를 추적하도록 추가로 구성된다. 일 구현예에서, 하나 이상의 조건 중 제2 조건은 볼 타격 도구가 볼로부터 소정의 거리 내에 있는 조건이다. 일 구현예에서, 하나 이상의 조건 중 제3 조건은 볼 타격 도구가 소정의 각도 범위 내의 각도로 볼로부터 멀리 이동하는 조건이다. 일 구현예에서, 제2 및 제3 조건은 볼 타격 도구의 유형에 기초하여 결정되고, 여기서 상이한 유형의 볼 타격 도구는 상이한 거리 및 각도 임계값과 연관된다. 또한 본 개시는 방법에 관한 것으로, 상기 방법은 현재 작동 파라미터로 구성된 이미저에 의해 캡처된 제1 이미지 시퀀스에서 볼을 검출하는 단계; 제1 이미지 시퀀스로부터 결정된 볼 또는 볼 타격 도구에 대한 위치 정보에 기초하여 볼의 움직임 또는 볼 타격 도구의 움직임과 관련된 하나 이상의 조건을 분석하는 단계; 상기 하나 이상의 조건이 충족될 때, 이미저의 작동 상태의 변화를 트리거하는 단계; 및 조정된 작동 파라미터로 구성된 이미저에 의해 캡처된 제2 이미지 시퀀스에서 볼을 검출하는 단계를 포함한다. 일 구현예에서, 현재 작동 파라미터는 제1 작동 상태를 포함하고, 조정된 작동 파라미터는 제2 작동 상태를 포함한다. 일 구현예에서, 제1 작동 상태는 제2 작동 상태에 비해 감소된 작동 파라미터 및 전력 소비를 포함한다. 일 구현예에서, 작동 파라미터는 프레임 속도, 해상도, 또는 이미저에 의해 캡처된 이미지 일부의 잘라내기를 포함한다. 일 구현예에서, 볼 검출 알고리즘은 볼을 검출하고, 이미지 내에서 볼의 위치를 특정하고, 이미지 내에서 볼에 대한 위치 정보를 결정한다. 일 구현예에서, 상기 방법은, 볼이 이동 중인지 또는 정지되어 있는지를 결정하기 위해, 일련의 이미지에 걸쳐 볼을 추적하는 단계를 추가로 포함한다. 일 구현예에서, 하나 이상의 조건 중 제1 조건은 볼이 정지되어 있는 조건이다. 일 구현예에서, 볼 타격 도구에 대한 검출 알고리즘은 볼 타격 도구를 검출하고, 이미지 내에서 볼 타격 도구의 위치를 특정하고, 이미지 내에서 볼 타격 도구에 대한 위치 정보를 결정한다. 일 구현예에서, 상기 방법은, 볼 타격 도구가 이동 중인지 또는 정지되어 있는지를 결정하기 위해, 일련의 이미지에 걸쳐 볼 타격 도구를 추적하는 단계를 추가로 포함한다. 일 구현예에서, 하나 이상의 조건 중 제2 조건은 볼 타격 도구가 볼로부터 소정의 거리 내에 있는 조건이다. 일 구현예에서, 하나 이상의 조건 중 제3 조건은 볼 타격 도구가 소정의 각도 범위 내의 각도로 볼로부터 멀리 이동하는 조건이다. 일 구현예에서, 제2 및 제3 조건은 볼 타격 도구의 유형에 기초하여 결정되며, 여기서 상이한 유형의 볼 타격 도구는 상이한 거리 및 각도 임계값과 연관된다. 또한, 본 개시는 비행 중인 볼의 이미지 시퀀스를 캡처하는 이미저; 및 프로세서를 포함하는 시스템에 관한 것이다. 프로세서는 다음 작동을 수행하도록 구성된다: 이미지 시퀀스로부터 제1 및 제2 이미지 내의 볼의 검출; 조밀 광학 흐름(DOF) 모델을 구현하여 제1 및 제2 이미지에 걸친 픽셀 변위의 계산; 및 픽셀 변위에 기초하는 볼에 대한 3차원 스핀 파라미터의 계산. 일 구현예에서, 이미저는 제1 및 제2 이미지를 프로세서에 전달하기 전에 볼을 포함하지 않는 이미지의 일부를 제거하기 위해 제1 및 제2 이미지를 잘라내도록 구성된다. 일 구현예에서, 제1 및 제2 이미지를 잘라내어 제1 잘라낸 이미지 및 제2 잘라낸 이미지 각각에서 볼의 중심을 맞춘다. 일 구현예에서, 제1 및 제2 이미지에서 볼을 검출하는 단계는 딥 러닝(DL) 기반 볼 모델에 기초한다. 일 구현예에서, DL 기반 볼 모델은 세그멘테이션 네트워크에 기초한다. 일 구현예에서, 프로세서는 다음 작동을 수행하도록 추가로 구성된다: 제1 및 제2 이미지 각각에서의 볼의 반경 추정; 제1 및 제2 잘라낸 이미지의 재형성에 의한 제1 재형성된 이미지에서의 볼의 반경과 제2 재형성된 이미지에서의 볼의 반경의 일치화. 일 구현예에서, DOF 모델은 DOF 추론으로 구현되어 한 쌍의 이미지에 대한 흐름을 생성하고, 여기서 상기 작동은: 이미지 시퀀스로부터 n개의 이미지에서 볼을 검출하는 단계; 및 DOF 모델을 구현하여 각각의 연속 이미지 쌍에 대한 흐름을 생성하여 n-1개의 흐름이 생성되도록 하는 단계를 추가로 포함한다. 일 구현예에서, 프로세서는 다음 작동을 수행하도록 추가로 구성된다: n-1개의 흐름에 대한 공간적 및 시간적 일관성 필터의 적용; 및 일관성이 결여된 임의의 흐름에 대한 필터링 제거. 일 구현예에서, 프로세서는 다음 작동을 수행하도록 추가로 구성된다: 중앙값 흐름의 계산; 중앙값 흐름에만 기초하는 볼에 대한 3차원 스핀 파라미터의 연산. 또한, 본 개시는, 비행 중인 볼의 이미지 시퀀스로부터 제1 및 제2 이미지 내의 볼을 검출하는 단계; 제1 및 제2 이미지에 걸친 픽셀 변위를 연산하기 위해 조밀 광학 흐름(DOF) 모델을 구현하는 단계; 및 픽셀 변위에 기초하여 볼에 대한 3차원 스핀 파라미터를 연산하는 단계를 포함하는 방법에 관한 것이다. 일 구현예에서, 이미저는 제1 및 제2 이미지를 프로세서에 전달하기 전에 제1 및 제2 이미지를 잘라내어 볼을 포함하지 않는 이미지의 일부를 제거하도록 구성된다. 일 구현예에서, 제1 및 제2 이미지를 잘라내어 제1 잘라낸 이미지 및 제2 잘라낸 이미지 각각에서 볼의 중심을 맞춘다. 일 구현예에서, 제1 및 제2 이미지에서 볼을 검출하는 단계는 딥 러닝(DL) 기반 볼 모델에 기초한다. 일 구현예에서, DL 기반 볼 모델은 세그멘테이션 네트워크에 기초한다. 일 구현예에서, 본 방법은 제1 및 제2 이미지 각각에서 볼의 반경을 추정하는 단계; 및 제1 및 제2 잘라낸 이미지를 재형성하여 제1 재형성된 이미지에서의 볼의 반경과 제2 재형성된 이미지에서의 볼의 반경을 일치시키는 단계를 추가로 포함한다. 일 구현예에서, DOF 모델은 DOF 추론에서 구현되어 한 쌍의 이미지에 대한 흐름을 생성한다. 본 방법은 이미지 시퀀스로부터 n개의 이미지에서 볼을 검출하는 단계; 및 각각의 연속 이미지 쌍에 대한 흐름을 생성하여 n-1개의 흐름이 생성되도록 DOF 모델을 구현하는 단계를 추가로 포함한다. 일 구현예에서, 본 방법은 n-1개의 흐름에 대한 공간적 및 시간적 일관성 필터를 적용하는 단계; 및 일관성이 결여된 임의의 흐름을 필터링하여 제거하는 단계를 추가로 포함한다. 일 구현예에서, 본 방법은 중앙값 흐름을 연산하는 단계; 및 중앙값 흐름에만 기초하여 볼에 대한 3차원 스핀 파라미터를 연산하는 단계를 추가로 포함한다. 또한, 본 개시는 이미저 및 프로세서를 포함하는 시스템에 관한 것이다. 이미저는 임의의 시야를 갖고, 제1 이미지 시퀀스를 캡처하기 위한 제1 작동 파라미터 세트에 의해 제어되는 정상 상태에서, 그리고 제2 이미지 시퀀스를 캡처하기 위한 제2 작동 파라미터 세트에 의해 제어되는 고속 상태에서 작동하도록 구성된다. 프로세서는 제1 이미지 시퀀스 또는 제2 이미지 시퀀스로부터 추출된 데이터에 기초하여 객체에 대한 이동 경로를 추정하고; 고속 상태에서 이미저를 제어하여 객체를 포함하는 관심 영역을 포함하는 제2 이미지 시퀀스에서 이미지를 잘라내도록 구성된다. 프로세서는 이미저를 제어하여 제2 이미지 시퀀스가 시야 내에 관심 영역을 포함하고 객체에 대한 추정된 이동 경로를 따르도록 한다. 일 구현예에서, 프로세서는 제1 이미지 시퀀스를 분석함으로써 객체를 포함하는 타격 이벤트를 검출하고; 타격 이벤트가 검출되었을 때 고속 상태에서 이미저를 작동시키기 위한 제2 작동 파라미터 세트를 적용함으로써 이미저의 상태를 변경하도록 추가로 구성된다. 일 구현