Search

KR-20260061746-A - A RGB-IR cross shooting camera, a operating method and a computer-readable recording medium thereof

KR20260061746AKR 20260061746 AKR20260061746 AKR 20260061746AKR-20260061746-A

Abstract

본 발명은 RGB-IR 교차 촬영 카메라 및 이의 동작 방법을 공개한다. 이 장치는 IR 필터를 제거한 카메라 본체; 상기 카메라 본체의 상부에 장착되어, 카메라의 핫 슈(hot shoe)에서 전달되는 오토 포커스 신호 및 셔터 신호를 수신하여, 복수개의 IR LED 및 복수개의 RGB LED의 턴 온/오프를 제어하는 LED 제어모듈; 및 상기 카메라 본체의 전면부에 장착되고, 상기 복수개의 IR LED 및 상기 복수개의 RGB LED가 링형 기판의 상부면에 장착되어, 카메라의 상기 셔터신호에 동기화되어 교대로 발광되는 링형 조명부; 를 포함하는 것을 특징으로 한다. 본 발명에 의할 경우, 임상을 위해서 환자의 동공상태를 카메라로 확인해야 할 때, IR LED와 RGB LED를 혼용하여 순차적으로 제어함으로써, 환자의 피부색이나 실제 얼굴의 실감있는 모습을 정확하게 확인할 수 있게 된다. 또한, IR LED만을 사용한 종래기술과 비교했을 때, 환자의 동공의 윤곽선의 차이가 명확해지고, 색정보 왜곡이 많이 보정되어 임상용으로 활용하기에 적합하게 될 수 있게 된다.

Inventors

  • 조경민
  • 임경훈
  • 서창욱

Assignees

  • 주식회사 애니그마테크놀로지스

Dates

Publication Date
20260506
Application Date
20241028

Claims (14)

  1. IR 필터를 제거한 카메라 본체; 상기 카메라 본체의 상부에 장착되어, 카메라의 핫 슈(hot shoe)에서 전달되는 오토 포커스 신호 및 셔터 신호를 수신하여, 복수개의 IR LED 및 복수개의 RGB LED의 턴 온/오프를 제어하는 LED 제어모듈; 및 상기 카메라 본체의 전면부에 장착되고, 상기 복수개의 IR LED 및 상기 복수개의 RGB LED가 링형 기판의 상부면에 장착되어, 카메라의 상기 셔터신호에 동기화되어 교대로 발광되는 링형 조명부; 를 포함하는 것을 특징으로 하는, RGB-IR 교차 촬영 카메라.
  2. 제1항에 있어서, 상기 링형 조명부는 상기 링형 기판의 내주면 상부에 원형으로 장착되어, 반 셔터 상태에서 상기 오토 포커스 신호에 응답하여 발광하고, 연사 촬영시 상기 셔터 신호에 응답하여 첫번째 샷에 발광하는 복수개의 RGB LED; 및 상기 링형 기판의 외주면 상부에 상기 복수개의 IR LED보다 큰 원형으로 장착되어, 연사 촬영시 상기 셔터 신호에 응답하여 두번째 샷에 발광하는 복수개의 IR LED; 를 포함하는 것을 특징으로 하는, RGB-IR 교차 촬영 카메라.
  3. 제1항에 있어서, 상기 셔터 신호의 입력이 제1 시간 이상 없는 경우, 상기 링형 조명부가 자동으로 소등되는 것을 특징으로 하는, RGB-IR 교차 촬영 카메라.
  4. 제3항에 있어서, 상기 제1 시간은 0.8 내지 1.2 초인 것을 특징으로 하는, RGB-IR 교차 촬영 카메라.
  5. 제1항에 있어서, 상기 LED 제어모듈은, 카메라에서 출력되는 셔터 핀 값이 로직 하이가 되는 경우에, 위상이 서로 반대가 되는 제1 및 제2 입력신호(Q, Qbar)를 생성하는 제1 및 제2 플립플롭; 베이스 단자가 제1 및 제2 가변저항 각각에 연결되어, 상기 제1 및 제2 가변저항 각각에 상기 제1 및 제2 입력신호(Q, Qbar) 각각이 흐르는지 여부에 따라 턴 온되는 제1 및 제2 트랜지스터; 상기 제1 트랜지스터가 턴 온되는 경우, 상기 제1 입력신호가 흐르는 제1 가변저항(VR1); 및 상기 제2 트랜지스터가 턴 온되는 경우, 상기 제2 입력신호가 흐르는 제2 가변저항(VR2); 을 포함하는 것을 특징으로 하는, RGB-IR 교차 촬영 카메라.
  6. RGB-IR 교차 촬영 카메라에 의해 수행되는 동작 방법에 있어서, (a) 상기 카메라의 동작에 사용되는 복수개의 변수가 초기화되고, 복수개의 입출력 핀 모드가 설정되는 단계; (b) 상기 복수개의 변수 중 제1 변수(Shutter_pin) 값에 따라 상기 카메라 내 RGB LED 및 IR LED가 점멸되는 단계; 및 (c) 상기 복수개의 변수 중 제2 및 제3 변수(write _pin, trigger) 값에 따라 상기 RGB LED가 턴 온되는 단계; 를 포함하는 것을 특징으로 하는, RGB-IR 교차 촬영 카메라의 동작 방법.
  7. 제6항에 있어서, 상기 (a) 단계는 셔터 핀이 입력핀으로 설정되는 단계; 및 쓰기 핀, IR 핀 및 RGB LED 핀이 출력핀으로 설정되는 단계; 를 포함하는 것을 특징으로 하는, RGB-IR 교차 촬영 카메라의 동작 방법.
  8. 제7항에 있어서, 상기 (b) 단계는 상기 RGB LED를 턴 온하고 소정시간 대기한 후에, 상기 RGB LED를 턴 오프하고 상기 소정시간 대기하는 단계; 상기 쓰기 핀이 로직 하이로 셋팅된 상태에서, 상기 셔터 핀의 상태를 확인하여 셔터 버튼이 눌렸는지 여부가 판별되는 단계; 상기 셔터 버튼이 눌렸다고 판별된 경우, 상기 IR LED를 턴 온시키는 단계; 및 상기 셔터 버튼이 눌려지지 않았다고 판별된 경우, 상기 IR LED를 턴 오프시키는 동시에, 상기 제3 변수(trigger) 값이 '1'로 셋팅되는 단계; 를 포함하는 것을 특징으로 하는, RGB-IR 교차 촬영 카메라의 동작 방법.
  9. 제6항에 있어서, 상기 (c) 단계는 상기 제1 변수(Shutter_pin) 값이 '0'이 아닌 경우, 상기 RGB LED가 턴 온되는 동작을 포함한 쓰기 메커니즘이 비활성화되는 단계; 및 상기 제3 변수(trigger) 값이 '0'이 아닌 경우, 상기 쓰기 메커니즘이 활성화되는 단계; 를 포함하는 것을 특징으로 하는, RGB-IR 교차 촬영 카메라의 동작 방법.
  10. RGB-IR 교차 촬영 카메라에 의해 수행되는 동작 방법에 있어서, (a) 상기 카메라에서 출력되는 셔터 핀 값이 로직 하이가 되는 경우에, 제1 및 제2 플립플롭에서 위상이 서로 반대가 되는 제1 및 제2 입력신호(Q, Qbar)가 생성되는 단계; (b) 상기 제1 입력신호(Q)가 제1 가변저항을 따라 흐르고, 상기 제2 입력신호(Qbar)가 제2 가변저항을 따라 흐르는 단계; (c) 로직 하이로 토글되는 셔터 핀 신호에 동기화되어 상기 제1 플립플롭이 구동되고, 상기 제1 입력신호(Q)가 상기 제1 트랜지스터의 베이스 단자에 인가되어 턴 온되며, 상기 제1 트랜지스터의 컬렉터 단자에 연결된 RGB LED가 발광되는 단계; 및 (d) 소정시간 경과한 후에 로직 하이로 토글되는 상기 셔터 핀 신호에 응답하여 상기 제2 플립플롭이 구동되고, 상기 제2 입력신호(Qbar)가 제2 트랜지스터의 베이스 단자에 인가되어 턴 온되며, 상기 제2 트랜지스터의 컬렉터 단자에 연결된 IR LED가 발광되는 단계; 를 포함하는 것을 특징으로 하는, RGB-IR 교차 촬영 카메라의 동작 방법.
  11. 제10항에 있어서, 상기 (c) 단계는, 로직 하이로 토글되는 상기 셔터 핀 신호에 동기화되어 로직 하이 상태를 유지하는 단계; 상기 제1 플립플롭이 구동되어 상기 제1 입력신호(Q)가 상기 제1 가변저항을 따라 흐르는 단계; 상기 제1 트랜지스터의 베이스 단자에 전압이 높아진 상기 제1 입력신호(Q)가 인가되어 상기 제1 트랜지스터가 턴 온되는 단계; 및 상기 RGB LED를 통해 전류가 도통되어 상기 RGB LED가 발광되는 단계; 를 포함하는 것을 특징으로 하는, RGB-IR 교차 촬영 카메라의 동작 방법.
  12. 제10항에 있어서, 상기 (d) 단계는 로직 하이로 토글되는 상기 셔터 핀 신호에 동기화되어 로직 하이 상태를 유지하는 단계; 상기 제2 플립플롭이 구동되어 상기 제2 입력신호(Qbar)가 상기 제1 가변저항을 따라 흐르는 단계; 상기 제2 트랜지스터의 베이스 단자에 전압이 높아진 상기 제2 입력신호(Qbar)가 인가되어 상기 제2 트랜지스터가 턴 온되는 단계; 및 상기 IR LED를 통해 전류가 도통되어 상기 IR LED가 발광되는 단계; 를 포함하는 것을 특징으로 하는, RGB-IR 교차 촬영 카메라의 동작 방법.
  13. 제10항에 있어서, 상기 소정시간은, 480 내지 520 ms인 것을 특징으로 하는, RGB-IR 교차 촬영 카메라의 동작 방법.
  14. 제6항 내지 제13항 중 어느 한 항에 기재된 RGB-IR 교차 촬영 카메라의 동작 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한, RGB-IR 교차 촬영 카메라의 동작 방법의 컴퓨터 판독 가능 기록 매체.

Description

RGB-IR 교차 촬영 카메라, 동작 방법 및 이들이 기록된 컴퓨터 판독 가능 기록 매체 {A RGB-IR cross shooting camera, a operating method and a computer-readable recording medium thereof} 본 발명은 RGB-IR 교차 촬영 카메라에 관한 것으로서, 보다 상세하게는 IR 카메라의 기능과 RGB 카메라의 기능을 결합하여 환자의 동공상태를 확인할 수 있는 RGB-IR 교차 촬영 카메라 및 동작 방법에 관한 것이다. 일반적으로 고가의 모션 캡쳐(motion capture) 장비와 IR 카메라를 이용한 모션캡쳐가 아닌 일반적인 RGB 카메라를 사용하여 사람의 모션과 자세를 캡쳐하려고 하는 연구가 최근에 활발히 진행되고 있다. 그리고 종래 기술로서, 공개특허공보 공개번호 제10-2016-0040230호에는 사람의 핸드의 RGB 이미지를 캡처하는 단계, 상기 핸드의 NIR(near infrared) 이미지를 캡처하는 단계, 및 캡처된 RGB 및 NIR 이미지들에 기초하여 핸드의 기하학적 특징들을 결정하는 단계를 포함하는 방법이 공개되어 있고, 그 요약서에는 사람의 핸드의 RGB 이미지를 캡처하는 단계, 핸드의 NIR(near infrared) 이미지를 캡처하는 단계, 및 캡처된 RGB 및 NIR 이미지들에 기초하여 핸드의 기하학적 특징들을 결정하는 단계를 포함하는 방법이 개시된다. 일부 실시예들에서, 기하학적 특징들을 결정하는 것은, 예를 들면, 핸드에 대한 추출된 이미지 데이터에서 제 1 쌍의 2 개의 핑거들 사이의 각도 및/또는 핸드에 대한 추출된 이미지 데이터에서 제 2 쌍의 핑거들에 대한 상대적인 거리 또는 길이 중 하나 이상과 같이, 핸드에 대한 상대적인 공간적 특징들을 나타내는 하나 이상의 값들을 핸드에 대한 추출된 이미지 데이터로부터 결정하는 것을 포함할 수 있다. 일부 실시예들에서, 상기 방법은 핸드의 결정된 기하학적 특징들에 기초하여 사람의 아이덴티티(identity)를 결정하는 것을 더 포함할 수 있다는 기재가 있다. 최근 반도체 기술 등의 발달 및 통합 멀티미디어 기기에 대한 수요의 증가로 인해, 디지털 카메라를 휴대전화, 노트북 또는 MP3 플레이어 등 휴대용 기기에 통합시킨 전자기기들이 급속하게 보급되고 있다. 이러한 디지털 카메라에는 피사체를 촬상하기 위한 화상소자를 사용한 이미지 센서가 구비되는데, 이러한 이미지 센서는 가시광선뿐만 아니라 적외선 대역의 빛에 대해서도 반응을 하기 때문에, 촬상된 이미지를 보았을 때, 피사체의 원래 색상을 재현하는 능력이 떨어지는 문제점이 발생한다. 이러한 문제점을 보완하기 위해 디지털 카메라에는 렌즈를 통해 이미지 센서로 입사되는 적외선 대역의 빛을 차단시켜 주는 적외선 차단 필터(IR cut filter)가 사용된다. 이러한 적외선 차단 필터에는 반사형 적외선 차단 필터와 흡수형 적외선 차단 필터가 있으며, 슬림형 휴대폰과 같은 초박형 휴대용 기기에는 휴대성 때문에 일반적으로 두께가 얇은 반사형 적외선 차단 필터가 사용된다. 그러나, 이러한 적외선 차단 필터는 필터에 입사되는 입사각 크기에 따라, 입사광의 파장에 따라 투과율이 변경되는 특성을 지닌다. 한편, 임상을 위해서는 환자의 동공상태를 확인해야 할 필요가 있다. 일반적으로, 동공을 카메라로 확인하기 위해서는 IR 촬영을 해야 할 필요가 있으나, IR 이미지는 RGB 이미지와 다르게 피부색이나 기타 실제 얼굴의 실감있는 모습을 확인할 수가 없다. 이 경우, 촬영된 IR 이미지에서 동공의 영역정보만 확인하고, 동일 자세에서 촬영된 RGB 이미지를 보면서 기존 IR 이미지의 동공영역을 덧대어 볼 수 있는 시스템의 필요성이 대두되었다. 이 시스템을 구축하기 위해서는 연사 모드에서 RGB-IR 이미지를 교차 촬영할 수 있는 카메라를 제작할 필요가 있다. 도 1은 본 발명의 일 실시예에 따른 RGB-IR 교차 촬영 카메라의 사진이다. 도 2는 도 1에 도시된 카메라로부터 IR 필터가 제거된 카메라 사진(a) 및 IR 필터(b)의 사진이다. 도 3은 도 1에 도시된 카메라 내 LED 제어모듈의 배면 사진이다. 도 4는 도 1에 도시된 카메라 내 링형 조명부의 평면 사진이다. 도 5는 본 발명의 제1 실시예에 따른 아날로그식 LED 제어 모듈의 회로도이다. 도 6은 도 5에 도시된 아날로그식 LED 제어 모듈의 동작을 설명하기 위한 전반적인 순서도이다. 도 7은 본 발명의 제2 실시예에 따른 디지털 아듀이노 기반 컨트롤러를 통해 코딩되는 LED 제어 알고리즘의 프로그램이다. 도 8은 도 7에 도시된 LED 제어 알고리즘의 동작을 설명하기 위한 순서도이다. 도 9는 도 8에 도시된 동작 방법 중 단계(S230)의 동작을 설명하기 위한 순서도이다. 도 10은 본 발명에 따라 LED 제어를 수행한 결과 사진을, 종래기술에 의해 IR LED만을 사용한 결과 사진과 비교한 것이다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 도 1은 본 발명의 일 실시예에 따른 RGB-IR 교차 촬영 카메라의 사진으로서, 카메라 본체(110), LED 제어모듈(120) 및 링형 조명부(130)를 포함한다. 도 2는 도 1에 도시된 카메라로부터 IR 필터가 제거된 카메라 사진(a) 및 IR 필터(115)의 사진(b)이다. 도 3은 도 1에 도시된 카메라 내 LED 제어모듈의 배면 사진이다. 도 4는 도 1에 도시된 카메라 내 링형 조명부의 평면 사진으로서, 복수개의 IR LED(131), 복수개의 RGB LED(132) 및 링형 기판(133)을 포함한다. 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 RGB-IR 교차 촬영 카메라의 각 구성요소들의 구성 및 기능을 상세하게 설명하면 다음과 같다. 도 2에서 보는 바와 같이, 기존의 완제품 카메라는 IR 조명에 촬영이 방해받지 않도록, IR 조명을 통과하지 못하게 하는 IR 필터(115)를 탑재하고 있다. 본 실시예에서는 IR 촬영에 IR 필터(115)가 방해가 되기 때문에, 기존의 완제품 카메라를 분해하여 IR 필터(115)를 제거한다. 도 3에서 보는 바와 같이, LED 제어 모듈(120)은 카메라의 핫 슈(hot shoe)에서 전달되는 오토 포커스 신호 및 셔터 신호를 수신할 수 있는 기판 및 아듀이노 모듈을 포함할 수 있다. 이때, 핫 슈에서 전달되는 오토 포커스 신호 및 셔터 신호는 아듀이노 모듈에서 처리될 수도 있고, 기판과 복수개의 트랜지스터, 복수개의 LED 및 복수개의 저항을 포함하는 아날로그식 제어 모듈(후술)로도 처리 가능하다. 링형 조명부(130)는 도 4에서 보는 바와 같이, 복수개의 IR LED(131)가 링형 기판(133)의 외주면 상부에 큰 원형으로 장착되고, 복수개의 RGB LED(132)가 링형 기판(133)의 내주면 상부에 복수개의 IR LED(131)보다 작은 원형으로 장착된다. 이때, 제1 및 제2 LED(IR LED, RGB LED)의 개수나 배치 상태는 별도의 제한은 없지만, 진단용으로 활용하기 위해서 제1 및 제2 LED(D1, D2)의 개수는 약 5개 이상이 바람직하다. 다만, 카메라의 조리개 값이 동일한 상태에서 IR 촬영과 RGB 촬영이 동시에 수행되기 때문에, 복수개의 IR LED(131)와 복수개의 RGB LED(132)에서 각각 발생되는 광의 세기는 서로 비슷해야 한다. 먼저,