Search

KR-102961907-B1 - Method for synchronizing camera and apparatus therefor and broadcast service system

KR102961907B1KR 102961907 B1KR102961907 B1KR 102961907B1KR-102961907-B1

Abstract

본 발명은 다수의 카메라를 효율적으로 동기화시키는 동기화 방법과 이를 위한 장치에 관한 것이다. 본 발명의 실시예에 따른 카메라 제어 장치에서 다수의 카메라를 원격으로 동기화하는 방법은, 기준 클럭신호를 생성하는 단계; 시간과 관련된 카메라의 촬영 환경을 동기화시키는 하나 이상의 제어 명령을 생성하는 단계; 및 상기 기준 클럭신호와 상기 하나 이상의 제어 명령을 포함하는 동기화 패킷을 생성하여 각각의 카메라로 전송하는 단계를 포함한다. 상기 동기화 패킷을 수신한 카메라는, 시간이 상기 카메라 제어 장치와 동기화되고, 시간과 관련된 촬영 환경이 상기 동기화 패킷을 수신한 타 카메라와 일치된다.

Inventors

  • 김기범

Assignees

  • 주식회사 케이티

Dates

Publication Date
20260506
Application Date
20191028

Claims (12)

  1. 카메라 제어 장치에서 다수의 카메라를 원격으로 동기화하는 방법으로서, 기준 클럭신호를 생성하는 단계; 시간과 관련된 카메라의 촬영 환경을 동기화시키는 하나 이상의 제어 명령을 생성하는 단계; 및 상기 기준 클럭신호와 상기 하나 이상의 제어 명령을 포함하는 동기화 패킷을 생성하여 각각의 카메라로 전송하는 단계;를 포함하고, 상기 동기화 패킷을 수신한 카메라는, 시간이 상기 카메라 제어 장치와 동기화되고, 시간과 관련된 촬영 환경이 상기 동기화 패킷을 수신한 타 카메라와 일치되는 것을 특징으로 하는 카메라 동기화 방법.
  2. 제1항에 있어서, 상기 동기화 패킷은 MPEG의 TS(Trnasport Stream) 패킷이고, 상기 기준 클럭신호는 PCR(Program Clock Preference)로서, 상기 TS 패킷에 포함되는 것을 특징으로 하는 카메라 동기화 방법.
  3. 제1항에 있어서, 상기 동기화 패킷은 일정 주기 간격으로 지속적으로 생성되어, 각각의 카메라로 전송되는 것을 특징으로 하는 카메라 동기화 방법.
  4. 제1항에 있어서, 상기 하나 이상의 제어 명령을 생성하는 단계는, 카메라의 셔터 동작 시점을 지시하는 제어 명령, 타임코드의 설정 시점을 지시하는 제어 명령, 인코딩 압축 방식을 지시하는 제어 명령, PTS(Presentation Time Stamp)를 설정하는 제어 명령 중에서 하나 이상을 생성하는 것을 특징으로 하는 카메라 동기화 방법.
  5. 다수의 카메라를 원격으로 동기화하는 카메라 제어 장치에 있어서, 기준 클럭신호를 생성하는 기준 클럭신호 생성부; 시간과 관련된 카메라의 촬영 환경을 동기화시키는 하나 이상의 제어 명령을 생성하는 제어 명령 생성부; 및 상기 기준 클럭신호와 하나 이상의 제어 명령을 포함하는 동기화 패킷을 생성하여 각각의 카메라로 전송하는 동기화 패킷 생성부;를 포함하고, 상기 동기화 패킷을 수신한 카메라는, 시간이 상기 카메라 제어 장치와 동기화되고, 시간과 관련된 촬영 환경이 상기 동기화 패킷을 수신한 타 카메라와 일치되는 것을 특징으로 하는 카메라 제어 장치.
  6. 제5항에 있어서, 상기 동기화 패킷 생성부는, 상기 동기화 패킷으로서 MPEG의 TS(Trnasport Stream) 패킷을 생성하고, 상기 기준 클럭신호은 상기 TS 패킷 내의 PCR(Program Clock Preference)에 기록되는 것을 특징으로 하는 카메라 제어 장치.
  7. 제5항에 있어서, 상기 동기화 패킷 생성부는, 카메라의 셔터 동작 시점을 지시하는 제어 명령, 타임코드의 설정하는 시점을 지시하는 제어 명령, 인코딩 압축 방식을 지시하는 제어 명령, PTS(Presentation Time Stamp)을 설정하는 제어 명령 중에서 하나 이상을 생성하는 것을 특징으로 하는 카메라 제어 장치.
  8. 카메라 제어 장치의 제어에 따라 시간과 촬영 환경을 동기화하는 카메라에 있어서, 동기화 패킷을 수신하는 통신부; 기준클럭 신호 및 시간과 관련된 카메라의 촬영 환경을 동기화시키는 하나 이상의 제어 명령을 상기 동기화 패킷에서 추출하는 패킷 분석부; 및 상기 패킷 분석부에서 추출한 기준클럭 신호를 토대로 카메라 클럭에서 발생하는 시간을 보정하여 상기 카메라 제어 장치와 시간을 동기화하고, 상기 패킷 분석부에서 추출한 하나 이상의 제어 명령을 토대로 시간과 관련된 촬영 환경을 설정하는 제어부;를 포함하는 카메라.
  9. 제8항에 있어서, 상기 통신부는, 상기 동기화 패킷으로서 MPEG의 TS(Trnasport Stream) 패킷을 수신하고, 상기 패킷 분석부는, 상기 TS 패킷에 포함된 PCR에서 상기 기준 클럭신호를 추출하고, 상기 TS 패킷에 포함된 프라이빗 디스크립터에서 상기 하나 이상의 제어 명령을 추출하는 것을 특징으로 하는 카메라.
  10. 방송 동기화 서비스를 제공하는 방송 서비스 시스템에 있어서, 서비스 대상인 복수의 카메라를 가입자로부터 등록받는 가입자 관리 서버; 및 상기 가입자 관리 서버에서 등록된 상기 복수의 카메라에 대한 채널을 생성하고, 상기 가입자 관리 서버로부터 시간과 관련된 카메라의 촬영 환경을 동기화시키는 하나 이상의 제어 명령을 수신하며, 상기 복수의 카메라가 상기 채널에 접속하면 기준 클럭신호 및 상기 하나 이상의 제어 명령을 포함하는 동기화 패킷을 상기 채널에 접속한 복수의 카메라 각각으로 전송하여, 상기 복수의 카메라의 시간을 동기화시키고 각 카메라의 촬영 환경을 일치시키는 방송 동기화 서비스 서버;를 포함하는 방송 서비스 시스템.
  11. 삭제
  12. 제10항에 있어서, 상기 방송 동기화 서비스 서버는, 상기 생성한 채널의 URI(Uniform Resource Identifier)를 상기 가입자 관리 서버로 전송하고, 상기 가입자 관리 서버는, 상기 복수의 카메라 각각으로 상기 채널 URI를 전송하는 것을 특징으로 하는 방송 서비스 시스템.

Description

카메라 동기화 방법과 이를 위한 장치 및 방송 서비스 시스템{Method for synchronizing camera and apparatus therefor and broadcast service system} 본 발명은 다수의 카메라를 효율적으로 동기화시키는 동기화 방법과 이를 위한 장치에 관한 것이다. 멀티 카메라들에 대한 시간 동기화는 방송 편집 및 3D 카메라에서는 중요한 요소이다. 실시간 방송에서 카메라간 동기가 맞지 않을 경우 녹화 후 편집에서 상당히 비효율적이며 카메라간 전환에서도 상당히 부자연스러울 것이다. 3D 카메라에서 카메라간 시간이 동기화가 되어 있지 않으면 좌/우 영상 시점이 차이가 있어 정확한 양안 시차를 표현할 수 없어 스테레오 영상을 제대로 보여주기 힘들다. 이런 카메라간 시간 동기화는 향후 타임슬라이스 서비스나 홀로그램 카메라들에서도 매우 중요한 요소이다. 특히, 야구 경기를 타임슬라이스로 서비스할 경우 다시점 카메라간 몇 ms 차이가 발생하더라도 부자연스러운 영상이 생길 수 밖에 없다. TV 방송에서 다시점 카메라에 대한 방법으로 GENLOCK 또는 프레임 싱크로나이저를 많이 사용한다. 이 방법의 경우 적은 수의 카메라들의 싱크를 맞추는 것은 사용할 수 있으나, 매우 많은 다시점 카메라가 필요한 타임슬라이스나 홀로그램 영상 등에 사용하기에는 카메라 개수에 비례한 장비의 추가 및 케이블링 등을 고려할 때 비효율적인 측면이 있다. 본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다. 도 1은 본 발명의 일 실시예에 따른, 카메라 동기화 시스템을 나타내는 도면이다. 도 2는 본 발명의 일 실시예에 따른, 카메라 제어 장치의 구성을 나타내는 도면이다. 도 3은 본 발명의 일 실시예에 따른, 카메라의 구성을 나타낸다. 도 4는 본 발명의 일 실시예에 따른, 카메라에서 시간을 동기화하고 제어 명령을 수행하는 방법을 나타내는 흐름도이다. 도 5는 본 발명의 다른 실시예에 따른 방송 서비스 시스템을 나타내는 도면이다. 도 6은 본 발명의 일 실시예에 따른, 방송 서비스 시스템에서 방송 동기화 서비스를 제공하는 방법을 설명하는 흐름도이다. 상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다. 동영상 표준에는 인코더와 디코더간 시간 동기화 방법을 표준으로 제정하고 있다. 예를들어, MPEG2 System 표준에서는 1개의 인코더에서 STC(System Time Clock)을 PCR(또는 SCR)을 통해 전송하고 디코더들이 이를 수신하고 디코더의 STC를 인코더의 STC와 싱크를 맞춘다. STC의 경우 27MHz clock을 기준으로 사용하고 있어 시간 정의에 표현할 수 있는 단위는 약 3.7psec 정도이다. MPEG2 시스템에서 이와 같은 시간 동기화 메커니즘을 사용하는 이유는 수신기에서 발진소자 부품별 편차도 존재하고 온도에 따른 발진소자의 주파수도 변화하기 때문이다. 즉, 수신기에서 인코더로부터 수신한 PCR(또는 SCR)로 STC와 동기화를 진행하면 발진소자의 주파수 편차를 최소화할 수 있고 정확한 타이밍에 디코딩 및 출력이 가능하다. MPEG 표준은 MPEG1/2/4/7/H 등 표준 세트별로 시간 동기화 메커니즘을 규정하고 있다. 후술하는 실시예에서는 MPEG 2 System(ISO/IEC 13818-1을 기준으로 설명한다. 하지만, 본 발명의 기본적인 동작은 다른 MPEG 표준 셋트로도 충분한 변형이 가능하므로 본 발명의 범위는 MPEG2 시스템에 국한하지 않는다. 도 1은 본 발명의 일 실시예에 따른, 카메라 동기화 시스템을 나타내는 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른, 카메라 동기화 시스템은 다수의 카메라(100) 및 카메라 제어 장치(200)를 포함하고, 카메라(100)와 카메라 제어 장치(200)는 네트워크(300)를 통해서 서로 통신한다. 상기 네트워크(300)는 위성 네트워크, 지상파 네트워크, 케이블 통신망 이동통신망, IP 유무선망 등을 포함하는 것으로서, 본 발명에 있어서 주지의 관용기술에 해당하므로 자세한 설명은 생략한다. 카메라(100)는 네트워크(300)를 통해서 카메라 제어 장치(200)와 통신한다. 상기 카메라(100)는 유선 또는 무선 통신을 통해서 네트워크(300)와 연결될 수 있다. 상기 카메라(100)는 위성, 지상파 등과 같은 단방향 네트워크 상에서도 지정된 주파수를 이용하여, 제어 장치(200)로부터 각종 데이터를 수신할 수도 있다. 상기 카메라(100)는 카메라 제어 장치(200)로부터 TS(Trnasport Stream) 패킷을 수신하여, 이 TS 패킷 내에 존재하는 기준 클럭신호를 참조하여, 내부 클럭에 발생하는 시간을 보정하여 시간을 카메라 제어 장치(200)의 시간으로 동기화한다. 상기 TS 패킷은 MPEG2 표준에 정의되어 있으며, 본 발명에서는 카메라 동기화를 위해 이용한다. 즉, 상기 TS 패킷은 본 발명에서 동기화 관련 패킷으로 이용된다. 또한, 카메라(100)는 상기 TS 패킷에 포함된 제어 명령어를 통하여, 시간에 영향을 받는(즉, 시간과 관련된) 카메라의 촬영 환경을 타 카메라와 동일하게 일치시킬 수 있다. 상기 시간에 영향을 받는 카메라의 촬영 환경으로는, 카메라의 셔터 동작 시점, 타임코드의 설정 시점, 인코딩 압축 방식, PTS(Presentation Time Stamp) 등이 있다. 카메라 제어 장치(200)의 제어에 따라 각각의 카메라(100)는 카메라의 셔터 동작 시점, 타임코드의 설정 시점, 인코딩 압축 방식, PTS 등 중에서 하나 이상의 촬영 환경이 서로 일치될 수 있다. 카메라 제어 장치(200)는 다수의 카메라(100)의 시간을 동기화시키고, 더불어 카메라(100)을 원격으로 제어하는 기능을 수행한다. 상기 카메라 제어 장치(200)는 동기화 관련 패킷으로서 TS 패킷을 다수의 카메라(100)로 전송하여, 각 카메라(100)의 시간을 동기화한다. 이때, 카메라 제어 장치(200)는 TS 패킷에 기준 클럭 신호인 PCR(Program Clock Preference)를 기록하고, 또한 카메라 제어 명령을 추가적으로 상기 TS 패킷에 포함시킬 수 있다. 또한, 카메라 제어 장치(200)는 제어 명령을 통해서 각각의 카메라(100)의 촬영 환경을 서로 일치시킬 수 있다. 도 2는 본 발명의 일 실시예에 따른, 카메라 제어 장치의 구성을 나타내는 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 카메라 제어 장치(200)는 송수신부(210), 기준 클럭신호 생성부(220), 제어 명령 생성부(230) 및 동기화 패킷 생성부(240)를 포함하고, 이러한 구성요소들은 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 또는 소프트웨어의 결합을 통해서 구현될 수 있다. 상기 송수신부(210)는 네트워크(300)를 통하여 각각의 카메라(100)와 통신하는 기능을 수행한다. 상기 송수신부(210)는 동기화 관련 패킷인 TS 패킷을 다수의 카메라(100)로 전송할 수 있다. 상기 송수신부(210)는 리턴 경로(return path)가 있는 네트워크와 통신하는 경우, 카메라(100)로부터 락 이벤트(LOCK event)를 수신할 수 있다. 상기 락 이벤트는 카메라(100)가 정상적으로 시간을 동기화하고, 제어 명령을 수행하였음을 알리는 응답 메시지이다. 기준 클럭신호 생성부(220)는 내부 PLL(Phase Lock Loop) 회로를 이용하여 클럭 정보를 추출하고 이 클럭 정보를 기준 클럭신호인 PCR 값으로 변경시킴으로써, 기준 클럭신호를 생성한다. 제어 명령 생성부(230)는 카메라(100)를 원격으로 제어하기 위한 하나 이상의 제어 명령을 생성한다. 상기 제어 명령은 관리자에 의해서 사전에 설정되어 고정될 수 있다. 또한, 시간대에 따라 변경되는 제어 명령이 기록되는 제어 명령 변경 스케줄이 카메라 제어 장치(200)에 저장될 수 있으며, 제어 명령 생성부(230)는 상기 제어 명령 변경 스케줄에 근거하여 시간대에 따라 서로 다른 하나 이상의 제어 명령을 생성할 수 있다. 또한, 제어 명령 생성부(230)는 관리자로부터 제어 명령을 입력받을 수도 있다. 상기 제어 명령 생성부(230)는 MPEG2에서 정의한 TS 내에 프라이빗 디스크립터(private descriptor)를 추가하여, 상기 프라이빗 디스크립터에 카메라 제어 명령을 기록할 수 있다. 상기 제어 명령 생성부(230)는 이미치 처리 프로세서(ISP)에서 센서 캡처 시점을 지정된 시각에 수행하라는 명령어(즉, 셔터 동작 시점을 지정된 시점에 수행하라는 명령어), 특정 시각에 타임코드를 초기화하거나 특정 값으로 설정하라는 명령, 인코딩한 비디오와 오디오 PTS를 특정 시점으로 지정하라는 명령, 인코딩 방식을 특정 방식으로 설정하라는 명령 등 중에서 하나 이상의 제어 명령을 생성할 수 있다. 부연하면, 다시점 카메라들(100) 간에 시간이 동기화되더라도, 셔터 동작 시점이 일치하지 않으면, 다시점 카메라(100)로부터 수신한 영상이 병합될 때 병합된 영상의 싱크가 불일치할 수 있다. 또한, 다시점 카메라들(100) 간에 시간이 동기화되더라도, 타임코드가 서로 일치하지 않으면 다시점 카메라(100)의 영상이 병합될 때 복잡도가 상당히 증가할 수 있다. 마찬가지로, 다시점 카메라들(100) 간에 시간이 동기화되더라도, PTS와 인코딩 방식이 서로 일치하지 않으면 다시점 카메라(100)의 영상이 병합될 때, 병합된 영상의 싱크가 불일치할 수 있다.