KR-20260061742-A - System for ultra low latency live streaming using 5G

Abstract

본 발명은 라이브 스트리밍 서비스 시스템에 관한 것으로, 스트리밍 데이터를 제공하는 송출자 장치와, 스트리밍 데이터를 시청하는 시청자 장치와, 상기 송출자 장치 및 상기 시청자 장치의 네트워크 상태를 확인하고, 스트리밍 데이터를 네트워크 상태에 따라 전송 속도 또는 해상도를 조정하여 스트리밍 서비스를 제공하는 스트리밍 제어서버를 포함할 수 있다.

Inventors

• 권영준
• 권영건

Assignees

• 권영준

Dates

Publication Date

20260506

Application Date

20241028

Claims (5)

1. 스트리밍 데이터를 제공하는 송출자 장치; 스트리밍 데이터를 시청하는 시청자 장치; 및 상기 송출자 장치 및 상기 시청자 장치의 네트워크 상태를 확인하고, 스트리밍 데이터를 네트워크 상태에 따라 전송 속도 또는 해상도를 조정하여 스트리밍 서비스를 제공하는 스트리밍 제어서버를 포함하는 라이브 스트리밍 서비스 시스템.
2. 제1항에 있어서, 상기 네트워크 상태는, 네트워크 대역폭인 것을 특징으로 하는 라이브 스트리밍 서비스 시스템.
3. 제1항에 있어서, 상기 스트리밍 제어서버는, WebRTC(Web Real-Time Communications) 기반의 서버인 것을 특징으로 하는 라이브 스트리밍 서비스 시스템.
4. 제3항에 있어서, 상기 스트리밍 제어서버는, ICE(Interactive Connectivity Establishment)를 통해 상기 송출자 장치의 네트워크 연결 상태를 확인하고, 연결 경로를 고정시켜 안정된 스트리밍 데이터의 송출이 가능하도록 하는 것을 특징으로 하는 라이브 스트리밍 서비스 시스템.
5. 제3항에 있어서, 상기 스트리밍 제어서버는, FEC(Forward Error Correction)를 사용하여 전송 시 손실되는 패킷을 복구하여 스트리밍 데이터의 영상 및 음성 품질을 유지하는 것을 특징으로 하는 라이브 스트리밍 서비스 시스템.

Description

5G를 활용한 초저지연 라이브 스트리밍 서비스 시스템{System for ultra low latency live streaming using 5G} 본 발명은 5G를 활용한 초저지연 라이브 스트리밍 서비스 시스템에 관한 것으로, 더 상세하게는 서비스 사용자의 특징 별로 다른 스트리밍 기술을 적용하여 초저지연 라이브 스트리밍 서비스의 품질을 향상시킬 수 있는 초저지연 라이브 스트리밍 서비스 시스템에 관한 것이다. 본 발명은 아래의 과제 수행 결과로서 출원됨. [부처명] 경상북도/경산시 [과제관리(전문)기관명] 재단법인 경북IT융합산업기술원 [연구사업명] 4차산업 기술실증 벤처·스타트업 육성지원 기술실증(R&D)지원사업 [연구과제명] 5G를 활용한 WebRTC 초저지연 라이브 스트리밍 기술실증 [과제수행기관명] 조이랩 [연구기간] 2024년 6월 1일 ~ 2024년 10월 31일 최근 네트워크 기술이 발전하고 이동 통신 보급률이 높아짐에 따라 이동성이 편리한 기기들의 보급률이 대폭 증가하면서도 더욱 크고 많은 용량의 데이터를 보다 더 짧은 시간에 주고 받을 수 있으며 동시에 어디서든 인터넷을 접속하고 미디어 접근이 용이해짐에 따라 영상 스트리밍 수요가 급증하고 있다. 실시간 미디어(예를 들어, 비디오, 오디오 등) 스트리밍 프로토콜들(예를 들어, WebRTC, RTMP)은 일대일 스트리밍 시에 급변하는 네트워크 상황에서도 적응적으로 전송량을 조절하여 서비스 품질(예를 들어, 저지연, 끊김 현상 방지, 비디오/오디오 품질)을 높게 유지하도록 설계되었다. 화상 회의, 원격 교육 등 다자간 스트리밍을 가능하게 하기 위해, 미디어 서버(예를 들어, SFU)는 각 사용자와 실시간 스트리밍 프로토콜로 연결을 맺고 사용자들 간에 비디오를 전달하는 역할을 담당하게 된다. 그러나 이와 같은 기술의 발전에도 불구하고, 스트리밍 서비스를 제공할 때 품질의 저하, 즉 스트리밍 데이터의 지연이 발생할 수 있으며, 스트리밍 지연을 최소화하는 초저지연 스트리밍 제어가 매우 중요하게 취급되고 있다. 한국 등록특허 10-2163695호(2020년 9월 29일 등록, 인터넷을 통한 실시간 참여형 스트리밍 서비스 제공 방법 및 그 장치)에는 참여형 스트리밍 서비스에서 로컬에 필요한 소정의 데이터만을 저장하고, 원격 서버의 콘텐츠를 시간 지연 없이 실시간 제공하면서도 로컬 저장공간을 최소화할 수 있는 기술에 대해 기재하고 있다. 그러나 위의 한국 등록특허에서는 스트리밍 데이터의 원본을 제공하는 송출자 장치(방송자 단말)에 대한 처리를 특정하지 않으며, 송출자 장치에서의 지연 발생에 대한 처리를 고려하지 않기 때문에 지연이 발생할 수 있다는 한계가 있었다. 도 1은 본 발명의 바람직한 실시 예에 따른 초저지연 라이브 스트리밍 서비스 시스템의 블록 구성도이다. 도 2는 도 1에서 스트리밍 제어서버의 블록 구성도이다. 도 3은 본 발명의 시스템을 이용한 서비스 흐름도이다. 도 4는 송출자 장치의 스트리밍 데이터 처리 흐름도이다. 도 5는 스트리밍 제어서버의 스트리밍 데이터 처리 흐름도이다. 도 6은 송출자 장치와 스트리밍 제어서버의 처리 흐름도이다. 본 발명의 구성 및 효과를 충분히 이해하기 위하여, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라, 여러가지 형태로 구현될 수 있고 다양한 변경을 가할 수 있다. 단지, 본 실시예에 대한 설명은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것이다. 첨부된 도면에서 구성요소는 설명의 편의를 위하여 그 크기를 실제보다 확대하여 도시한 것이며, 각 구성요소의 비율은 과장되거나 축소될 수 있다. '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 상기 구성요소는 위 용어에 의해 한정되어서는 안 된다. 위 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. 본 발명의 실시예에서 사용되는 용어는 다르게 정의되지 않는 한, 해당 기술분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다. 이하에서는, 도면을 참조하여 본 발명의 일실시 예에 따른 5G를 활용한 라이브 스트리밍 서비스 시스템에 대하여 구체적으로 설명한다. 도 1은 본 발명의 바람직한 실시 예에 따른 라이브 스트리밍 서비스 시스템의 블록 구성도이고, 도 2는 도 1에서 스트리밍 제어서버의 블록 구성도이다. 도 1과 도 2를 각각 참조하면, 본 발명 라이브 스트리밍 서비스 시스템은, 라이브 미디어 데이터를 생성하고, 스트리밍 방식으로 5G 네트워크(1)를 통해 송신하는 송출자 장치(10)와, 상기 송출자 장치(10)의 스트리밍 데이터를 참가자 장치(30) 및 시청자 장치(40)로 스트리밍 제어하되, 송출자 장치(10)와 참가자 장치(30) 및 시청자 장치(40)의 네트워크 환경을 검출하고, 네트워크 환경에 부합하는 스트리밍 제어를 수행하는 스트리밍 제어서버(20)를 포함하여 구성된다. 상기 스트리밍 제어서버(20)는, 송출자 장치(10), 참가자 장치(30) 및 시청자 장치(40) 각각의 네트워크 환경을 검출하고, 검출된 결과를 이용하여 스트리밍 제어를 수행하는 스트리밍 관리부(28)와, 상기 스트리밍 관리부(28)의 검출 결과에 따라 스트리밍 영상 데이터를 처리하는 영상 처리부(21)와, 음성 데이터를 처리하는 음성 처리부(22)와, 전송시간 지연, 패킷 손실률을 보상하는 손실 처리부(23)와, 송출자 장치(10)의 네트워크 연결 상태를 확인하는 송출자 확인부(24)와, 세션 정보를 확인하는 세션 정보 확인부(25)와, 손실된 패킷을 복구하는 패킷 복구부(26)와, 채팅 메시지를 처리하는 메시지 처리부(27)를 포함한다. 상기 스트리밍 제어서버(20)는 WebRTC(Web Real-Time Communications) 기반의 서버인 것으로 한다. 이하, 상기와 같이 구성되는 본 발명의 바람직한 실시 예에 따른 라이브 스트리밍 서비스 시스템의 구성과 작용에 대하여 보다 상세히 설명한다. 도 3은 본 발명 라이브 스트리밍 서비스 시스템을 이용한 라이브 스트리밍 서비스의 순서도이다. 도 3을 참조하면, 먼저 송출자 장치(10)에서 라이브 스트리밍이 시작되어(S301), 5G 네트워크(1)를 통해 스트리밍 데이터가 전송된다. 이때의 스트리밍 데이터는 스트리밍 제어서버(20)로 제공되고, 실제 스트리밍이 이루어지고 있는지 확인한다(S304). 라이브 스트리밍이 종료된 상태이면(S305), 상기 스트리밍 제어서버(20)는 데이터를 기록하고 분석한다(S306). 스트리밍 상태가 유지되고 있으면(S307), 참가자 장치(30)가 연결되어 있는지 확인하고(S308), 참가자 장치(30)가 연결되어 있으면 상호 작용(채팅 등)을 수행할 수 있도록 서비스를 유지한다(S309). 만약 참가자 장치(30)가 연결되지 않은 상태이면, 홍보 및 알림을 전송할 수 있다(S310). 이와 같은 스트리밍 서비스를 제공하는 중에, 상기 스트리밍 제어서버(20)의 스트리밍 관리부(28)는, 스트리밍 미디어 데이터의 제공자인 송출자 장치(10)의 네트워크 상태를 확인함과 아울러 스트리밍 미디어 데이터의 소비자인 참가자 장치(30)와 시청자 장치(40)의 네트워크 상태를 모두 확인한다. 본 발명에서 참가자는 스트리밍 서비스를 이용하면서 채팅등 피드백을 제공하는 사용자를 뜻하며, 시청자는 피드백 없이 시청하는 사용자를 뜻한다. 시청자와 참가자를 구분하여 설명하지만, 실질적으로 동일하게 처리되는 것이 바람직하다. 상기 스트리밍 제어서버(20)의 스트리밍 관리부(28)는 상기 송출자 장치(10), 참가자 장치(30), 시청자 장치(40)의 네트워크 대역폭을 확인한다. 이때의 확인은 BWE(Bandwidth Estimation)를 사용할 수 있다. 네트워크 대역폭의 확인 결과에 따라 스트리밍 서비스 데이터의 전송 속도, 영상 해상도, 음성 품질 등을 조절할 수 있다. 영상 처리부(21)는 검출된 네트워크 대역폭에 따라 스트리밍 데이터의 영상 해상도를 조정할 수 있다. 또한, 음성 처리부(22)는 스트리밍 데이터에서 음성 품질을 처리하여, 검출된 네트워크 대역폭에 부합하는 음성 스트리밍 데이터를 제공한다. 특히 음성 처리부(22)는 송출자 장치(10)의 스트리밍 데이터중 음성 데이터를 OPUS 등의 오디오 코덱을 활용하여, 고품질 음성의 전송 지연 시간을 단축할 수 있다. 손실 처리부(23)는 RTCP(Real-Time Control Protocol)를 사용하여 전송 지연 시간, 패킷 손실률 등을 측정하고, 이를 기반으로 전송 속도를 조절 및 재전송 요청을 수행할 수 있다. 그리고 송출자 확인부(24)는 ICE(Interactive Connectivity Establishment)를 통해 송출자 장치(10)의 네트워크 연결 상태를 확인하고, 연결 경로를 고정시켜 안정된 스트리밍 데이터의 송출이 가능하도록 지원 한다. 세션 정보 확인부(25)는 SDP(Session Description Protocol)를 통해 영상 및 음성 전송 방식, 코덱 정보 등의 세션 정보를 제공하여, 송출자 장치(10) 등에서 현재 세션의 상태를 확인할 수 있도록 한다. 패킷 복구부(26)는 FEC(Forward Error Correction)를 사용하여 전송 시 손실되는 패킷을 복구하여 스트리밍 데이터의 영상 및 음성 품질을 유지할 수 있도록 한다. 메시지 처리부(27)는 RTMP(Real Time Messaging Protocol)를 사용하여, 메시지를 구현한다. 이때의 메시지는 커넥션 메시지, 브로드캐스트 메시지, 메타데이터 메시지일 수 있으며, 상기 참가자 장치(30)의 문자 메시지를 처리하여 실시간으로 스트리밍 데이터에 반영할 수 있다. 도 4는 송출자 장치(10)의 처리 과정 흐름