Search

KR-20260061834-A - ELECTRONIC DEVICE AND METHOD FOR OPERATING THEREOF AND STORAGE MEDIUM

KR20260061834AKR 20260061834 AKR20260061834 AKR 20260061834AKR-20260061834-A

Abstract

전자 장치가 개시된다. 전자 장치는, 처리 회로를 포함하는 적어도 하나의 프로세서 및 인스트럭션들을 저장하고, 하나 이상의 저장 매체들을 포함하는, 메모리를 포함하고, 인스트럭션들은, 개별적으로 또는 집합적으로, 적어도 하나의 프로세서에 의해 실행될 시, 전자 장치로 하여금, 적어도 하나의 IoT(Internet of Things) 기기 각각에 대응되는 맵(Map) 내 제1 위치 정보를 획득하고, 웨어러블 디바이스(Wearable Device)에 포함된 IMU(Inertial Measurement Unit) 센서를 통해 획득된 센싱 데이터에 기초하여, 웨어러블 디바이스를 착용한 사용자의 포인팅 방향(Pointing Direction)을 식별하고, 사용자의 포인팅 방향, 제1 위치 정보 및 맵 내 사용자에 대응되는 제2 위치 정보 중 적어도 하나에 기초하여, 적어도 하나의 IoT 기기 중 사용자의 포인팅 방향에 대응되는 제1 IoT 기기를 식별하고, 식별된 제1 IoT 기기의 동작을 제어하도록 한다.

Inventors

  • 송석우

Assignees

  • 삼성전자주식회사

Dates

Publication Date
20260506
Application Date
20241028

Claims (20)

  1. 전자 장치에 있어서, 처리 회로를 포함하는 적어도 하나의 프로세서; 및 인스트럭션들을 저장하고, 하나 이상의 저장 매체들을 포함하는, 메모리;를 포함하고, 상기 인스트럭션들은, 개별적으로 또는 집합적으로, 상기 적어도 하나의 프로세서에 의해 실행될 시, 상기 전자 장치로 하여금, 적어도 하나의 IoT(Internet of Things) 기기 각각에 대응되는 맵(Map) 내 제1 위치 정보를 획득하고, 웨어러블 디바이스(Wearable Device)에 포함된 IMU(Inertial Measurement Unit) 센서를 통해 획득된 센싱 데이터에 기초하여, 상기 웨어러블 디바이스를 착용한 사용자의 포인팅 방향(Pointing Direction)을 식별하고, 상기 사용자의 포인팅 방향, 상기 제1 위치 정보 및 상기 맵 내 상기 사용자에 대응되는 제2 위치 정보 중 적어도 하나에 기초하여, 상기 적어도 하나의 IoT 기기 중 상기 사용자의 포인팅 방향에 대응되는 제1 IoT 기기를 식별하고, 상기 식별된 제1 IoT 기기의 동작을 제어하도록 하는, 전자 장치.
  2. 제1항에 있어서, 상기 제1 위치 정보는, 상기 맵 내 IoT 기기에 대응되는 영역에 대한 정보를 포함하며, 상기 인스트럭션들은 상기 전자 장치로 하여금, 상기 적어도 하나의 IoT 기기 중, 상기 포인팅 방향을 기준으로 제1 각도 범위에 대응되는 제2 IoT 기기가 식별되면, 상기 식별된 제2 IoT 기기에 대응되는 제1 영역이 제1 크기로 확장된 제2 영역에 대한 정보를 획득하고, 상기 획득된 제2 영역에 대한 정보에 기초하여, 상기 사용자의 포인팅 방향에 대응되는 제1 IoT 기기를 식별하도록 하는, 전자 장치.
  3. 제2항에 있어서, 상기 인스트럭션들은 상기 전자 장치로 하여금, 상기 제2 IoT 기기에 대응되는 위치 정보 및 상기 사용자에 대응되는 제2 위치 정보에 기초하여 상기 제1 크기를 산출하도록 하는, 전자 장치.
  4. 제1항에 있어서, 상기 인스트럭션들은 상기 전자 장치로 하여금, 상기 획득된 센싱 데이터에 기초하여, 상기 포인팅 방향의 제1 축(axis)에 대응되는 제1 각도를 획득하고, 상기 식별된 제1 각도가 상기 제1 축을 기준으로 제2 각도 범위에 포함되는 것으로 식별되면, 상기 적어도 하나의 IoT 기기 중 상기 제2 각도 범위에 대응되는 IoT 기기를 식별하고, 상기 제2 각도 범위에 대응되는 IoT 기기 중에서 상기 제1 IoT 기기를 식별하도록 하는, 전자 장치.
  5. 제4항에 있어서, 상기 제1 위치 정보는, 3D(Dimensional) 좌표 정보를 포함하고, 상기 제1 축은, 지면과 수직인 축이며, 상기 인스트럭션들은 상기 전자 장치로 하여금, 상기 적어도 하나의 IoT 기기 각각에 대응되는 좌표 정보 중 상기 제1 축에 대응되는 좌표 정보에 기초하여, 상기 제2 각도 범위에 대응되는 IoT 기기를 식별하도록 하는, 전자 장치.
  6. 제4항에 있어서, 상기 제2 각도 범위는, 상기 웨어러블 디바이스를 착용한 사용자의 자세(Posture)에 기초하여 식별되는, 전자 장치.
  7. 제1항에 있어서, 상기 사용자에 대응되는 제2 위치 정보는, 상기 맵에 대응되는 공간 내에 위치한 BLE(Bluetooth Low Energy) 비콘(Beacon) 또는 재실 센서(Presence Sensor) 중 적어도 하나에 기초하여 획득되는, 전자 장치.
  8. 제1항에 있어서, 상기 인스트럭션들은 상기 전자 장치로 하여금, 상기 적어도 하나의 IoT 기기 중 어느 하나를 제어하기 위한 트리거(Trigger) 동작이 식별되면, 상기 웨어러블 디바이스를 착용한 사용자의 포인팅 방향을 식별하도록 하는, 전자 장치.
  9. 제1항에 있어서, 상기 인스트럭션들은 상기 전자 장치로 하여금, 상기 적어도 하나의 IoT 기기 중 상기 사용자의 포인팅 방향에 대응되는 IoT 기기가 식별되지 않으면, 상기 사용자의 포인팅 방향을 변경하도록 가이드하는 UI(User Interface)를 제공하도록 하는, 전자 장치.
  10. 제1항에 있어서, 상기 인스트럭션들은 상기 전자 장치로 하여금, 상기 사용자의 포인팅 방향에 대응되는 IoT 기기가 식별되면, 상기 식별된 IoT 기기를 검증하기 위한 가이드 UI를 제공하도록 하는, 전자 장치.
  11. 제1항에 있어서, 통신 인터페이스;를 더 포함하고, 상기 인스트럭션들은 상기 전자 장치로 하여금, 상기 제1 IoT 기기가 식별된 후 상기 사용자의 제1 제스처(Gesture)가 식별되면, 상기 제1 제스처에 대응되는 상기 제1 IoT 기기의 제1 기능을 식별하고, 상기 통신 인터페이스를 통해, 상기 식별된 제1 기능을 수행하기 위한 제어 신호를 상기 제1 IoT 기기로 전송하도록 하는, 전자 장치.
  12. 전자 장치의 동작 방법에 있어서, 적어도 하나의 IoT(Internet of Things) 기기 각각에 대응되는 맵(Map) 내 제1 위치 정보를 획득하는 단계; 웨어러블 디바이스(Wearable Device)에 포함된 IMU(Inertial Measurement Unit) 센서를 통해 획득된 센싱 데이터에 기초하여, 상기 웨어러블 디바이스를 착용한 사용자의 포인팅 방향(Pointing Direction)을 식별하는 단계; 상기 사용자의 포인팅 방향, 상기 제1 위치 정보 및 상기 맵 내 상기 사용자에 대응되는 제2 위치 정보 중 적어도 하나에 기초하여, 상기 적어도 하나의 IoT 기기 중 상기 사용자의 포인팅 방향에 대응되는 제1 IoT 기기를 식별하는 단계; 및 상기 식별된 제1 IoT 기기의 동작을 제어하는 단계;를 포함하는, 동작 방법.
  13. 제12항에 있어서, 상기 제1 위치 정보는, 상기 맵 내 IoT 기기에 대응되는 영역에 대한 정보를 포함하며, 상기 제1 IoT 기기를 식별하는 단계는, 상기 적어도 하나의 IoT 기기 중, 상기 포인팅 방향을 기준으로 제1 각도 범위에 대응되는 제2 IoT 기기가 식별되면, 상기 식별된 제2 IoT 기기에 대응되는 제1 영역이 제1 크기로 확장된 제2 영역에 대한 정보를 획득하는 단계; 및 상기 획득된 제2 영역에 대한 정보에 기초하여, 상기 사용자의 포인팅 방향에 대응되는 제1 IoT 기기를 식별하는 단계;를 포함하는, 동작 방법.
  14. 제13항에 있어서, 상기 제2 영역에 대한 정보를 획득하는 단계는, 상기 제2 IoT 기기에 대응되는 위치 정보 및 상기 사용자에 대응되는 제2 위치 정보에 기초하여 상기 제1 크기를 산출하는 단계;를 포함하는, 동작 방법.
  15. 제12항에 있어서, 상기 제1 IoT 기기를 식별하는 단계는, 상기 획득된 센싱 데이터에 기초하여, 상기 포인팅 방향의 제1 축(axis)에 대응되는 제1 각도를 획득하는 단계; 상기 식별된 제1 각도가 상기 제1 축을 기준으로 제2 각도 범위에 포함되는 것으로 식별되면, 상기 적어도 하나의 IoT 기기 중 상기 제2 각도 범위에 대응되는 IoT 기기를 식별하는 단계; 및 상기 제2 각도 범위에 대응되는 IoT 기기 중에서 상기 제1 IoT 기기를 식별하는 단계;를 포함하는, 동작 방법.
  16. 제15항에 있어서, 상기 제1 위치 정보는, 3D(Dimensional) 좌표 정보를 포함하고, 상기 제1 축은, 지면과 수직인 축이며, 상기 제2 각도 범위에 대응되는 IoT 기기를 식별하는 단계는, 상기 적어도 하나의 IoT 기기 각각에 대응되는 좌표 정보 중 상기 제1 축에 대응되는 좌표 정보에 기초하여, 상기 제2 각도 범위에 대응되는 IoT 기기를 식별하는, 동작 방법.
  17. 제15항에 있어서, 상기 제2 각도 범위는, 상기 웨어러블 디바이스를 착용한 사용자의 자세(Posture)에 기초하여 식별되는, 동작 방법.
  18. 제12항에 있어서, 상기 사용자에 대응되는 제2 위치 정보는, 상기 맵에 대응되는 공간 내에 위치한 BLE(Bluetooth Low Energy) 비콘(Beacon) 또는 재실 센서(Presence Sensor) 중 적어도 하나에 기초하여 획득되는, 동작 방법.
  19. 제12항에 있어서, 상기 사용자의 포인팅 방향을 식별하는 단계는, 상기 적어도 하나의 IoT 기기 중 어느 하나를 제어하기 위한 트리거(Trigger) 동작이 식별되면, 상기 웨어러블 디바이스를 착용한 사용자의 포인팅 방향을 식별하도록 하는, 동작 방법.
  20. 컴퓨터로 독출 가능한 인스트럭션들을 저장하는 저장 매체에 있어서, 상기 인스트럭션들은, 전자 장치의 적어도 하나의 프로세서에 의하여 실행될 때, 상기 전자 장치로 하여금, 적어도 하나의 IoT(Internet of Things) 기기 각각에 대응되는 맵(Map) 내 제1 위치 정보를 획득하고, 웨어러블 디바이스(Wearable Device)에 포함된 IMU(Inertial Measurement Unit) 센서를 통해 획득된 센싱 데이터에 기초하여, 상기 웨어러블 디바이스를 착용한 사용자의 포인팅 방향(Pointing Direction)을 식별하고, 상기 사용자의 포인팅 방향, 상기 제1 위치 정보 및 상기 맵 내 상기 사용자에 대응되는 제2 위치 정보 중 적어도 하나에 기초하여, 상기 적어도 하나의 IoT 기기 중 상기 사용자의 포인팅 방향에 대응되는 제1 IoT 기기를 식별하고, 상기 식별된 제1 IoT 기기의 동작을 제어하도록 야기하는, 저장 매체.

Description

전자 장치 및 그 동작 방법과 저장 매체{ELECTRONIC DEVICE AND METHOD FOR OPERATING THEREOF AND STORAGE MEDIUM} 본 개시는 전자 장치 및 그 동작 방법과 저장 매체에 관한 것으로, 더욱 상세하게는 사용자의 포인팅 방향에 존재하는 기기를 식별하는 전자 장치 및 그 동작 방법과 저장 매체에 관한 것이다. 전자 기술의 발달에 힘입어 다양한 유형의 전자 기기가 개발 및 보급되고 있다. 사물 인터넷 기술이 발달하면서, 댁 내에 존재하는 가전 기기(예를 들어, 에어컨, 제습기 등)를 실시간으로 원격으로 제어하고, 댁 내에 존재하는 가전 기기를 단일한 시스템 내에서 제어할 수 있다. 한편, 사용자는 스마트 링(Smart Ring) 또는 스마트 워치(Smart Watch)와 같은 웨어러블 디바이스(Wearable Device)를 착용하여, 다양한 기능을 사용할 수 있다. 이에 따라, 웨어러블 디바이스를 이용하여 댁 내에 존재하는 가전 기기 중 사용자가 제어하고자 하는 가전 기기를 제어할 수 있다. 도 1a 및 도 1b는 일 실시 예에 따른 전자 장치의 사용 예를 개략적으로 설명하기 위한 도면이다. 도 2는 일 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다. 도 3은 일 실시 예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도이다. 도 4a는 일 실시예에 따른 제1 IoT 기기를 식별하는 동작을 설명하기 위한 흐름도이다. 도 4b 및 도 4c는 일 실시예에 따른 제1 IoT 기기를 식별하는 동작을 설명하기 위한 도면이다. 도 5a는 일 실시예에 따른 제1 IoT 기기를 식별하는 동작을 설명하기 위한 흐름도이다. 도 5b 및 도 5c는 일 실시예에 따른 제1 IoT 기기를 식별하는 동작을 설명하기 위한 도면이다. 도 6은 일 실시예에 따른 제어 신호를 식별된 제1 IoT 기기로 전송하는 방법을 설명하기 위한 흐름도이다. 도 7은 일 실시예에 따른 맵 정보를 설명하기 위한 도면이다. 도 8a는 일 실시예에 따른 제1 디바이스의 구성을 나타내는 블록도이다. 도 8b는 일 실시예에 따른 서버의 구성을 나타내는 블록도이다. 도 8c는 일 실시예에 따른 제2 디바이스의 구성을 나타내는 블록도이다. 도 9는 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블록도이다. 이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다. 본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다. 본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다. 본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다. A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다. 본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 그리고 본 명세서에서, "신호"의 용어는 전기적인 신호뿐만 아니라 음파 형태의 신호도 포함되며, 전기적인 신호인 경우에 아날로그 신호뿐만 아니라 디지털 신호일 수도 있다. 예를 들어, 오디오 신호(또는 노이즈 신호)란 표현은 해당 신호가 위치에 따라, 전자 장치의 외부라면 음파(또는 전파) 신호를 의미하고, 전자 장치의 내부라면 전기적인 신호를 의미한다. 또한, 후술하는 전자 장치 내에서의 신호 처리 등은 디지털 방식의 신호 처리뿐만 아니라, 아날로그 방식의 신호 처리 또는 아날로그 방식과 디지털 방식을 혼합하여 사용하는 신호 처리 방식일 수 있다. 그리고 본 명세서에서, "필터"의 용어는 특정 성분(예를 들어, 특정 주파수 영역 또는 특정 패턴)을 제거하는 것으로, 해당 필터는 디지털 필터일 수 있으며, 아날로그 필터일 수도 있다. 도 1a 및 도 1b는 일 실시 예에 따른 전자 장치의 사용 예를 개략적으로 설명하기 위한 도면이다. 도 1a및 도 1b에 따르면, 일 실시예에 따라, 본원의 전자 장치(10-1 또는 10-2)는 스마트 링(10-1, Smart Ring) 또는 스마트 워치(10-2, Smart Watch)로 구현될 수 있다. 일 예에 따라, 스마트 링(10-1)은 사용자(1)가 착용 가능한 링 타입의 전자 장치로서, 사용자(1)의 모션(또는, 제스처)을 감지하거나, 사용자(1)(또는, 사용자(1)의 손가락)의 포인팅 방향을 감지할 수 있다. 일 예에 따라, 스마트 워치(10-2)는 사용자(1)가 착용하는 워치 타입의 전자 장치로서, 사용자(1)의 모션 또는 사용자(1)의 손목에 대응되는 포인팅 방향을 감지할 수 있다. 다만, 이에 한정되는 것은 아니며, 일 예에 따라 스마트 워치(10-2)는 사용자(1)의 손가락의 포인팅 방향 역시 감지할 수 있음은 물론이다. 일 예에 따라, 전자 장치(10-1 또는 10-2)는, 사용자(1)의 포인팅 방향에 대응되는 IoT(Internet of Things) 기기(20)를 식별할 수 있다. 일 예에 따라, IoT 기기(20)는, 전자 장치가 위치하는 공간 내에 존재하는 기기로서, 전자 장치(10-1 또는 10-2)와 직접적으로 통신 연결된 상태일 수 있다. 또는, 일 예에 따라, IoT 기기(20)는, 서버를 통하여 전자 장치(10-1 또는 10-2)와 간접적으로 통신을 수행할 수도 있다. 일 예에 따라, 전자 장치(10-1 또는 10-2)는, 사용자(1)의 포인팅 방향에 대응되는 IoT 기기(20)에 대한 제어 동작을 수행할 수 있다. 예를 들어, 전자 장치(10-1 또는 10-2)는, 식별된 IoT 기기(20)와 관련된 동작을 수행하기 위한 사용자(1)의 명령(예를 들어, 제스처(Gesture))이 수신되면, 이에 기반하여 IoT 기기(20)로 제어 신호를 전송할 수 있다. 일 예에 따라, 도 1a 및 도 1b에 도시되지는 않았으나, 본원의 전자 장치는 서버로 구현될 수도 있다. 일 예에 따라, 본원의 전자 장치는, 스마트 링 또는 스마트 워치로부터 사용자의 포인팅 방향과 관련된 정보를 수신하고, 이에 기반하여 IoT 기기(20)를 식별할 수 있다. 전자 장치는, 식별된 IoT 기기(20)를 제어하기 위한 제어 신호를 IoT 기기(20)로 전송할 수 있음은 물론이다. 도 2는 일 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다. 도 2에 따르면, 전자 장치(100)는 적어도 하나의 프로세서(110) 및 메모리(120)를 포함할 수 있다. 일 예에 따라, 전자 장치(100)는 웨어러블 디바이스로 구현될 수 있다. 예를 들어, 전자 장치(100)는 사용자가 착용 가능한 스마트 링(Smart Ring) 또는 스마트 워치(Smart Watch)로 구현될 수 있다. 또는, 전자 장치(100)는 서버로 구현될 수도 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 데이터를 연산하고 처리 또는 저장할 수 있는 상이한 타입의 전자 장치(100)로 구현될 수도 있다. 적어도 하나의 프로세서(110)(이하, 프로세서)는 메모리(120)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작을 제어한다. 프로세서(110)는 하나 또는 복수의 프로세서로 구성될 수 있다. 구체적으로, 프로세서(110)는 메모리(120)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 본 개시의 다양한 실시 예에 따른 전자 장치(100)의 동작을 수행할 수 있다. 일 실시 예에 따라 프로세서(110)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), GPU(Graphics Processing Unit), AI(Artificial Intelligence) 프로세서, NPU (Neural Processing Unit), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Mi