KR-102960942-B1 - 이어폰 및 사용자 귀에 이어폰이 삽입되는지의 여부를 검출하는 방법

KR102960942B1KR 102960942 B1KR102960942 B1KR 102960942B1KR-102960942-B1

Abstract

본 발명은 근접 센서, 가속도 센서 및 신호 분석 장치를 포함하는 이어폰에 관한 것이다. 근접 센서는 근접 센서 신호를 생성하도록 구성된다. 이를 위해, 가속도 센서는 가속도 센서 신호를 생성하도록 구성된다. 이를 위해, 신호 분석 장치는 근접 센서 신호를 이용하여 객체를 향해 접근하는 이어폰의 움직임을 검출하도록 구성된다. 또한, 신호 분석 장치는 접근하는 움직임이 사용자의 귀를 향한 이어폰의 움직임인지의 여부를 결정하고, 여기서 근접 센서 신호의 시간 프로파일의 변동이 분석되어 고려된다. 신호 분석 장치는 가속도 센서 신호의 필터링을 통해 고역통과 필터링된(high-pass filtered) 가속도 신호 및 저역통과 필터링된(low-pass filtered) 가속도 신호를 생성한다. 또한, 신호 분석 장치는 저역통과 필터링된 가속도 신호를 이용하여 가속도의 안정화를 토대로 접근 움직임의 종료 시점을 결정한다. 신호 분석 장치는, 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화를 기반으로, 상기 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임인지를 확인한다.

Inventors

장, 루이
굿, 유어겐
샤이어만, 세르게이

Assignees

로베르트 보쉬 게엠베하

Dates

Publication Date: 20260506
Application Date: 20210722
Priority Date: 20200909

Claims (10)

근접 센서 신호를 생성하도록 구성된 근접 센서(2); 가속도 센서 신호를 생성하도록 구성된 가속도 센서(3); 및 신호 분석 장치(4)를 포함하는 이어폰(1)이며, 상기 신호 분석 장치는: a. 근접 센서 신호를 이용하여 객체를 향해 접근하는 이어폰(1)의 움직임을 검출하고; b. 상기 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임인지의 여부를 결정하고; -여기서, 근접 센서 신호의 시간 프로파일의 변동이 분석되어 고려됨-; c. 가속도 센서 신호의 필터링을 통해 고역통과 필터링된 가속도 신호 및 저역통과 필터링된 가속도 신호를 생성하고; d. 저역통과 필터링된 가속도 신호를 이용한 가속도의 안정화를 토대로 접근 움직임의 종료 시점을 결정하고; e. 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화를 기반으로, 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임인지를 확인하도록; 구성되는, 이어폰(1).
제1항에 있어서, 신호 분석 장치(4)는 근접 센서(2)의 근접 센서 신호의 프로파일의 변동을 분석하기 위해 근접 센서 신호의 시간 프로파일의 단조성(monotonicity)을 결정하여 고려하도록 구성되는, 이어폰(1).
제1항 또는 제2항에 있어서, 신호 분석 장치(4)는, 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화에 대한 척도가 미리 결정된 제1 임계값을 초과하는 경우, 상기 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임임을 확인하도록 구성되는, 이어폰(1).
제3항에 있어서, 신호 분석 장치(4)는, 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화에 대한 척도가 미리 결정된 제2 임계값에 미달하는 경우, 상기 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임이 아님을 검출하도록 구성되는, 이어폰(1).
제1항 또는 제2항에 있어서, 신호 분석 장치(4)는 근접 센서 신호를 기반으로 이어폰(1)이 다시 사용자의 귀에서 제거되는지의 여부를 결정하도록 구성되는, 이어폰(1).
제1항 또는 제2항에 있어서, 신호 분석 장치(4)는 가속도 센서 신호를 기반으로 움직임이 없는 상황을 검출하도록, 그리고 검출 시 이어폰(1)을 "아웃 오브 이어(Out-of-Ear)" 작동 모드로 전환하도록 구성되는, 이어폰(1).
제1항 또는 제2항에 있어서, 신호 분석 장치(4)는 가속도 센서 신호를 기반으로 그 강도로 보아 머리의 움직임에 의해 발생할 수 없는 이어폰(1)의 움직임을 검출하도록, 그리고 검출 시 이어폰(1)을 "아웃 오브 이어" 작동 모드로 전환하도록 구성되는, 이어폰(1).
제1항 또는 제2항에 있어서, 가속도 센서(3)는 3축 가속도 센서(3)인, 이어폰(1).
제8항에 있어서, 신호 분석 장치(4)는, 3개의 축을 따라 가속도의 최대값과 최소값을 계산하여, 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임인지를 확인할 때 고려하도록 구성되는, 이어폰(1).
이어폰(1)이 사용자 귀에 삽입되는지의 여부를 검출하는 방법이며, 이 방법은: 이어폰(1)의 근접 센서(2)의 근접 센서 신호를 이용하여 객체를 향한 이어폰(1)의 접근 움직임을 검출하는 단계; 상기 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임인지의 여부를 결정하는 단계; -여기서, 근접 센서 신호의 시간 프로파일의 변동이 분석되고 고려됨-; 고역통과 필터링된 가속도 신호와 저역통과 필터링된 가속도 신호를 생성하기 위해, 이어폰(1)의 가속도 센서(3)의 가속도 센서 신호를 필터링하는 단계; 저역통과 필터링된 가속도 신호를 이용하여 가속도의 안정화를 토대로 접근 움직임의 종료 시점을 결정하는 단계; 및 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화를 기반으로, 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임인지를 확인하는 단계;를 포함하는, 이어폰이 사용자 귀에 삽입되는지의 여부를 검출하는 방법.

Description

이어폰 및 사용자 귀에 이어폰이 삽입되는지의 여부를 검출하는 방법 본 발명은 이어폰; 및 사용자 귀에 이어폰이 삽입되는지의 여부를 검출하는 방법;에 관한 것이다. 사용자 경험을 개선하기 위해, 히어러블 기기(Hearables), 즉, 부가 기능을 갖춘 이어폰에 점점 더 많은 센서가 장착된다. 중요한 기능 중 하나는 이어폰 착용 여부를 검출하는 것이다. 이는 예를 들어, 에너지를 절약하기 위해, 또는 더 나은 음악 경험을 제공하도록 모노/스테레오 조정을 수행하기 위해, 이어폰의 특정 구성 요소를 켜거나 끄는 데 유리하다. WO 1 903 9894 A1, US 2017/244821 A, US 2016/198251 A, US 2015/382098 A, US 2015/281826 A, US 10 306 350 B 및 CN 110012376 A호로부터 공지된 바와 같이, 사용자의 귀에 이어폰이 꽂혀 있는지의 여부의 검출은 근접 센서의 데이터에 기반하여 수행될 수 있다. 이 경우, 근접 센서는 거리 측정 또는 광 강도의 측정을 통해 사용자의 귀에 대한 이어폰의 접근을 결정할 수 있다. 근접 센서에 기반한 검출은 다수의 참긍정(True Positive) 결과, 다수의 참부정(True Negative) 결과 및 소수의 거짓 부정(False Negative) 결과를 가능케 한다. 물론 근접 센서는 다수의 거짓 긍정(False Positive) 결과도 생성하며, 다시 말해 "인 이어(in-ear)" 상태와 관련하여 큰 오류율을 갖는다. 따라서, 예를 들어 낮은 광 강도 또는 짧은 거리를 토대로 이어폰이 귀에 꽂혀 있다고 추론할 수 있다. 이는, 이어폰이 바지 주머니, 휴대용 케이스 또는 손에 있을 수도 있기 때문에 문제가 된다. 따라서 US 2016/205475 A, US 2016/050474 A, US 2015/281421 A, US 2015/078573 A, US 2011/286615 A, CN 208971758 U 및 CN 108810788 A호로부터 공지된 바와 같이, 다른 센서, 특히 바이오 센서, 접촉 센서 또는 추가 근접 센서도 사용될 수 있다. 그러나 이러한 센서들의 에너지 소비는 상대적으로 높다. 그로 인해 이어폰의 작동 시간이 단축된다. 본 발명은 독립 청구항의 특징을 갖는 이어폰; 및 사용자 귀에 이어폰이 삽입되는지의 여부를 검출하는 방법;을 제공한다. 바람직한 실시예들은 각각의 종속항의 대상이다. 제1 양태에 따라, 본 발명은 근접 센서, 가속도 센서 및 신호 분석 장치를 포함하는 이어폰에 관한 것이다. 근접 센서는 근접 센서 신호를 생성하도록 구성된다. 이를 위해, 가속도 센서는 가속도 센서 신호를 생성하도록 구성된다. 이를 위해, 신호 분석 장치는 근접 센서 신호를 이용하여 객체를 향해 접근하는 이어폰의 움직임을 검출하도록 구성된다. 또한, 신호 분석 장치는 접근하는 움직임이 사용자의 귀를 향한 이어폰의 움직임인지의 여부를 결정하고, 여기서 근접 센서 신호의 시간 프로파일의 변동이 분석되어 고려된다. 신호 분석 장치는 가속도 센서 신호의 필터링을 통해 고역통과 필터링된(high-pass filtered) 가속도 신호 및 저역통과 필터링된(low-pass filtered) 가속도 신호를 생성한다. 또한, 신호 분석 장치는 저역통과 필터링된 가속도 신호를 이용하여 가속도의 안정화를 토대로 접근 움직임의 종료 시점을 결정한다. 신호 분석 장치는, 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화를 기반으로, 상기 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임인지를 확인한다. 제2 양태에 따라, 본 발명은 이어폰이 사용자 귀에 삽입되는지의 여부를 검출하는 방법에 관한 것이다. 객체를 향한 이어폰의 접근 움직임은 이어폰의 근접 센서의 근접 센서 신호를 이용하여 검출된다. 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임인지의 여부가 결정되고, 여기서 근접 센서 신호의 시간 프로파일의 변동이 분석되어 고려된다. 고역통과 필터링된 가속도 신호와 저역통과 필터링된 가속도 신호를 생성하기 위해, 이어폰의 가속도 센서의 가속도 센서 신호가 필터링된다. 저역통과 필터링된 가속도 신호를 이용하여 가속도의 안정화를 토대로 접근 움직임의 종료 시점이 결정된다. 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화를 기반으로, 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임인지가 확인된다. 사용자의 귀에 이어폰이 꽂혀 있는지의 여부의 검출은 근접 센서와 가속도 센서를 모두 이용하여 수행된다. 이들 센서의 결합을 통해 특히 거짓 긍정 결과가 감소할 수 있다. 즉, 예를 들어 사용자가 이어폰을 주머니에 넣는 과정을 더 잘 검출하여 배제할 수 있다. 이 경우, 상기 과정이 더 이상 사용자의 귀에 이어폰을 삽입하는 과정으로 잘못 검출되지 않는다. 이는, 먼저 근접 센서에 기반하여 사용자의 귀를 향한 이어폰의 가능한 접근이 검출됨으로써 달성된다. 이 가설은 가속도 센서의 센서 데이터를 기반으로 확인되거나 기각된다. 따라서, 높은 비율의 참긍정 결과, 높은 비율의 참부정 결과 및 낮은 비율의 거짓 부정 결과가 유지되는 한편, 거짓 긍정 결과의 비율도 추가로 상당히 감소할 수 있다. 본 발명에 따라, 접근 움직임의 "종료 시점"은, 근접 센서 신호를 기반으로 이어폰이 귀에 꽂혀 있는 상태가 검출되고 그리고/또는 가속도 신호의 저역통과 필터링된 기여도(contribution)가 안정화하기 시작하는 시점에 상응할 수 있다. 가속도 센서를 사용하면 접촉 센서, 바이오 센서 등과 같은 다른 센서에 비해 에너지 소비가 훨씬 더 적다. 그로 인해 이어폰의 작동 지속시간이 크게 증가한다. 또한, 가속도 센서의 데이터를 기반으로 사용자의 현재 움직임 또는 활동도 모니터링될 수 있다. 이를 통해 예를 들어, 현재 움직임 또는 활동이 사용자 머리의 움직임에 의해 유발될 확률이 높은지 또는 낮은지의 여부가 결정될 수 있다. 나아가, 최근 이어폰에 이미 일반적으로, 예를 들어 활동 검출 기능, 보수계(pedometer) 기능, 자세 모니터링 등을 제공하기 위해, (3축) 가속도 센서가 장착되어 있는 점도 바람직하다. 이를 통해, 사용자의 귀를 향해 이어폰이 접근하는지의 여부의 분석과 관련한 기능을 제공하기 위한 부가 기능이 불필요하다. 또한, 이어폰에서 별도의 설치 공간도 불필요하다. 이어폰의 일 실시예에 따르면, 신호 분석 장치는 근접 센서의 근접 센서 신호의 프로파일의 변동을 분석하기 위해 근접 센서 신호의 시간 프로파일의 단조성(monotonicity)을 결정하여 고려하도록 구성된다. 이어폰이 사용자의 귀를 향해 움직일 경우, 근접 센서 신호는 일반적으로 단조롭고 평활한 프로파일을 갖는다. 이어폰이 사용자의 주머니 내로 움직이면, 주머니 내에서의 이어폰의 움직임으로 인해 근접 센서 신호의 변동이 더 커진다. 예를 들어, 근접 센서 신호의 시간 프로파일의 단조성에 대한 척도, 예컨대 확률이 계산될 수 있다. 상기 척도가 미리 결정된 임계값을 초과하고 근접 센서 신호의 프로파일이 충분히 단조롭다면, 사용자의 귀를 향한 이어폰의 움직임인 것으로 결정될 수 있다. 이어폰의 일 실시예에 따르면, 신호 분석 장치는, 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화에 대한 척도가 미리 결정된 제1 임계값을 초과하는 경우, 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임임을 확인하도록 구성된다. 고역통과 필터링된 가속도 신호는, 이어폰이 사용자의 귀에 삽입된 후 최종 위치를 취할 때까지 이어폰이 사용자의 귀에서 여전히 조금씩 움직임으로써 유발되는 이어폰의 작은 가속도에 상응한다. 그 원인은, 예컨대 이어폰의 유연한 재질로 인해 사용자의 귀에 이어폰이 삽입된 후에도 여전히 이어폰의 위치가 약간 변경되는 데 있다. 진동이 줄어들거나, 귓속에서의 이어폰의 위치 또는 자세가 여전히 조금씩 변한다. 따라서 이러한 안정화 단계는 가속도 신호를 기반으로 검출될 수 있다. 이어폰의 일 실시예에 따르면, 신호 분석 장치는, 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화에 대한 척도가 미리 결정된 제2 임계값에 미달하는 경우, 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임이 아님을 검출하도록 구성된다. 그럼으로써 예를 들어 사용자의 주머니에 이어폰을 넣는 과정이 배제될 수 있고, 이 경우 전술한 조정 과정이 실시되지 않는다. 이어폰의 일 실시예에 따르면, 신호 분석 장치는 근접 센서 신호를 기반으로 이어폰이 다시 사용자의 귀에서 제거되는지의 여부를 결정하도록 구성된다. 예를 들어 거리가 결정될 수 있고, 그 결정된 거리가 미리 정해진 임계값을 초과하면 사용자의 귀에서 이어폰이 제거되는 것으로 검출된다. 이어폰의 일 실시예에 따르면, 신호 분석 장치는, 가속도 센서 신호를 기반으로 움직임이 없는 상황을 검출하도록, 그리고 검출 시 이어폰을 "아웃 오브 이어(Out-of-Ear)" 작동 모드로 전환하도록 구성된다. 이어폰이 단단한 표면에 놓여서 움직이지 않는 상황에서는 이어폰이 자동으로 "아웃 오브 이어" 작동 모드로 전환된다. 상기 결정을 위해, 가속도 미분의 상위 차수가 0인지의 여부가 검출될 수 있다. 이어폰의 일 실시예에 따르면, 신호 분석 장치는, 가속도 센서 신호를 기반으로 그 강도로 보아 머리의 움직임에 의해 발생할 수 없는 이어폰의 움직임을 검출하도록, 그리고 검출 시 이어폰을 "아웃 오브 이어" 작동 모드로 전환하도록 구성된다. 이어폰의 일 실시예에 따르면, 이어폰이 사용자의 귀에 꽂힌 것으로 검출되고 사용자의 움직임(예컨대 달리기 또는 주기적인 움직임)이 검출되는 즉시, 이어폰이 계속 사용자의 귀에 꽂혀 있는지의 여부에 대한 결정이 근접 센서에 기반해서만 수행된다. 이어폰의 일 실시예에 따르면, 가속도 센서는 3축 가속도 센서이다. 이어폰의 일 실시예에 따르면, 신호 분석 장치는, 3개의 축을 따라 가속도의 최대값과 최소값을 계산하여, 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임인지를 확인할 때 고려하도록 구성된다. 도 1은 본 발명의 실시예에 따른