Search

EP-4391524-B1 - SET-TOP BOX POSITION CHANGE DETECTION USING IMAGE ANALYSIS

EP4391524B1EP 4391524 B1EP4391524 B1EP 4391524B1EP-4391524-B1

Inventors

  • SCHOTT, Vincent
  • OBEID, JAD

Dates

Publication Date
20260506
Application Date
20231215

Claims (14)

  1. Optimisation method for a sound playback performed by a set-top box (11) connected to a television and which comprises at least one speaker (14a, 14b) and to which at least one camera (18) is secured, comprising the steps of: . acquiring at least one initial image (I 0 ) produced by the camera (18) while the set-top box (11) is located in an initial position and in an initial orientation, the set-top box (11) thus using initial audio parameters to optimise the sound playback; . then, acquiring at least one current image produced by the camera (18); . analysing the at least one current image and the at least one initial image to detect a change of position and/or orientation of the set-top box (11); . performing at least one corrective action making it possible to optimise the sound playback following the change of position and/or orientation of the set-top box (11), the corrective action comprising the steps of: . determining a new position and/or a new orientation of the set-top box (11), by determining, in a system linked to the at least one current image, coordinates of an initial optimal listening position (U), wherein the sound playback was optimised, while the set-top box (11) was in the initial position and the initial orientation; . producing new audio parameters to optimise the sound playback, while the set-top box is in the new position and/or the new orientation, such that the sound playback is again optimised in the initial optimal listening position (U).
  2. Optimisation method according to claim 1, wherein the analysis of the at least one current image and of the at least one initial image comprises the steps of: . determining a planar homography matrix making it possible to pass from the at least one current image to the at least one initial image; . analysing said planar homography matrix to detect the change of position and/or orientation of the set-top box (11).
  3. Optimisation method according to claim 2, wherein the analysis of the planar homography matrix comprises the steps of: . comparing said planar homography matrix with an identity matrix; . not detecting a change of position, nor orientation of the set-top box (11) when an absolute value of a difference between each element of the planar homography matrix and a corresponding element of the identity matrix is less than a predetermined first detection threshold; . detecting a change of position and/or orientation of the set-top box (11) otherwise.
  4. Optimisation method according to claim 1, wherein the analysis of the at least one current image and of the at least one initial image (I 0 ) comprises the steps of: . detecting in the at least one initial image (I 0 ), by using a Hough transform, a first number of first lines (D 0i ) each having first polar coordinates (ρ,θ); . detecting in the at least one current image, by using the Hough transform, a second number of second lines each having second polar coordinates; . evaluating a number of lines common to the at least one initial image and to the at least one current image; . detecting a change of position and/or orientation of the set-top box (11) if the number of common lines is less than a predetermined second detection threshold.
  5. Optimisation method according to claim 4, further comprising the steps of: . calculating a confidence index which depends on the first number and on the second number; . comparing the confidence index with a predetermined confidence threshold; . deciding, according to a result of said comparison, to validate or not, a result of the step of detecting the change of position and/or orientation.
  6. Optimisation method according to claim 1, wherein the new audio parameters comprise a gain applied onto a current volume, which depends on the initial optimal listening position (U) and on the new position and/or on the new orientation of the set-top box (11).
  7. Optimisation method according to claim 1, wherein the set-top box (11) comprises at least two speakers (14a, 14b), the production of new audio parameters comprising the step of adjusting an audio balance between said at least two speakers.
  8. Optimisation method according to claim 2, wherein the set-top box comprises a first speaker (14a) and a second speaker (14b), the optimisation method comprising the steps of: . determining, by using the planar homography matrix, a first angle (β 1 ) between a reference axis (A o ) of the at least one initial image (I 0 ) passing through the initial optimal listening position (U), and a first current axis (A n1 ) passing through the initial optimal listening position and the first speaker (14a) in the at least one current image, and a second angle (β 2 ) between the reference axis and a second current axis (A n2 ) passing through the initial optimal listening position and the second speaker (14b) in the at least one current image; . determining, by using the planar homography matrix, a first distance (d 1 ) between the initial optimal listening position and the first speaker (14a), and a second distance (d 2 ) between the initial optimal listening position and the second speaker (14b); . using an ambisonic method for placing virtual sound sources (25) around the initial optimal listening position by calculating gains which depend on the first angle, on the second angle, on the first distance and on the second distance, the new audio parameters comprising said gains.
  9. Optimisation method according to claim 8, the optimisation method using, to define the new audio parameters, a predefined cross-reference table (26) which associates precalculated audio parameters with distance and/or angle indications representative of the change of position and/or orientation of the set-top box.
  10. Optimisation method according to claim 4, comprising the steps, to determine the new position of the set-top box (11), of: . detecting a particular angle which is the most present in the set of polar coordinates comprising the first polar coordinates of the first lines and the second polar coordinates of the second lines; . if a number of times where said particular angle is present in the set of polar coordinates is greater than a predetermined angle threshold, deducing from this that the set-top box (11) has possibly undergone a lateral movement perpendicularly to an optical axis of the camera (18); . estimating said lateral movement according to the distances of the first polar coordinates of the first lines and of the second polar coordinates of the second lines having the particular angle as the angle.
  11. Optimisation method according to claim 1, wherein the corrective action consists of defining a new optimal listening position associated with the new position and/or with the new orientation of the set-top box, and of indicating the new optimal listening position to a user, so that they use it.
  12. Set-top box (11) comprising at least one speaker (14a, 14b) and to which at least one camera (18) is secured, the set-top box further comprising a processing unit (22), wherein the optimisation method according to one of the preceding claims is implemented.
  13. Computer program comprising instructions which make the processing unit (22) of the set-top box (11) according to claim 12 execute the steps of the optimisation method according to one of claims 1 to 11.
  14. Recording medium which can be read by a computer, on which the computer program according to claim 13 is recorded.

Description

L'invention concerne le domaine des boîtiers décodeurs munis d'au moins un haut-parleur et d'une caméra. ARRIERE PLAN DE L'INVENTION On envisage de concevoir des boîtiers décodeurs (ou STB, pour Set-Top Box) munis de nouveaux composants pour mettre en œuvre de nouvelles fonctionnalités. Ces nouveaux composants comprennent par exemple un ou plusieurs haut-parleurs qui permettent ainsi au boîtier décodeur de restituer des signaux sonores. En référence à la figure 1, un tel boîtier décodeur 1 est ainsi relié à un téléviseur 2 par un câble 3 permettant une connexion audio/vidéo. Ce câble 3 est par exemple un câble HDMI (pour High-Definition Multimedia Interface). Le boîtier décodeur 1 comprend ici par exemple un premier haut-parleur 4a et un deuxième haut-parleur 4b situés de chaque côté du boîtier décodeur 1. Les haut-parleurs 4a, 4b du boîtier décodeur 1 peuvent mettre en œuvre un système multicanal en étant éventuellement associés à d'autres haut-parleurs du boîtier décodeur 1, aux haut-parleurs du téléviseur 2 ou à ceux d'un ou de plusieurs autres équipements de restitution audio, tels qu'une enceinte connectée ou une barre de son par exemple. Le boîtier décodeur 1, lorsqu'il se trouve dans une position initiale et une orientation initiale « prédéfinies », utilise des paramètres audio initiaux pour que la restitution sonore soit optimisée dans une position d'écoute optimale initiale. Cette position d'écoute optimale initiale correspond typiquement à la position assise d'un utilisateur dans un fauteuil ou un canapé, face au téléviseur 2 et au boîtier décodeur 1, à une distance prédéfinie de ceux-ci. Les paramètres audio initiaux sont par exemple définis en usine mais pourraient aussi être définis au cours d'une phase de calibration réalisée au moment de l'installation du boîtier décodeur 1 chez l'utilisateur. Or, en service, il est fort possible que la position et/ou l'orientation du boîtier décodeur 1 soient modifiées par l'utilisateur, soit de manière volontaire soit par inadvertance. Les paramètres audio initiaux n'optimisent donc plus la restitution sonore dans la position d'écoute optimale initiale, bien que celle-ci soit toujours utilisée par l'utilisateur. L'utilisateur ne profite donc plus de manière optimale du rendu acoustique de son boîtier décodeur 1. US 2018/192189 A1 décrit un dispositif "spatial audio" qui traite 1es signaux audio provenant d'un appareil hôte et d'appareils distants en fonction de leur orientation et de leur emplacement relatifs. Le système détecte des changements de position relative en comparant des images capturées par une caméra de l'appareil hôte. US 2016/134986 A1 décrit un système audio pour télévision qui détecte la position de l'utilisateur dans des images capturées par une caméra et ajuste les filtres des haut-parleurs pour une expérience audio optimale à la position de l'utilisateur. Le système s'adapte lorsque l'utilisateur change de position. US 2019/075418 A1 décrit un système de virtualisation audio tridimensionnelle pour une télévision avec adaptation de la zone d'écoute optimale, utilisant des caméras pour déterminer la position de l'auditeur et ajustant le traitement du son en fonction de la position de l'auditeur. Le système s'adapte lorsque l'auditeur change de position. OBJET DE L'INVENTION L'invention a pour objet d'optimiser la restitution sonore d'un boîtier décodeur en service. RESUME DE L'INVENTION L'invention est définie par les revendications indépendantes attenantes. Des modes de réalisation avantageux sont décrit dans les revendications dépendantes. En vue de la réalisation de ce but, on propose un procédé d'optimisation d'une restitution sonore réalisée par un boîtier décodeur qui comprend au moins un haut-parleur et auquel au moins une caméra est solidarisée, comprenant les étapes de : acquérir au moins une image initiale produite par la caméra alors que le boîtier décodeur se trouve dans une position initiale et dans une orientation initiale, le boîtier décodeur utilisant alors des paramètres audio initiaux pour optimiser la restitution sonore ;puis, acquérir au moins une image courante produite par la caméra ;analyser l'image courante et l'image initiale pour détecter un changement de position et/ou d'orientation du boîtier décodeur ;effectuer au moins une action corrective permettant d'optimiser la restitution sonore suite au changement de position et/ou d'orientation du boîtier décodeur. L'unité de traitement utilise donc l'image initiale et l'image courante pour détecter un changement de position et/ou d'orientation du boîtier décodeur. Une action corrective peut alors être effectuée pour corriger les effets de ce déplacement sur le rendu acoustique du boîtier décodeur. L'utilisateur peut donc profiter au mieux des qualités du boîtier décodeur même si celui-ci a été déplacé volontairement ou par inadvertance. On propose de plus un procédé d'optimisation tel que précédemment décrit, dans lequel l'analyse de l'image courante et de l'image ini