Search

EP-3928281-B1 - METHOD FOR REGISTERING DEPTH IMAGES

EP3928281B1EP 3928281 B1EP3928281 B1EP 3928281B1EP-3928281-B1

Inventors

  • KAISER, Adrien
  • YBANEZ ZEPEDA, José Alonso
  • BOUBEKEUR, Tamy
  • COURTEVILLE, ALAIN

Dates

Publication Date
20260506
Application Date
20200210

Claims (17)

  1. Method (100) for registering two depth images (202, 204) of a real scene, said method (100) comprising the following steps: - for each of said depth images: - detecting (108 1 , 112 1 , 108 2 , 112 2 ) a plurality of geometric shapes in said depth image (202, 204), and - determining (110 1 , 110 2 , 114 1 , 114 2 ) at least one geometric relationship between at least two geometric shapes of said plurality of geometric shapes; - identifying (116, 118) geometric shapes common to said two images (202, 204) by comparing the geometric relationships detected for one (202) of the images with those detected for the other (204) of the images; - calculating (120), on the basis of said common geometric shapes, a geometric transformation between said images (202, 204); and - registering (122) one (204) of said images relative to the other (202) of said images on the basis of said geometric transformation.
  2. Method (100) according to the preceding claim, characterized in that , for each image (202, 204), the detection step (108 1 , 112 1 , 108 2 , 112 2 ) comprises detecting at least one group of geometric shapes all having a similar orientation relative to a predetermined reference direction in the scene.
  3. Method (100) according to the preceding claim, characterized in that , for each image (202, 204), the detection step (108 1 , 112 1 , 108 2 , 112 2 ) comprises detecting: - a first group of geometric shapes all having a first orientation relative to the reference direction, in particular an orientation parallel to the reference direction; and - at least a second group of geometric shapes all having an identical second orientation relative to the reference direction that is different from the first orientation, in particular orthogonal to said first orientation.
  4. Method (100) according to either one of claims 2 and 3, characterized in that the reference direction is the direction of the gravity vector in the scene, and the detection step (108 1 , 108 2 ) comprises detecting a group of geometric shapes (h1, h2, h'1, h'2) having a horizontal orientation in the scene.
  5. Method (100) according to the preceding claim, characterized in that the geometric relationship between two horizontal geometric shapes (h1, h2, h'1, h'2) comprises a distance between the two shapes in the direction of the gravity vector.
  6. Method (100) according to any one of claims 2 to 5, characterized in that the reference direction is the direction of the gravity vector in the scene, and the detection step (112 1 , 112 2 ) comprises detecting a group of geometric shapes (v1, v2, v'1, v'2) having a vertical orientation in the scene.
  7. Method (100) according to the preceding claim, characterized in that the geometric relationship between two vertical geometric shapes (v1, v2, v'1, v'2) comprises at least one angle between the two geometric shapes.
  8. Method (100) according to any one of claims 4 to 7, characterized in that the gravity vector is: - detected and reported by a sensor for each image; and/or - determined in each image (202, 204) by analyzing said image (202, 204).
  9. Method (100) according to any one of the preceding claims, characterized in that the step (110 1 , 110 2 , 114 1 , 114 2 ) of determining geometric relationships comprises, for each geometric shape, respectively for each geometric shape of a group, determining a geometric relationship between said geometric shape and each of the other geometric shapes, respectively each of the other geometric shapes of said group, such that a geometric relationship is determined for each pairwise combination of the geometric shapes.
  10. Method (100) according to any one of the preceding claims, characterized in that at least one geometric shape is a line, a plane or a three-dimensional geometric shape.
  11. Method (100) according to any one of the preceding claims, characterized in that all the geometric shapes are planes.
  12. Method (100) according to any one of the preceding claims, characterized in that calculating the geometric transformation comprises calculating a transformation matrix constructed from: - a difference, at least in a given direction, between the position of at least one geometric shape (h1, h2, v1, v2) in one (202) of said images and the position of said at least one geometric shape (h'1, h'2, v'1, v'2) in the other (204) of said images; and - a difference in orientation between at least one orthonormal reference frame associated with at least one geometric shape (v1, v2) in one (202) of said images and said at least one orthonormal reference frame associated with said at least one geometric shape (v'1, v'2) in the other (204) of said images.
  13. Method (300) for monitoring a zone of interest in a scene, defined in a first depth image of said scene previously acquired in a first field of view, said method (300) comprising at least one iteration of the following steps: - acquiring (306) a second image in a second field of view; - registering (308) said first depth image and said second depth image using the registration method (100) according to any one of the preceding claims; - identifying (310) the zone of interest in said second depth image; and - detecting (312) a change or a lack thereof in said zone of interest.
  14. Device (400) for monitoring a zone of interest in a real scene, comprising: - at least one 3D camera (402), and - at least one calculation means (404); which are configured to implement all the steps of the method (300) according to the preceding claim.
  15. Method (600) for monitoring the environment of a robot (500), comprising: - a phase (602) of obtaining a depth image of the environment of said robot (500), referred to as the reference image, using at least one 3D camera (520) carried by said robot (500); and - at least one iteration of a detection phase (620) comprising the following steps: - acquiring (622), at a measurement time, a depth image of said environment, referred to as the measurement image, using said at least one 3D camera (520), - registering (628) said reference image and said measurement image using the method according to any one of claims 1 to 12, and - detecting (630) a change relative to at least one surrounding object located in the environment of said robot (500) by comparing said reference image and said measurement image.
  16. Device for monitoring the environment of a robot, comprising: - at least one 3D camera (520), and - at least one calculation means (524); which are configured to implement all the steps of the method (600) according to the preceding claim.
  17. Robot (500) equipped with a monitoring device according to the preceding claim.

Description

Domaine technique La présente invention concerne un procédé de recalage d'images de profondeur. Elle concerne également l'utilisation d'un tel procédé dans un procédé de surveillance d'une zone d'intérêt dans une scène réelle, et dans un procédé de surveillance de l'environnement d'un robot. Le domaine de l'invention est le domaine du traitement d'images de profondeur d'une même scène, en particulier du recalage d'images de profondeur d'une même scène. Etat de la technique On connait des applications qui nécessitent la détection dans une scène réelle d'un objet réel, ou d'un objet virtuel défini comme étant une zone dans ladite scène réelle et une condition associée à ladite zone, telle qu'une condition d'occupation de ladite zone par exemple. Pour ce faire, une phase de détection comprend la capture d'une image de profondeur de la scène par un capteur ou une caméra 3D, et une analyse des données représentant ladite image de profondeur en vue de détecter l'objet réel ou virtuel. Dans le cas de la surveillance d'une zone ou d'un environnement, cette phase de détection est réitérée à plusieurs reprises. Or, il arrive que les images de profondeur ne soient pas toutes capturées suivant le même champ de vue, soit parce que la caméra 3D a été déplacée, soit parce que les images de profondeur sont obtenues par différentes caméras 3D ayant des champs de vue différents. Dans ce cas, il est nécessaire de recaler les images 3D entre elles car les objets de la scène réelle apparaissent alors à différentes positions. Un procédé antérieur de recalage d'images de profondeur est connu à partir de: Marcelo Saval-Calvo et al, "µ-MAR: Multiplane 3D Marker based Registration for depth-sensing cameras",Expert Systems with Applications, Volume 42, Issue 23, 2015, Pages 9353-9365, ISSN 0957-4174, https://doi.org/10.1016/j.eswa.2015.08.011. Une analyse systématique et complète des images tridimensionnelles détectées aboutit à une masse de calculs élevée. Un allégement peut être réalisé en n'analysant qu'une partie des points de l'image détectée mais avec pour conséquence une réduction de la précision sur les données des images. Un objet de la présente invention est de remédier à ces inconvénients. Un autre objet de la présente invention est d'identifier correctement, sans équivoque, des objets 3D d'une scène dans des images de profondeur acquises selon des champs de vue différentes. Un autre objet de la présente invention est de réaliser le suivi et l'analyse en temps réel de régions réelles ou virtuelles dans une scène d'objets 3D détectés par des capteurs ou des caméras 3D multiples et/ou en mouvement relatif par rapport aux objets de la scène. Un autre objet de la présente invention est de localiser des champs de vue de capteurs ou caméras 3D dans une scène. Un autre but de la présente invention est de proposer un procédé de recalage d'images de profondeur d'une scène réelle avec moins de ressources de calcul et moins de temps de calcul que les techniques actuelles, pour une précision donnée. Exposé de l'invention Au moins un de ces buts est atteint avec un procédé de recalage de deux images de profondeur d'une scène réelle, ledit procédé comprenant les étapes suivantes : pour chacune desdites images de profondeur : détection d'une pluralité de formes géométriques dans ladite image de profondeur, etdétermination d'au moins une relation géométrique entre au moins deux formes géométriques de ladite pluralité de formes géométriques ;identification de formes géométriques communes auxdites deux images par comparaison des relations géométriques détectées pour l'une des images à celles détectées pour l'autre desdites images ;calcul, en fonction desdites formes géométriques communes, d'une transformation géométrique entre lesdites images ; etrecalage de l'une desdites images, par rapport à l'autre desdites images, en fonction de ladite transformation géométrique. Ainsi, le procédé selon l'invention propose de recaler entre elles, ou localiser entre elles, deux images de profondeur d'une même scène réelle, en utilisant non pas les objets se trouvant dans la scène, mais des relations géométriques entre des formes géométriques identifiées dans chaque image de profondeur. L'identification, dans chaque image, des formes géométriques et des relations géométriques entre ces formes, nécessite moins de ressources de calcul et moins de temps de calcul, que l'identification des objets réels de la scène dans chaque image. De plus, la comparaison entre elles des relations géométriques est plus simple et plus rapide, que de comparer les objets réels de la scène entre eux. En effet, les formes géométriques et leurs relations sont représentées par une quantité de données à traiter beaucoup plus faible que la quantité de données représentant les objets réels de la scène. Dans la présente demande, par « recalage » de deux images on entend la détermination du positionnement relatif des deux images, ou le positionnement desdites images dans un référentiel