Search

EP-3721330-B1 - METHOD AND SYSTEM FOR DETERMINING A POSITION OF AN OBJECT

EP3721330B1EP 3721330 B1EP3721330 B1EP 3721330B1EP-3721330-B1

Inventors

  • Bucko, Michal
  • Vahdat-Pajouh, Darius

Dates

Publication Date
20260506
Application Date
20181113

Claims (16)

  1. Method for determining a position of an object (24) in at least one plane of a space, in particular in a store, comprising: - capturing in each case one image of the space by at least two cameras (10), - wherein each respective image is an azimuthal projection of a hemisphere onto the image plane, - determining an azimuth of the object (24) in a respective image, - wherein the azimuthal projection allows an azimuth of the object plane to be assigned to each azimuth of the image plane, and the azimuth of the object coordinates is determined from the azimuth of the image coordinates, - assigning the position to the object (24) using the determined azimuth of the object (24) and a position of at least two previously determined reference points (22), - wherein a mobile device (26) is arranged on the object (24) and the mobile device (26) detects movement information and transmits the detected movement information, and - at least two objects (24) are first determined in the image, then, based on movement information of one of the objects (24) which is received from the object (24) and based on movement information of the objects (24) which is detected in the image, that object (24) is determined from which the movement information was received, characterized in that - object centers of the objects (24) are recognized using an object recognition method.
  2. Method according to claim 1, characterized in that a respective camera (10) is calibrated in that a respective position of at least two reference points (22) in the plane is detected, wherein a respective position of a reference point (22) is measured relative to a respective one of at least two cameras (10).
  3. Method according to claim 1 or 2, characterized in that the azimuthal projection is a central projection, in particular a gnomonic projection.
  4. Method according to one of the preceding claims, characterized in that an elevation of the object coordinates is projected into a radius of the image coordinates.
  5. Method according to one of the preceding claims, characterized in that an elevation of the object (24) is determined in a respective image, and the position is assigned to the object (24) using the determined elevation of the object.
  6. Method according to one of the preceding claims 4 and 5, characterized in that a spatial vector is determined from each of the cameras (10) using the azimuth and the elevation of the object (24).
  7. Method according to one of the preceding claims 4 to 6, characterized in that a minimum distance between two spatial vectors is determined and, in particular, the distance is set in relation to the respective elevations of the spatial vectors.
  8. Method according to one of the preceding claims, characterized in that an optical axis of the camera (10) is essentially parallel to a surface normal of the plane in which the position of the object is determined.
  9. Method according to one of the preceding claims, characterized in that optical axes of the cameras (10) are aligned substantially parallel to each other.
  10. Method according to one of the preceding claims 2 to 9, characterized in that the position of the reference point (22) is determined as the distance of the object (24) from an optical axis of a respective camera (10), wherein in particular the distance is determined along two axes which are substantially orthogonal to the optical axis of the camera (10).
  11. Method according to one of the preceding claims, characterized in that the azimuth and/or the elevation of the object (24) are determined in images from at least two cameras (10).
  12. Method according to one of the preceding claims, characterized in that with the aid of the mobile device (26) a location area is first determined, that the location area is transmitted by the mobile device (26), and that only the location area is evaluated in the image for position determination.
  13. Method according to one of the preceding claims, characterized in that light information is transmitted at the mobile device (26), that light information detected in the image is evaluated, and that that object (24) is determined at which the light information was detected.
  14. Method according to one of the preceding claims, characterized in that the position of the object (24) is sent to the mobile device (26).
  15. System for determining a position of an object in at least one plane of a space, in particular in a store, with a method according to one of the preceding claims, comprising at least two cameras (10) configured to capture in each case one image of the space, wherein each respective image is an azimuthal projection of a hemisphere onto the image plane, an evaluation device configured to determine an azimuth of the object (24) in a respective image, an assignment device configured to assign the position to the object (24) using the determined azimuth of the object (24) and a position of at least two previously determined reference points (22).
  16. System according to claim 15, characterized in that the evaluation device and/or the assignment device are arranged in at least one of the cameras (10) or in a central computer.

Description

Der Gegenstand betrifft ein System sowie ein Verfahren zur Bestimmung einer Position eines Objektes in einem Raum, insbesondere einer Ebene eines Raumes. Das Verfahren als auch das System wird insbesondere zur Erkennung von Personen in Ladenlokalen verwendet. Positionsbestimmung, insbesondere Indoor-Positionsbestimmung, ist hinlänglich bekannt. Es ist bekannt, mit Hilfe von Indoor-Positionsbestimmungsverfahren eine Position eines Objektes, beispielsweise eines mobilen Gerätes, in einem Raum zu bestimmen. Darüber hinaus sind Innenraumüberwachungssysteme bekannt, die auf Basis von Kameras arbeiten. Die Kameras erfassen Bilder eines Raumes. In diesen Bildern können beispielsweise Objekte detektiert werden. Dies kann beispielsweise durch geeignete bildgebende Verfahren geschehen. Auch ist beispielsweise bekannt, Gesichter oder dergleichen in Bildern, beispielsweise Bewegtbildern, zu detektieren und auch die Bewegung der Objekte über eine Serie von Bildern zu tracken. Bei den bekannten Verfahren zur Überwachung eines Raumes mit Hilfe von Kameras lässt sich jedoch nur eine Position des Objektes relativ zur Kamera ermitteln. Dies ist für Sicherheitsanwendungen ausreichend, kann jedoch nachteilig sein, wenn die Positionsinformation absolut sein muss, um beispielsweise Augmented Reality Anwendungen mit Positionsinformationen anzureichern. Aus diesem Grunde lag dem Gegenstand die Aufgabe zugrunde, die Position eines Objektes in einem Raum exakt zu bestimmen. Aus der US 2014/0043444 A1 ist ein Verfahren zur Kalibrierung von einer Stereo Kameraanordnung bekannt. Aus "CrossMotion: Fusing Device and Image Motion for User Identification, Tracking and Device Association" von A.D. Wilson und H. Benko ist ein Verfahren zur Bestimmung der Position eines Objektes unter Verwendung der Merkmale des Oberbegiffs von Anspruch 1 bekannt. Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 sowie ein System nach Anspruch 15 gelöst. Es ist erkannt worden, dass unter Verwendung von Informationen zu Referenzpunkten und zweier Kameras eine Position eines Objektes in einer Ebene bestimmt werden kann. Eine Kamera ist insbesondere eine Bewegtbildkamera, beispielsweise eine CCD-Kamera oder eine CMOS Kamera. Die Kamera ist insbesondere eine hochauflösende Kamera. Die Kamera hat insbesondere ein Weitwinkelobjektiv mit einem sehr großen Bildwinkel. Der Bildwinkel kann dabei bis zu 180° aufweisen. Die Kamera hat bevorzugt eine Auflösung von 4K. Das Objektiv ist insbesondere ein Weitwinkelobjektiv oder ein Fischaugenobjektiv oder dergleichen. Zur Positionsbestimmung wird zunächst jeweils ein Bild eines Raums durch zwei solcher Kameras erfasst. Die Kameras sind dabei bevorzugt zueinander zeitlich synchronisiert, d.h. dass die Kameras zumindest eine gleiche Zeitnormale haben. Das bedeutet, dass die Zeitstempel von gleichzeitig aufgenommenen Bildern der beiden Kameras einander zuordenbar, insbesondere gleich sind. Dadurch können jeweils zwei im Wesentlichen zeitgleich aufgenommene Bilder der beiden Kameras miteinander kombiniert werden. Ein jeweiliges Bild ist eine Azimutalprojektion der Hemisphäre um die Kamera herum auf die Bildebene der Kamera. Mit Hilfe der Azimutalprojektion ist es möglich, die Objektkoordinate Azimut in eine Bildkoordinate Azimut zu überführen. Jeder Azimutwinkel des Objektbereichs kann aus einem Azimutwinkel in dem Bildbereich hergeleitet werden. Insbesondere werden die Objekte mit Hilfe der Kamera entsprechend ihrer Kugelkoordinaten auf der Hemisphäre erfasst und in kartesische Koordinaten in der Bildebene überführt. Somit lässt sich aus jedem einzelnen Bild der Azimut des Objektes zu der jeweiligen Kamera ermitteln. Mit Hilfe der Azimutalprojektion ist es auch möglich, die Objektkoordinate Polarwinkel in eine Bildkoordinate zu überführen. Jeder Polarwinkel des Objektbereichs kann aus einer Position (z.B. Radius oder Abstand zur Bildmitte) im Bildbereich hergeleitet werden. Insbesondere werden die Objekte mit Hilfe der Kamera entsprechend ihrer Kugelkoordinaten auf der Hemisphäre erfasst und in kartesische Koordinaten in der Bildebene überführt. Somit lässt sich aus jedem einzelnen Bild der Polarwinkel des Objektes zu der jeweiligen Kamera ermitteln. Nunmehr liegt für jede Kamera bzw. jedes Bild einer Kamera ein Azimut des Objektes und/oder ein Polarwinkel im Bildbereich vor. Die Position des Objektes kann dann anschließend bestimmt werden, in dem die bestimmten Azimute des Objektes und/oder Polarwinkel des Objektes zusammen mit einer Position von zumindest zwei zuvor bestimmten Referenzpunkten verwendet wird. Die Referenzpunkte können beispielweise zwei zuvor ausgemessene Objekte sein. Zu diesen Objekten können beispielsweise die tatsächlichen Azimute und/oder Polarwinkel zur Bildachse der Kameras ausgemessen werden. Auch ist es möglich, den absoluten Abstand der Referenzpunkte zu der Bildachse der jeweiligen Kameras auszumessen. Somit kann dem Azimut und/oder Polarwinkel in dem Bild eines Referenzpunktes eine absolute Po