DE-102024210705-A1 - Computer-implementiertes Verfahren zum Aktualisieren einer Darstellung einer räumlichen Szene

Abstract

Computer-implementiertes Verfahren zum Aktualisieren einer Darstellung einer räumlichen Szene, umfassend die Schritte: S1) Empfangen von Bildpunkten der Darstellung der räumlichen Szene, S2) Aufnehmen einer Mehrzahl von Aufnahmepunkten der Szene mit einer Kamera, wobei jedem Aufnahmepunkt eine Positionsinformation zugeordnet wird, S3) Zuordnen von Aufnahmepunkten zu jeweils entsprechenden Bildpunkten der Darstellung anhand der jeweiligen Positionsinformation, S4) Ermitteln einer jeweiligen Abweichung durch Vergleichen der Positionsinformation eines jeweiligen Aufnahmepunktes mit der Positionsinformation des jeweils zugeordneten Bildpunktes, S5) Ausschließen derjenigen Aufnahmepunkte von der Aktualisierung, deren Abweichung unter einem Toleranz-Schwellwert liegt, gekennzeichnet durch S6) Zusammenfassen einer Mehrzahl von Bildpunkten der Darstellung zu einer Teildarstellung, S7) falls die Abweichung für eine Teilmenge der Teildarstellungs-Bildpunkte über dem Toleranz-Schwellwert liegt und für eine weitere Teilmenge der Teildarstellungs-Bildpunkte unter dem Toleranz-Schwellwert, Festlegen einer räumlichen Umgebung für einen Teildarstellungs-Bildpunkt der Teilmenge mit über dem Toleranz-Schwellwert liegender Abweichung, S8) Ermitteln, ob mindestens ein Aufnahmepunkt innerhalb eines Volumens liegt, das aufgespannt wird durch die festgelegte räumliche Umgebung und den Bildsensor der Kamera, und S9) Ausschließen des Teildarstellungs-Bildpunkts von der Aktualisierung, falls die Abweichung des mindestens einen in dem Volumen liegenden Aufnahmepunktes über einem Bewegungs-Schwellwert liegt, S10) Aktualisieren ausschließlich der nicht von der Aktualisierung ausgeschlossenen Bildpunkte der Darstellung ausschließlich anhand von nicht von der Aktualisierung ausgeschlossenen Aufnahmepunkten, S11) Bereitstellen der aktualisierten Darstellung.

Inventors

• Markus-Hermann Koch

Assignees

• Siemens Healthineers Ag

Dates

Publication Date

20260507

Application Date

20241107

Claims (14)

1. Computer-implementiertes Verfahren zum Aktualisieren einer Darstellung einer räumlichen Szene, umfassend die Schritte: S1) Empfangen von Bildpunkten der Darstellung der räumlichen Szene, S2) Aufnehmen einer Mehrzahl von Aufnahmepunkten der Szene mit einer Kamera, wobei jedem Aufnahmepunkt eine Positionsinformation zugeordnet wird, S3) Zuordnen von Aufnahmepunkten zu jeweils entsprechenden Bildpunkten der Darstellung anhand der jeweiligen Positionsinformation, S4) Ermitteln einer jeweiligen Abweichung durch Vergleichen der Positionsinformation eines jeweiligen Aufnahmepunktes mit der Positionsinformation des jeweils zugeordneten Bildpunktes, S5) Ausschließen derjenigen Aufnahmepunkte von der Aktualisierung, deren Abweichung unter einem Toleranz-Schwellwert liegt, gekennzeichnet durch S6) Zusammenfassen einer Mehrzahl von Bildpunkten der Darstellung zu einer Teildarstellung, S7) falls die Abweichung für eine Teilmenge der Teildarstellungs-Bildpunkte über dem Toleranz-Schwellwert liegt und für eine weitere Teilmenge der Teildarstellungs-Bildpunkte unter dem Toleranz-Schwellwert, Festlegen einer räumlichen Umgebung für einen Teildarstellungs-Bildpunkt der Teilmenge mit über dem Toleranz-Schwellwert liegender Abweichung, S8) Ermitteln, ob mindestens ein Aufnahmepunkt innerhalb eines Volumens liegt, das aufgespannt wird durch die festgelegte räumliche Umgebung und den Bildsensor der Kamera, und S9) Ausschließen des Teildarstellungs-Bildpunkts von der Aktualisierung, falls die Abweichung des mindestens einen in dem Volumen liegenden Aufnahmepunktes über einem Bewegungs-Schwellwert liegt, S10) Aktualisieren ausschließlich der nicht von der Aktualisierung ausgeschlossenen Bildpunkte der Darstellung ausschließlich anhand von nicht von der Aktualisierung ausgeschlossenen Aufnahmepunkten, S11) Bereitstellen der aktualisierten Darstellung.
2. Verfahren nach Anspruch 1 , wobei eine Teildarstellung unverändert beibehalten wird, falls kein Teildarstellungs-Bildpunkt zur Aktualisierung zugelassen wird.
3. Verfahren nach Anspruch 1 , wobei eine Teildarstellung unverändert beibehalten wird, falls höchstens ein begrenzter Anteil der Teildarstellungs-Bildpunkt zur Aktualisierung zugelassen wird, insbesondere ein Anteil von höchstens der Hälfte der Teildarstellungs-Bildpunkte.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Umgebung des Teildarstellungs-Bildpunkts kreis- oder kugelförmig festgelegt wird.
5. Verfahren nach einem der vorangehenden Ansprüche, wobei die Umgebung so festgelegt wird, dass sie alle Teildarstellungs-Bildpunkte umfasst, deren Abweichung über dem Toleranz-Schwellwert liegt.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Vergleichen von Positionsinformationen derart erfolgt, dass als Abweichung ein räumlicher Abstand ermittelt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Toleranz-Schwellwert 5 cm bis 50 cm, vorzugsweise 15 cm beträgt.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Bewegungs-Schwellwert 35 cm bis 65 cm, vorzugsweise 50 cm beträgt.
9. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 7 , wobei der Bewegungs-Schwellwert festgelegt wird als die Hälfte der Distanz des Teildarstellungs-Bildpunkts zur Kamera.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Darstellung der räumlichen Szene das Format eines 3D-Netz-Modells hat.
11. Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Erhalten einer Teildarstellung eine Segmentierung der Darstellung erfolgt, wobei durch die Segmentierung zusammenhängende Regionen der Darstellung bestimmt werden, wobei zu einer zusammenhängenden Region gehörende Bildpunkte zu einer Teildarstellung zusammengefasst werden.
12. Bereitstellungseinheit zum Bereitstellen einer aktualisierten Darstellung einer räumlichen Szene, welche eine Recheneinrichtung zur Durchführung der Schritte eines Verfahrens nach einem der vorangehenden Verfahrens-Ansprüche umfasst.
13. Computerprogramm, welches eine Recheneinrichtung zur Durchführung der Schritte eines Verfahrens nach einem der vorangehenden Verfahrens-Ansprüche veranlasst, wenn es auf der Recheneinrichtung ausgeführt wird.
14. Elektronisch lesbarer Datenträger, auf dem ein Computerprogramm nach dem vorangehenden Computerprogramm-Anspruch gespeichert ist.

Description

Die Erfindung betrifft ein Computer-implementiertes Verfahren zum Aktualisieren einer Darstellung einer räumlichen Szene sowie ein entsprechendes System, Computerprogramm und Computerprogrammprodukt. Computer-implementierte Verfahren zum Aktualisieren einer Darstellung einer räumlichen Szene sind aus dem Stand der Technik bekannt. Bekannte Lösungen zum Erfassen und Aktualisieren einer räumlichen Szene umfassen die Aufnahme von Punktwolken mit einer geeigneten Kamera, beispielsweise einer Tiefenkamera, einer Time-of-Flight Kamera oder einer LIDAR-Kamera (Light Imaging Detection and Ranging). Solche Kameras erlauben die Aufnahme von 3D-Informationen ausschließlich für diejenigen Elemente einer räumlichen Szene, die für die Kamera sichtbar sind. Da insofern keine vollständige 3D-Szene aufgenommen werden kann, spricht man auch von 2.5D-Kameras. Bei der Analyse von Punktwolken einer räumlichen Szene, die mit 2.5D-Kameras oder LIDAR-Kameras aufgenommen werden, können Oberflächen und Kanten erkannt und in Form eines 3D-Mesh-Modells abgebildet werden. Eine aufgenommene Szene kann kontinuierlich aktualisiert werden, um sicherzustellen, dass bewegliche Objekte und Veränderungen erkannt werden, beispielsweise im Rahmen eines Systems zur Kollisionsvermeidung. Systeme zur Kollisionsvermeidung werden beispielsweise in robotergestützten Röntgen-Angiographiesystemen eingesetzt. Es ist aus dem Stand der Technik bekannt, durch eine Kamera aufgenommene Aufnahmepunkte einer Punktewolke zu segmentieren. Die Segmentierung führt dabei zur Unterteilung der Aufnahmepunkte in Teil-Punktewolken. Die Aufnahmepunkte einer Darstellung werden damit also in Teil-Darstellungen unterteilt. Die Segmentierung kann beispielsweise zur Unterteilung in Teil-Punktewolken oder Teil-Darstellungen führen, die Elementen der räumlichen Szene entsprechen können, also beispielsweise Objekten oder Personen. Weiter ist es bekannt, solche Elemente bzw. die zugehörigen Teil-Punktewolken als 3D-Modell zu modellieren, beispielsweise als 3D-Mesh-Modell. Durch eine solche Segmentierung und Modellierung werden also die Aufnahmepunkte der segmentierten Teil-Punktewolke bzw. der Teil-Darstellung bzw. dem 3D-Modell, insbesondere 3D-Mesh-Modell, des jeweiligen Elements der räumlichen Szene zugeordnet. Ein Problem insbesondere bei Echtzeit-Anwendungen, z.B. zur Kollisionsvermeidung, ist der erhebliche Rechenaufwand bei der Transformation von Punktwolken in 3D-Mesh-Modelle. Hinzu kommt eine begrenzte Messgenauigkeit der verwendeten Bildsensoren. Beides erschwert die Erkennung von Bewegungen und Veränderungen in der Szene, die möglichst schnell und ohne Latenzzeit erfolgen sollte. Beides wird in die Bewegungsplanung integriert, um Kollisionen zu vermeiden. Die Erfindung baut auf der Erkenntnis auf, dass statische Elemente einer Szene bei der Transformation von Punktwolken in 3D-Mesh-Modelle eine erhebliche Redundanz verursachen: Für statische Elemente der Szene, die sich nicht bewegen (z.B. Wände, Tische, Geräte), ist der Nachbearbeitungsaufwand für die Transformation in ein Mesh-Modell nicht erforderlich. Das der Erfindung zugrunde liegende technische Problem besteht darin, Verfahren zur Transformation einer Punktwolke in ein 3D-Mesh-Modell zur Aktualisierung einer räumlichen Szene zu verbessern und beschleunigen, deren Genauigkeit zu erhöhen und Redundanz und Ineffizienz solcher Verfahren zu verringern, indem die Unterscheidung zwischen statischen und dynamischen Elementen der Szene verbessert wird. Die Erfindung löst dieses Problem durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs sowie durch ein System, ein Computerprogramm und ein Computerprogrammprodukt mit den Merkmalen der weiteren unabhängigen Patentansprüche. Gemäß der Erfindung wird ein Verfahren mit den Verfahrensschritten von Anspruch 1 vorgeschlagen. Das erfindungsgemäße Computer-implementierte Verfahren zum Aktualisieren einer Darstellung einer räumlichen Szene, umfasst die Schritte:S1) Empfangen von Bildpunkten der Darstellung der räumlichen Szene,S2) Aufnehmen einer Mehrzahl von Aufnahmepunkten der Szene mit einer Kamera, wobei jedem Aufnahmepunkt eine Positionsinformation zugeordnet wird,S3) Zuordnen von Aufnahmepunkten zu jeweils entsprechenden Bildpunkten der Darstellung anhand der jeweiligen Positionsinformation,S4) Ermitteln einer jeweiligen Abweichung durch Vergleichen der Positionsinformation eines jeweiligen Aufnahmepunktes mit der Positionsinformation des jeweils zugeordneten Bildpunktes,S5) Ausschließen derjenigen Aufnahmepunkte von der Aktualisierung, deren Abweichung unter einem Toleranz-Schwellwert liegt, gekennzeichnet durchS6) Zusammenfassen einer Mehrzahl von Bildpunkten der Darstellung zu einer Teildarstellung,S7) falls die Abweichung für eine Teilmenge der Teildarstellungs-Bildpunkte über dem Toleranz-Schwellwert liegt und für eine weitere Teilmenge der Teildarstellungs-Bildpunkte unter dem Toleranz-Schwellwert, Festlegen einer räumlichen Umgebung für einen Teildar