DE-102013019785-B4 - Vorrichtung und Verfahren zur Eingabesteuerung

Abstract

Vorrichtung zur Eingabesteuerung für eine Rechenvorrichtung mit einem Anzeigeelement (6), umfassend mindestens eine Steuerungs-Kamera (5), mindestens eine weitere Kamera, die als Objektdetektionseinheit (4) zur Erfassung der Elemente auf dem Anzeigeelement (6) dient, sowie mindestens eine Datenverbindung von der mindestens einen Steuerungs-Kamera (5) und der mindestens einen Objektdetektionseinheit (4) zu mindestens einer Recheneinheit (9) und/oder der Rechenvorrichtung, und mindestens ein Markierungselement (1, 2), dazu ausgelegt im Bereich des Gesichts des Benutzers der betreffenden Rechenvorrichtung angebracht zu werden.

Inventors

• Erfinder gleich Patentinhaber

Assignees

• Aissa Zouhri

Dates

Publication Date

20260507

Application Date

20131127

Claims (10)

1. Vorrichtung zur Eingabesteuerung für eine Rechenvorrichtung mit einem Anzeigeelement (6), umfassend mindestens eine Steuerungs-Kamera (5), mindestens eine weitere Kamera, die als Objektdetektionseinheit (4) zur Erfassung der Elemente auf dem Anzeigeelement (6) dient, sowie mindestens eine Datenverbindung von der mindestens einen Steuerungs-Kamera (5) und der mindestens einen Objektdetektionseinheit (4) zu mindestens einer Recheneinheit (9) und/oder der Rechenvorrichtung, und mindestens ein Markierungselement (1, 2), dazu ausgelegt im Bereich des Gesichts des Benutzers der betreffenden Rechenvorrichtung angebracht zu werden.
2. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet , dass mindestens eine der Recheneinheiten (9) eine Recheneinheit der Rechenvorrichtung ist.
3. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet , dass in dem Falle, dass die erfindungsgemäße Vorrichtung komplett ohne Hilfe der Rechenvorrichtung arbeitet, nicht nur eine Datenverbindung zu den betreffenden Recheneinheiten (9) existiert, sondern auch eine zusätzliche Datenverbindung zu der Rechenvorrichtung, durch die bevorzugt Steuersignale übermittelt werden, und in dem Falle, in dem die erfindungsgemäße Vorrichtung zumindest teilweise in der betreffenden Rechenvorrichtung integriert ist, zumindest auch Bilddaten über mindestens eine der Datenverbindungen in der Rechenvorrichtung übertragen werden.
4. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet , dass die mindestens eine Steuerungs-Kamera (5) dazu geeignet ist, den Benutzer der Rechenvorrichtung aufzunehmen, und die bevorzugt aus der Gruppe eigenständige Webcams und in der Rechenvorrichtung integrierte Kameras ausgewählt ist.
5. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet , dass die mindestens eine weitere Kamera die Kamera einer Videobrille oder eine Webcam ist.
6. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet , dass die betreffenden Markierungselemente (1, 2) dermaßen gestaltet sind, dass sie sich entweder aufgrund ihrer Form und/oder aufgrund ihrer Farbgebung vom Gesicht des Benutzers abheben.
7. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet , dass die betreffenden Markierungselemente (1, 2) in einem Abstand zu zumindest einem der Augen (3) von max. 10 cm, vorzugsweise max. 3 cm, insbesondere zwischen beiden Augen (3) des Benutzers, angeordnet sind.
8. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet , dass mindestens eine der Objektdetektionseinheiten (4) eine am Körper des Benutzers getragene Kamera ist, insbesondere eine Kamerabrille, welche bevorzugt zusätzlich mindestens eine der erfindungsgemäßen Markierungseinheiten (1, 2) aufweist.
9. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet , dass mindestens eine der Markierungseinheiten (1, 2) mittels Kontaktlinsen in den Augen (3) des Benutzers angebracht ist.
10. Verfahren zur Eingabesteuerung mit einer Vorrichtung nach einem der vorangehenden Ansprüche, umfassend die Schritte: a) Aufnahme des Gesichtes des Benutzers der Rechenvorrichtung mit mindestens einer Steuerungs-Kamera (5); b) Verarbeitung der aufgenommenen Bilder dermaßen, dass die Position des mindestens einen Markierungselements (1, 2) und die Position mindestens eines der Augen (3) des Benutzers ermittelt werden; c) Erfassung der Elemente auf der Anzeigeeinheit (6) durch die mindestens eine weitere Kamera; d) Berechnung der Blickrichtung des Benutzers relativ zum Anzeigeelement (6) aus den vorgenannten Positionen und den erfassten Elementen; e) Prüfen, ob eine vorher festgelegte Aktion des Auges (3) durchgeführt wurde, und bei Vorliegen dieser Aktion Sendung des Äquivalents eines ‚Mausclicks‘ an die Rechenvorrichtung; f) erneutes Durchlaufen der Schritte a) bis f).

Description

Die Erfindung befasst sich mit einer Vorrichtung und einem Verfahren zur Eingabesteuerung von Recheneinheiten mit den Augen des Benutzers. Bisher wird die Steuerung von Eingaben, wie eine Menüsteuerung, in eine Rechenvorrichtung (z.B. Desktop, Laptop, Tablet oder Smartphone) durch einen Benutzer in der Regel mittels der Eingabeelemente Tastatur, Maus und Touchscreen vorgenommen. Nachteil der bisher verwendeten Verfahren ist es, dass stets eine menschliche Hand diese Eingabeelemente bedienen muss. Dadurch können Personen, bei denen eine Funktionseinschränkung der Hand vorliegt, etwa durch medizinische Gründe oder weil ihre Tätigkeit den anderweitigen Einsatz der Hand erfordert, die betreffende Rechenvorrichtung nur eingeschränkt bedienen. Zudem kann es zu hygienischen Problemen führen, wenn diese Eingabeelemente von mehreren unterschiedlichen Personen benutzt werden. Aus US 2009 / 0 196 460 A1 ist ein System und Verfahren zur Bedienung eines Computers mittels Blick- oder Augensteuerung („eye tracking“) bekannt. Das System verfolgt die Blickrichtung eines Benutzers, und umfasst ein System, welches die Position und Ausrichtung des Kopfes ermittelt, ein System zur Erfassung der Augenbewegungen des Benutzers, ein Anzeigegerät, welches dem Benutzer ein Kalibrierbild präsentiert, sowie einen Prozessor, der die Position der Drehachse des Auges und die Position der Blickrichtung des Benutzers berechnet, und zwar auf Basis der Position und Ausrichtung des Kopfes, der Position und Ausrichtung des Augenmittelpunkts, und der Position mehrerer auf dem Kalibrierbild vorhandener Kalibrierungspunkte. Eine Anbringung von Markierungselementen im Gesicht des Benutzers ist nicht vorgesehen. Die Veröffentlichung (MARDANBEGI, D.; HANSEN, D. W.: Mobile gaze-based screen interaction in 3D environments. In: Proceedings of the 1st conference on novel gaze-controlled applications. 2011. S. 1-4. DOI: 10.1145/1983302.1983304) betrifft eine blickgesteuerte Bildschirm-Interaktion in 3D-Umgebungen, unter Verwendung eines am Kopf getragenen Geräts zur Registrierung der Augenbewegungen („eye tracker“). Derartige Geräte weisen mindestens eine Kamera zur Erfassung der Augenbewegungen sowie eine weitere Kamera zur Aufnahme von Bildszenen auf. Im Unterschied dazu weist ein externer „eye tracker“ nur eine einzige Kamera auf, welche das Auge des Benutzers aufnimmt. Ziel der vorliegenden Erfindung war es, die Nachteile des Standes der Technik zu überwinden und eine Vorrichtung und ein Verfahren zur Verfügung zu stellen, die eine Eingabe in eine Rechenvorrichtung ohne Berührung von Eingabeelementen mit der Hand ermöglichen. Diese Aufgabe wird durch eine Vorrichtung und ein Verfahren gemäß den Ansprüchen gelöst. Die erfindungsgemäße Vorrichtung zur Eingabesteuerung für eine Rechenvorrichtung mit einem Anzeigeelement umfasst mindestens eine Steuerungs-Kamera, mindestens eine weitere Kamera, die als Objektdetektionseinheit zur Erfassung der Elemente auf dem Anzeigeelement dient, sowie mindestens eine Datenverbindung von der mindestens einen Steuerungs-Kamera und der mindestens einen Objektdetektionseinheit zu mindestens einer Recheneinheit und/oder der Rechenvorrichtung, und mindestens ein Markierungselement, dazu ausgelegt im Bereich des Gesichts des Benutzers der betreffenden Rechenvorrichtung angebracht zu werden. Die genannten Rechenvorrichtungen sind üblicherweise Computer, wie Desktops, Netbooks, Notebooks oder Tablet-Computer. Aber auch Smartphones, Spielkonsolen oder intelligente Fernsehgeräte können mit der erfindungsgemäßen Vorrichtung bzw. dem Verfahren gesteuert werden. Die genannten Anzeigeelemente sind in der Regel die Bildschirme der betreffenden Rechenvorrichtungen. Geeignete Recheneinheiten sind dem Fachmann bekannt. Dies können Prozessoren oder Controller sein, die insbesondere mit einem eigenen Arbeitsspeicher ausgestattet sind. Es wird bevorzugt, insbesondere, wenn die Steuerungs-Kamera Teil der Rechenvorrichtung ist, als Recheneinheit(en) die Recheneinheit(en) der Rechenvorrichtung zu nutzen. Die Recheneinheit ist vorzugsweise Teil der Vorrichtung. Die betreffende Datenverbindung zu der mindestens einen Recheneinheit und/oder der Rechenvorrichtung ist notwendig, um eine Steuerung der Rechenvorrichtung überhaupt ermöglichen zu können. Insbesondere besteht immer eine Datenverbindung zur Rechenvorrichtung. Geeignete Datenverbindungen sind dem Fachmann bekannt, sowie es bekannt ist, dass die Daten mehrerer Komponenten durch ein und dieselbe Datenverbindung gesendet werden können. Bevorzugte Datenverbindungen sind interne Busse der Rechenvorrichtung, USB, LAN, WLAN, sonstige serielle bzw. parallele Schnittstellen oder Bluetooth. In dem Falle, dass die erfindungsgemäße Vorrichtung komplett ohne Hilfe der Rechenvorrichtung arbeitet, existiert nicht nur eine Datenverbindung zu den betreffenden Recheneinheiten (die hier nicht die Rechenvorrichtung sind), sondern auch eine zusätzliche Datenverbindung zu der Rechenvorrichtung, durch die bevor