Institutsprojekt: Kinect – Bildverarbeitung für ein interaktives Shop-System

 

Kinect ist ein von Microsoft für die Spielekonsole Xbox entwickeltes Eingabegerät. Neben einer normalen Kamera, enthält es auch einen Infrarotsender und -empfänger. Es wird ein zeitlich abhängiges Infrarotmuster in den Raum projiziert und mit der Infrarotkamera aufgenommen. Durch die seitlich verschobene Position des Sender und Empfängers (vgl. Stereokamera) und dem kodierten Infrarotsignal kann eine Tiefenkarte der aufgenommenen Szene erstellt werden. Die Berechnung der Tiefenkarte erfolgt im Kinect-Gerät und der Rechner erhält ein fertiges Tiefenbild. Inzwischen gibt es Treiber um die Kamera an einem normalen Rechner zu betreiben.

Im diesjährigen Institutsprojekt soll eine Software zur Verwaltung eines kleinen Süßigkeiten-Shops geschrieben werden. Die Software soll in der Lage sein Produkte aus dem Shop automatisiert zu erkennen und das Guthaben vom entsprechenden Kundenkonto um den Produktpreis zu reduzieren. Damit ergeben sich folgende Teilprojekte:

  • Lokalisierung des Produktes (Nutzung des bereitgestellten Skeletmodells und der Tiefenkarte)
  • Erkennung des Produktes (Extraktion von Bildmerkmalen und Klassifikation, mittels in der Datenbank vorgehaltener Kriterien)
  • Buchung des Produktes (Einsatz der bereitgestellten Spracherkennung und einarbeiten des Buchungsprozesses in die GUI)

Eine Plattform die bereits eine einfache GUI, die Anbindung an die Kinect (Tiefeninformation, Skelettdaten, Bilddaten und Sprachdaten) und die OpenCV-Bibliothek beinhaltet wird hierfür bereitgestellt.

 

Für die Durchführung des Projektes sind Kenntnisse in objektorientierter Programmierung von Vorteil.

Beispielbilder:

ip_gui_large

Beispielbild und zugehörige Tiefenkarte im Framework des Lehrstuhls.

Kinect

Projektplätze: 9

Fragen zum Projekt an:

Daniel Bug