Szenen Segmentierung zur Entwicklung eines dynamischen Brain-Computer Interface

Es soll für ein robotisches Greifsystem eine Anbindung an ein Brain-Computer Interface erstellt werden, die, basierend auf der jeweiligen Szene, verschiedene Auswahlmöglichkeiten anbietet.    Die meisten bisherigen Brain-Computer Interface Systeme, vernachlässigen die damit verbundenen Aspekte aus dem Bereich der Computer Vision. Objekte oder Positionen, aus denen der BCI Nutzer wählen kann sind hardcoded oder müssen mit Markern versehen werden. Hier sollen nun zwei bereits existierende Systeme aus dem Bereich der Computer Vision und Brain-Computer Interfacing kombiniert werden, um ein dynamisches und intuitiver zu bedienendes System zu schaffen. Diese Masterarbeit liegt damit im Schnittbereich zwischen Computer Vision, Robotic und BCI. Die Aufgabe besteht in Entwicklung und Test eines Systems, dass dem Benutzer ermöglicht eines von mehreren Objekten in einer Szene auszuwählen um es von einer Roboterhand (Shadow Hand) greifen zu lassen. Anschließend soll es dann möglich sein eine Zielposition, an der das Objekt abgelegt werden soll zu wählen. Diese Zielposition kann auch die Oberfläche eines anderen Objektes in der Szene sein, was das Stapeln von Objekten ermöglichen soll. Alle Auswahlen sollen per BCI (P300) getroffen werden. Der Benutzer muss keine tatsächlich Bewegung ausführen, sondern sendet durch reine Konzentration Befehle an das Roboter-System.     Es existieren drei Systeme, die integriert und angepasst werden müssen:

• Ein System zur Szenen Segmentierung und Oberflächenerkennung.
• Ein System zur Kontrolle von zwei Roboterhänden (Shadow Hands).
• Ein BCI-System.

    Die Aufgabe wird beinhalten: 

• Die Entwicklung einer Stimulus-Präsentation innerhalb eines Videobilds der Szene.
• Die Entwicklung einer Schnittstelle zwischen dieser Stimuluspräsentation und dem BCI System. 
• Die Entwicklung einer Schnittstelle zwischen dem BCI System und dem Roboter-System. 
• Die Anpassung eines existierenden Simulators für das Greifszenario.
• Versuche mit ~ 5 Versuchspersonen durchzuführen.

Voraussetzungen: 

• Kenntnisse in Software-Entwicklung (C++, Qt werden eingesetzt)
• Grundlagenkenntnisse für 3D-Grafik Programmierung.