Computer Vision in Retina-Implantat mit Deep Learning

 

Motivation

Neuroprothetik ist ein aufstrebendes Gebiet der biomedizinischen Forschung und der medizintechnischen Entwicklung. Der Verlust von sensorischen oder motorischen Funktionen hat erhebliche negative Auswirkungen auf die Lebensqualität und das menschliche Wohlbefinden. Obwohl in der Vergangenheit bedeutende Fortschritte in der Augenheilkunde erzielt wurden, gibt es immer noch Krankheiten, die bei einer großen Anzahl von Menschen zu unheilbarer Blindheit führen. Die Wiederherstellung des Sehvermögens kann unter diesen Bedingungen durch die Reparatur von Zellen mit Hilfe der Gentherapie, der Optogenetik, durch den Ersatz von Zellen mit Hilfe von Stammzellen oder durch die Überbrückung der sensorischen Funktion mit Hilfe von neuroprothetischen Geräten erreicht werden. Alle diese Konzepte haben ihre Vor- und Nachteile. In diesem GRK konzentrieren wir uns auf den neuroprothetischen Ansatz.

Graduiertenkolleg 2610 – Innovative Schnittstellen zur Retina für optimiertes künstliches Sehen – InnoRetVision ist ein von der DFG gefördertes Graduiertenkolleg zur Ausbildung von Doktoranden mit einem Hintergrund und Interesse an Elektrotechnik, Neuroengineering, Biophysik, Sensorik oder Neurophysiologie und oder Sehwiederherstellung. Unser Ziel ist es, innovative Methoden zur Stimulation des visuellen Systems zu erforschen, um die derzeitigen Techniken zur Wiederherstellung des Sehvermögens bei blinden Menschen zu verbessern..

Wissenschaftliche Fragestellungen

Als Teilprojekt des Graduiertenkollegs InnoRetVision konzentrieren wir uns auf die Aufgaben des Computersehens in den Netzhautimplantaten. Die von der/den Kamera(s) aufgenommenen Bildsignale sollten zunächst auf eine drastisch niedrigere Auflösung heruntergerechnet werden, um sie dann zur Stimulation der Neuronen an die Elektrodenanordnung zu senden. Zu den Ansätzen, mit denen diese Umwandlung effektiv erreicht werden kann, gehören Bildverbesserungstechniken, die Erkennung auffälliger Objekte und die Segmentierung von Instanzen. Im Falle von Stereokameras oder der Kombination einer RGB-Kamera mit z.B. einer Infrarotkamera oder einer Tiefenkamera (ToF) sind Kalibrierungstechniken und Algorithmen zur Informationsfusion ebenfalls von Interesse.

Abschlussarbeiten

Es werden regelmäßig neue Abschlussarbeiten im Bereich der Computer Vision in Netzhautschnittstellen durch Deep Learning ausgeschrieben. Neben der Gesamtübersicht gibt es auch noch zahlreiche, noch nicht ausgeschriebene Themen, die gerne im persönlichen Gespräch vorgestellt werden.

Kooperationspartner

Drittmittel

  • DFG GRK 2610, “Innovative Schnittstellen zur Retina für optimiertes künstliches Sehen – InnoRetVision”, Projektnr. 424556709

Kontakt

M.Sc.

Veröffentlichungen

2024

Yuli Wu, Do Dinh Tan Nguyen, Henning Konermann, Rüveyda Yilmaz, Peter Walter and Johannes Stegmaier
Visual Fixation-Based Retinal Prosthetic Simulation
In: arXiv preprint arXiv:2410.11688

2024

Yuli Wu, Julian Wittmann, Peter Walter and Johannes Stegmaier
Optimizing Retinal Prosthetic Stimuli with Conditional Invertible Neural Networks
In: arXiv preprint arXiv:2403.04884

2024

Yuli Wu, Weidong He, Dennis Eschweiler, Ningxin Dou, Zixin Fan, Shengli Mi, Peter Walter and Johannes Stegmaier
Retinal OCT Synthesis with Denoising Diffusion Probabilistic Models for Layer Segmentation
In: IEEE 21st International Symposium on Biomedical Imaging (ISBI)

2023

Yuli Wu, Laura Koch, Peter Walter and Dorit Merhof
Abstract: Convolutional Neural Network-based Inverse Encoder for Optimization of Retinal Prosthetic Stimulation
In: The Artificial Vision Symposium – The International Symposium on Visual Prosthetics

2023

Yuli Wu, Ivan Karetic, Johannes Stegmaier, Peter Walter and Dorit Merhof
A Deep Learning-based in silico Framework for Optimization on Retinal Prosthetic Stimulation
In: International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)

2022

Yuli Wu, Peter Walter and Dorit Merhof
Multiscale Softmax Cross Entropy for Fovea Localization on Color Fundus Photography
In: Bildverarbeitung fuer die Medizin (BVM)