Synthese und Segmentierung von 3D Fluoreszenz Mikroskopie Daten

 

Motivation

Die Entwicklungsbiologie konzentriert sich auf die Untersuchung der Prozesse der Zellfortbewegung, -interaktion und -teilung. Insbesondere die Analysen von Zelllokalisierung und -morphologie, die durch Detektions- und Segmentierungsansätze umgesetzt werden, stellen eine der Schlüsselaufgaben dar, um die zugrunde liegenden Entwicklungsprinzipien zu verstehen. Technologische Fortschritte ermöglichen es Biologen, große Mengen hochdetaillierter Mikroskopie-Bilddaten zu erfassen und zu speichern, wodurch die Anwendung automatisierter Ansätze unerlässlich wird. Das Potenzial aktueller Deep Learning-basierter Ansätze ist jedoch durch die Knappheit vollständig annotierter Bilddatensätze stark eingeschränkt. Folglich konzentriert sich dieses Projekt auf zwei verschiedene Forschungsthemen:

  • Robuste und generalistische Deep Learning-basierte Instanzsegmentierungsansätze, die es ermöglichen, genaue Ergebnisse mit begrenzt verfügbaren Daten zu erhalten.
  • Simulations- und Syntheseansätze für eine automatisierte Generierung von vollständig annotierten Datensätzen, die menschliche Annotationen ersetzen sollen.

Wissenschaftliche Fragestellungen

Um die Robustheit und Generalisierbarkeit von Instanzsegmentierungsansätzen zu erhöhen, werden neue Prinzipien von Deep Learning-basierten Ansätzen in aktuelle State-of-the-Art-Ansätze integriert und neue Konzepte zur Erhöhung der Robustheit entwickelt.

Es werden Simulations- und Syntheseansätze mit beschleunigter Datengenerierung und optimierter Kontrolle über generierte Strukturen untersucht, die die Generierung vollständig annotierter Bilddatensätze nach Bedarf ermöglichen. Generierte Daten und ihre praktische Verwendung werden bewertet, indem festgestellt wird, ob sie manuell annotierte Bilddatensätze in Segmentierungstrainingspipelines ersetzen können.

Kooperationspartner

Drittmittel

  • DFG Sachbeihilfe, “On-the-fly Datensynthese für eine auf Deep Learning basierende Analyse von 3D+t Mikroskopie Experimenten”, Projektnr. 447699143

Kontakt

Veröffentlichungen

2022

D. Eschweiler, I. Laube, J. Stegmaier
Spatiotemporal Image Generation for Embryomics Applications
In: Biomedical Image Synthesis and Simulation: Methods and Applications

2022

Dennis Eschweiler, Justus Schock and Johannes Stegmaier
Probabilistic Image Diversification to Improve Segmentation in 3D Microscopy Image Data
In: MICCAI International Workshop on Simulation and Synthesis in Medical Imaging (SASHIMI)

2021

Dennis Eschweiler, Malte Rethwisch, Mareike Jarchow, Simon Koppers and Johannes Stegmaier
3D fluorescence microscopy data synthesis for segmentation and benchmarking
In: PLOS ONE 16 (12)

2022

Dennis Eschweiler, Richard S. Smith and Johannes Stegmaier
Robust 3D Cell Segmentation: Extending the View of Cellpose
In: IEEE International Conference in Image Processing (ICIP)

2021

C. Yang, D. Eschweiler, J. Stegmaier
Semi-and Self-Supervised Multi-View Fusion of 3D Microscopy Images using Generative Adversarial Networks
In: MICCAI Workshop on Machine Learning for Medical Image Reconstruction (MLMIR)

2021

Dennis Eschweiler, Malte Rethwisch, Simon Koppers and Johannes Stegmaier
Spherical Harmonics for Shape-Constrained 3D Cell Segmentation
In: IEEE International Symposium on Biomedical Imaging (ISBI)

2021

D. Bähr, D. Eschweiler, A. Bhattacharyya, D. Moreno-Andrés, W. Antonin and J. Stegmaier
CellCycleGAN: Spatiotemporal Microscopy Image Synthesis of Cell Populations using Statistical Shape Models and Conditional GANs
In: IEEE International Symposium on Biomedical Imaging (ISBI)

2019

Dennis Eschweiler, Tim Klose, Florian Nicolas Müller-Fouarge, Marcin Kopaczka, Johannes Stegmaier
Towards Annotation-Free Segmentation of Fluorescently Labeled Cell Membranes in Confocal Microscopy Images
In: MICCAI International Workshop on Simulation and Synthesis in Medical Imaging (SASHIMI)

2019

Dennis Eschweiler, Thiago V. Spina, Rohan C. Choudhury, Elliot Meyerowitz, Alexandre Cunha, Johannes Stegmaier
CNN-based Preprocessing to Optimize Watershed-based Cell Segmentation in 3D Confocal Microscopy Images
In: IEEE International Symposium on Biomedical Imaging (ISBI)