Synthese, Segmentierung und Verfolgung von Mikroskopiebildern lebender Zellen

 

Motivation

Die Entwicklungsbiologie konzentriert sich darauf, die Prozesse zu untersuchen, wie Zellen migrieren, interagieren und sich teilen. Insbesondere die Analyse von Zellstandort und -morphologie, die durch Segmentierungs- und Verfolgungsansätze analysiert werden, stellt eine der Schlüsselaufgaben beim Verständnis der zugrunde liegenden Prinzipien der Entwicklung dar. Technologische Fortschritte ermöglichen es Biologen, umfangreiche Mengen hochdetaillierter Mikroskopiebilddaten zu erfassen und zu speichern, was die Anwendung automatisierter Ansätze unerlässlich macht. Das Potenzial aktueller auf Deep Learning basierender Ansätze wird jedoch durch die Knappheit vollständig annotierter Bilddatensätze erheblich eingeschränkt. Daher konzentriert sich dieses Projekt auf die Synthese vollständig annotierter Mikroskopievideodatensätze, um den Bedarf an zeitaufwändigen manuellen Annotationsbemühungen zu beseitigen.

 

Wissenschaftliche Fragestellungen

  • Wie lassen sich realistische, vollständig synthetische Zelltexturen und -formen auf der Grundlage einer begrenzten Menge annotierter realer Daten generieren?
  • Wie lassen sich die räumlich-zeitlichen Beziehungen von Zellkörpern erfassen und auf den generierten Daten widerspiegeln?
  • Wie stellt man sicher, dass im synthetischen Datensatz ausreichend Variabilität vorhanden ist und wie bewertet man dessen Qualität?
  • Welche Verbesserungen können erzielt werden, indem Segmentierungs- und Verfolgungsmodelle mit reichlich synthetischen Daten trainiert werden, im Vergleich zu ihrer Schulung mit begrenzten realen Daten?

 

Kooperationspartner

Drittmittel

  • DFG Sachbeihilfe, “On-the-fly Datensynthese für eine auf Deep Learning basierende Analyse von 3D+t Mikroskopie Experimenten”, Projektnr. 447699143

Kontakt

Veröffentlichungen

2024

Dennis Eschweiler, Rüveyda Yilmaz, Matisse Baumann, Ina Laube, Rijo Roy, Abin Jose, Daniel Brückner and Johannes Stegmaier
Denoising Diffusion Probabilistic Models for Generation of Realistic Fully-Annotated Microscopy Image Data Sets
In: PLOS Computational Biology 20 (2)

2022

D. Eschweiler, I. Laube, J. Stegmaier
Spatiotemporal Image Generation for Embryomics Applications
In: Biomedical Image Synthesis and Simulation: Methods and Applications

2022

Dennis Eschweiler, Justus Schock and Johannes Stegmaier
Probabilistic Image Diversification to Improve Segmentation in 3D Microscopy Image Data
In: MICCAI International Workshop on Simulation and Synthesis in Medical Imaging (SASHIMI)

2021

Dennis Eschweiler, Malte Rethwisch, Mareike Jarchow, Simon Koppers and Johannes Stegmaier
3D fluorescence microscopy data synthesis for segmentation and benchmarking
In: PLOS ONE 16 (12)

2022

Dennis Eschweiler, Richard S. Smith and Johannes Stegmaier
Robust 3D Cell Segmentation: Extending the View of Cellpose
In: IEEE International Conference in Image Processing (ICIP)

2021

C. Yang, D. Eschweiler, J. Stegmaier
Semi-and Self-Supervised Multi-View Fusion of 3D Microscopy Images using Generative Adversarial Networks
In: MICCAI Workshop on Machine Learning for Medical Image Reconstruction (MLMIR)

2021

Dennis Eschweiler, Malte Rethwisch, Simon Koppers and Johannes Stegmaier
Spherical Harmonics for Shape-Constrained 3D Cell Segmentation
In: IEEE International Symposium on Biomedical Imaging (ISBI)

2021

D. Bähr, D. Eschweiler, A. Bhattacharyya, D. Moreno-Andrés, W. Antonin and J. Stegmaier
CellCycleGAN: Spatiotemporal Microscopy Image Synthesis of Cell Populations using Statistical Shape Models and Conditional GANs
In: IEEE International Symposium on Biomedical Imaging (ISBI)

2019

Dennis Eschweiler, Tim Klose, Florian Nicolas Müller-Fouarge, Marcin Kopaczka, Johannes Stegmaier
Towards Annotation-Free Segmentation of Fluorescently Labeled Cell Membranes in Confocal Microscopy Images
In: MICCAI International Workshop on Simulation and Synthesis in Medical Imaging (SASHIMI)

2019

Dennis Eschweiler, Thiago V. Spina, Rohan C. Choudhury, Elliot Meyerowitz, Alexandre Cunha, Johannes Stegmaier
CNN-based Preprocessing to Optimize Watershed-based Cell Segmentation in 3D Confocal Microscopy Images
In: IEEE International Symposium on Biomedical Imaging (ISBI)