Gesichtserkennung im Thermalbild

SmartCare Unit – Mimikmonitoring

 

Motivation

Schmerzen sind nicht nur eine unangenehme Erfahrung, sie setzen ebenfalls den menschlichen Körper unter Stress. Postoperative Schmerzen treten häufig nach chirurgischen Eingriffen auf und haben sowohl Einfluss auf das Wohlbefinden der Patienten als auch auf die Dauer und Qualität der Regenerationsphase. Aus diesem Grunde ist es eine der Aufgaben des Klinikpersonals, die Schmerzfreiheit der Patienten so weit wie möglich sicherzustellen. Während wache und ansprechbare Patienten in der Lage sind, das Personal auf ihre Schmerzen aufmerksam zu machen, sind schlafende oder betäubte Personen hierzu nicht fähig. Nichtsdestotrotz können auch betäubte Patienten unter Schmerzen leiden. Aus diesem Grund werden nicht ansprechbare Patienten auf Intensivstationen und in Aufwachräumen von Mitarbeitern überwacht und bei Bedarf mit Schmerzmitteln versorgt. Aktuell existiert jedoch kein Verfahren oder Messgerät, um Schmerzen zuverlässig durch Messung physikalischer Größen erkennen zu können. Aus diesem Grund achtet das Personal beim Rundgang vor allem auf den Gesichtsausdruck der Patienten, der auch bei sedierten Personen ein Indiz für den empfundenen Schmerz ist.

Ziele

Das Projekt Mimikmonitoring hat das Ziel, diese durch das Personal praktizierte Beurteilung des Schmerzniveaus anhand der Mimik der Patienten mit einem technischen Aufbau zu reproduzieren. Die Gesichter der Patienten sollen mit einer Infrarot-Thermographiekamera (IRT) aufgenommen werden und der Schmerzpegel soll mit Hilfe dieser Bilder laufend bestimmt werden. Hierzu sind seitens des LfB umfangreiche Forschungsarbeiten im Bereich der digitalen Bildverarbeitung notwendig. Der erste Schritt ist die Entwicklung einer zuverlässigen Methode für die Erkennung und Verfolgung von Gesichtern in IRT-Videos. Die besondere Herausforderung hierbei ist, dass thermographische Aufnahmen zum Teil erheblich andere Merkmale in Gesichtern darstellen als Videos, die mit herkömmlichen Kameras aufgenommen worden sind. Weiterhin ist der Kontrast in IRT-Daten gering, was die erreichbare Genauigkeit des Trackings weiter vermindert. Außerdem fehlen bislang Methoden für die zuverlässige und genaue Erkennung von wichtigen Gesichtspartien wie der Augen oder der Nase, die eine Vielzahl von potenziellen Informationen über den Schmerzpegel der Personen geben können. Nichtsdestotrotz muss die zu entwickelnde Methode eine hohe Genauigkeit und Robustheit bei Detektion und Tracking erreichen, um möglichst präzise Ortsinformationen über verschiedene Gesichtsbereiche liefern zu können. In einem weiteren Schritt muss eine Klassifikationsmethode für die Einschätzung des empfundenen Schmerzes anhand der Aufnahmen erforscht werden. Hierzu werden mittels Referenzdaten Machine-Learning-Algorithmen trainiert, die anschließend den Gesichtern in Echtzeit autonom einen Schmerzindex zuweisen sollen. Die Problematik hierbei ist die große Varianz in den IRT-Aufnahmen, die die Entwicklung eines robusten Klassifikators erschwert. In einem finalen Schritt werden alle Teilkomponenten zusammengefügt, um ein System zu ergeben, das dem medizinischen Personal den Einsatz in einem realen Intensivszenario ermöglicht.

Das Mimikmonitoring ist ein Projekt des SmartCareUnit-Netzwerks. Die Kernidee dieses Zusammenschlusses industrieller, akademischer und medizinischer Partner ist die Erarbeitung innovativer und zukunftsfähiger Konzepte in der Intensivmedizin. Es handelt sich um ein öffentlich gefördertes Projekt, das durch die Einbindung von Forschungseinrichtungen sowie Kleiner und Mittlerer Unternehmen die Wettbewerbsfähigkeit des deutschen Forschungs- und Industriestandorts sichern soll.

Abschlussarbeiten

Es werden regelmäßig neue Abschlussarbeiten im Bereich des Mimikmonitorings ausgeschrieben. Neben der Gesamtübersicht gibt es auch noch zahlreiche, noch nicht ausgeschriebene Themen, die gerne im persönlichen Gespräch vorgestellt werden.

Kooperationspartner

Drittmittel

  • BMWi/ZIM, “SmartCareUnit– Mimikanalyse mit Hilfe geometrischer und dynamischer IRT-Merkmale und Entwicklung von Tracking Algorithmen”, Projektnr. 16KN035923
  • OPSF645 – Cooling Upper Lip = Agony? (CUL=A) – Detecting Differential Responses to Psychosocial Stress through Thermal Infrared Tomography, RWTH Aachen

Kontakt

Univ.-Prof. Prof. h.c. (Amity University, India) Dr.-Ing.

Veröffentlichungen

2020

Marcin Kopaczka, Justus Schock, Paul Kruse and Dorit Merhof
Efficient Deep Face Alignment with Explicit Statistical Shape Models in Convolutioal Neural Networks
In: 10th International Conference on Imag Processing Theory, Tools and Applications (IPTA)

2019

Marcin Kopaczka, Lukas Breuer, Justus Schock and Dorit Merhof
A Modular System for Detection, Tracking and Analysis of Human Faces in Thermal Infrared Recordings
In: Sensors