Geometrische Kalibration und Kompensation von Multispektralkameras

 

Am Lehrstuhl für Bildverarbeitung wurde im Rahmen des Forschungsthemas Multispektraltechnik das von der Deutschen Forschungsgemeinschaft (DFG) geförderte Projekt “Geometrische Kalibration und Kompensation von Multispektralkameras” bearbeitet.
Geschäftszeichen: AA5/2-1
Zeitraum: 2009-2012

 

Ziele des Forschungsvorhabens

 

Die Technik zur Aufnahme und einfachen Verarbeitung der Kameradaten ist bei den Multispektralkameras mit optischen Bandpassfiltern weitestgehend bekannt. Da jedoch bei vielen Arbeiten der Aufbau der Kamera selbst im Vordergrund steht, wird vor allem der geometrische Kalibrationsaspekt nur mit ad-hoc Ansätzen bedient. Die Ursache der durch den Aufbau verursachten Aberrationen wird nicht exakt untersucht, und die resultierenden Modelle beruhen auf heuristischen Annahmen. In diesem Vorhaben sollen physikalische Modelle für die Aberrationen abgeleitet werden und aufgrund von präzisen Messungen eine geometrische Kalibration des Systems und eine Kompensation der Verzerrungen durchgeführt werden. Aufbauend auf der geometrischen Analyse der Aberrationen soll im zweiten Teil des Vorhabens ein neuer Kameratyp für multispektrale Aufnahmen konzipiert und realisiert werden, der es ermöglicht, simultan Multispektraldaten und Tiefeninformationen zu erfassen.

 

Ergebnisse

 

Ziele dieses Projekts waren die geometrische Kalibration und Kompensation von Aberrationen bei Multispektralkameras und die Charakterisierung und erste Messungen mit einem neuen Kameratyp, einem 6-kanaligen Stereo-Multispektralsystem.

Im ersten Teil dieses Projekts wurden die transversalen Aberrationen erfolgreich untersucht. Diese Aberrationen bringen eine Verschiebung der Bildpunkte senkrecht zur optischen Achsen mit sich und werden sowohl von den Farbfiltern als auch von dem Objektiv verursacht. Die Filteraberrationen und die chromatischen Aberrationen wurden getrennt analysiert, so dass geometrische Modelle, die von der Bildposition aber auch von der Wellenlänge abhängen, für ihre Korrektur zur Verfügung stehen. Ein gemeinsames Modell wurde auch für beide Aberrationen entwickelt. Zusätzlich wurden die transversalen Aberrationen für Filter, die vor dem Objektiv positioniert sind, untersucht und mit den Aberrationen von Filtern zwischen Sensor und Objektiv verglichen: Auch wenn die Reihenfolge der Aberrationen auf dem Strahlengang umgekehrt erfolgt, kann eine ähnliche Gleichung für das geometrische Modell benutzt werden. Das entwickelte Multispektralsystem wurde außerdem spektral und radiometrisch kalibriert.

Die longitudinalen Aberrationen, die bei einer Multispektralkamera mit Filterrad wegen der unterschiedlichen Brennweiten der Farbkanäle auftreten, wurden im zweiten Teil des Projekts untersucht. Die Punktantwort des Aufnahmesystems wurde aus einer speziell entworfenen und von der Kamera aufgenommenen Vorlage berechnet und kann sich wahlweise auf einen Referenzkanal oder auf das Originalobjekt beziehen. Mit einer modernen Simulationssoftware wurden wichtige Kenntnisse gewonnen und Ergebnisse der realen Aufnahmen bestätigt. Verschiedene Techniken wurden für die Kompensation der transversalen Aberrationen analysiert und in Bezug auf Schärfe und Artefakte verglichen.

Die transversalen und die longitudinalen Aberrationen, die bei Filterradkameras durch die optischen Filtern und das Objektiv auftreten, wurden damit gründlich analysiert. Während der Aufnahme wurde keine Verschiebung des Sensors vorgenommen und es wurde lediglich das Filterrad gedreht. Die Lösungen der Bildverarbeitung, die im Projekt untersucht wurden, ermöglichen eine Kompensation der Fehler der Multispektralaufnahme ohne Benutzung einer aufwändigen Mechanik oder manuelle Abgleiche der verschiedenen Farbkanälen bei der Erfassung. Dies vereinfacht die Aufnahme von Multispektralbildern mit einer Filterradkamera. Die Kompensation der longitudinalen Aberrationen erfordert noch eine zusätzliche Kalibrationsaufnahme. Erste Ansätze für eine Kompensation der Aberrationen, die keine zusätzliche Kalibration erfordert, wurden bearbeitet.

Im letzten Teil wurde die Analyse eines neuen Typs von Multispektralkameras abgeschlossen, der mit zwei RGB-Sensoren und zwei Farbfiltern die gleichzeitige Erfassung von Multispektral- und Tiefeninformation aus einer 3D-Szene ermöglicht. Die Elemente des Aufnahmesystems wurden optimal ausgewählt, um die beste Farbgenauigkeit zu erreichen. Vorversuche mit unterschiedlichen Positionierungen des Messgeräts (sei es eine Multispektralkamera oder ein Spektralfotometer) zeigten, dass die aufgenommenen Objekte eine beschränkte Winkelabhängigkeit erweisen und somit eine Stereoaufnahme für solche Oberflächen auch eine präzise Farberfassung erlaubt. Die Farbgenauigkeit dieser 6-kanaligen Kamera war sehr nah an der Farbgenauigkeit der 7-kanaligen Kamera aus den ersten Teilen des Projekts und beide Kameratypen sind für die Erfassung von genauen Farbinformationen geeignet. Die Unterschiede zwischen den Ergebnissen der Disparitätsschätzung mit dem Stereo-Multispektralsystem und den Werten, die mit einem herkömmlichen RGB-System erreicht werden, blieben begrenzt. Nach der Kalibration und der Aufnahme werden die Stereobilder komplett verarbeitet, von der Rektifizierung der Bilder über die Disparitätsschätzung bis zur Berechnung von Farbdifferenzen, wenn eine Farbtafel mit bekannten spektralen Reflexionen in der Szene benutzt wird.

Die prinzipielle Funktionsfähigkeit der vorgeschlagenen Zusammensetzung von Multispektral- und Stereo-Aufnahme wurde in diesem Teil demonstriert. Insbesondere die guten Ergebnisse, die mit dem Stereo-Multispektralsystem aus zwei RGB-Kameras und Filtern erzielt wurden, zeigen, dass mit einer wirtschaftlich herstellbaren Stereokamera auch Multispektralbilder erfasst werden können.

 

Kontakt

 

Julie Klein, Tel.: +49 (241) 80-27866

 

 

Veröffentlichungen

 

	Julie Klein, Johannes Brauers and Til Aach Spatio-spectral modeling and compensation of transversal chromatic aberrations in multispectral imaging In: Journal of Imaging Science and Technology, vol. 55 (6), 060502, December 2011
	Julie Klein Unsupervised correction of relative longitudinal aberrations for multispectral imaging using a multiresolution approach In: IS&T/SPIE Electronic Imaging: Color Imaging XVIII San Francisco, California, USA, February 2013
	Julie Klein * invited talk * Farbgenauigkeit bei Stereo-Multispektralaufnahmen In: Jahrestagung der DfwG Aachen, Germany, October 2012
	Julie Klein and Bernhard Hill Multispectral stereo acquisition using two RGB cameras and color filters: color and disparity accuracy In: 18. Workshop Farbbildverarbeitung, p. 89-96 Darmstadt, Germany, September 2012
	Julie Klein and Til Aach Spectral and colorimetric constancy and accuracy of multispectral stereo systems In: IS&T Sixth European Conference on Color in Graphics, Imaging and Vision (CGIV 2012), p. 239-246 Amsterdam, Netherlands, May 2012
	Julie Klein and Til Aach Multispectral filter wheel cameras: modeling aberrations with filters in front of lens In: IS&T/SPIE Electronic Imaging: Digital Photography VIII, p. 82990R-1 – 82990R-9 San Francisco, California, USA, January 2012
	Julie Klein, Simon Gerhards and Til Aach Bildschärfe und Farbtreue bei Multispektralaufnahmen nach Korrektur von geometrischen Aberrationen In: 17. Workshop Farbbildverarbeitung, p. 85-96 Constance, Germany, September 2011
	Julie Klein Compensation of geometric distortions in multispectral imaging: Effects on sharpness and color accuracy In: Proceedings of the 15th International Student Conference on Electrical Engineering POSTER 2011 Prague, Czech Republic, May 2011
	Julie Klein, Johannes Brauers and Til Aach Methods for spectral characterization of multispectral cameras In: IS&T/SPIE Electronic Imaging: Digital Photography VII, p. 78760B-1 – 78760B-11 San Francisco, California, USA, January 2011
	Julie Klein, Johannes Brauers and Til Aach Spektrale Charakterisierung einer Multispektralkamera In: 16. Workshop Farbbildverarbeitung, p. 18-27 Ilmenau, Germany, October 2010 Präsentation
	Julie Klein, Johannes Brauers and Til Aach Spatial and spectral analysis and modeling of transversal chromatic aberrations and their compensation In: IS&T Fifth European Conference on Color in Graphics, Imaging and Vision (CGIV 2010) 12th International Symposium on Multispectral Colour science, p. 516-522 Joensuu, Finland, June 2010 Präsentation
	Johannes Brauers and Til Aach Direct PSF estimation using a random noise target In: IS&T/SPIE Electronic Imaging: Digital Photography VI, p. 75370B-1 – 75370B-10 San Jose, USA, January 2010
	Johannes Brauers, Claude Seiler and Til Aach Analyse und Kompensation von longitudinalen Aberrationen In: 15. Workshop Farbbildverarbeitung, p. 9-18 Berlin, Germany, October 2009
	Johannes Brauers and Til Aach Ghosting reflection compensation for multispectral high dynamic range imaging In: IS&T 17th Color Imaging Conference (CIC17), p. 170-174 Albuquerque, USA, November 2009

 

Letzte Aktualisierung: 2. Januar 2014