DE / EN

IAPG: Projekte

IAPG: Projects

Promotionsvorhaben „Endoskopische 3D-Navigation - Verfahren zur Systemmodellierung, Navigation und Objektrekonstruktion aus mehrfachen Endoskopiebildern“

PhD project „Endoscopic 3D-Navigation - Methods for system modeling, navigation and object reconstruction from multiple endoscopy images“

Projekt von Prof. Dr.-Ing. habil. Thomas Luhmann und Niklas Conen (M.Sc.)

Project by Prof. Dr.-Ing. habil. Thomas Luhmann and Niklas Conen (M.Sc.)

  • Gefördert durch Jade2Pro
  • Laufzeit: 01.04.2014 – 30.09.2017
  • Funded by Jade2Pro
  • Duration: 01.04.2014 – 30.09.2017

Projektbeschreibung

Project description

Das Promotionsprojekt befasst sich im Allgemeinen mit der dreidimensionalen Vermessung und überwachung des Behandlungsbereichs während eines minimalinvasiven chirurgischen Eingriffs. Mithilfe mehrfacher endoskopischer Bilder, die unter medizinischen Bedingungen aufgenommen werden und schwierige Bildverarbeitungsbedingungen aufweisen, werden Oberflächen erfasst. Diese sind für die computerassistierte Chirurgie sehr wertvoll und bieten viele Anwendungsmöglichkeiten wie z.B. die überlagerung mit präoperativen 3D-Modellen.

In der Praxis werden Stereoendoskope nur zur stereoskopischen Ansicht und nicht für 3D Messungen während einer realen chirurgischen Operation eingesetzt. Einige Schwierigkeiten in der endoskopischen 3D Erfassung sind

  • Weiches und kontinuierlich verformendes Gewebe
  • Schwach texturierte Oberflächen bzw. Bereiche
  • Reflexionen durch Flüssigkeiten (Wasser, Blut)
  • Verdeckungen durch chirurgische Instrumente
  • Instabile Orientierung (physischer, thermischer Einfl.)
  • Verschmutzung der Linse
  • Lichtbrechung durch unterschiedliche Medien
  • Rauchentwicklung durch Verödungsprozess
  • ...

  • Zwar wäre eine endoskopische 3D Vermessung sehr wertvoll für die computerassistierte Chirurgie, allerdings sind die Messresultate aufgrund der genannten Schwierigkeiten nicht robust und zuverlässig genug. Um dem entgegen zu wirken, wurde ein System aus drei Miniaturkameras speziell für Messzwecke entwickelt.

    Zur Beschleunigung und Vereinfachung des Bildzuordnungsverfahrens (Image Matching) werden Normalbildtripel erzeugt. Die Bilder werden rechnerisch auf eine gemeinsame Ebene projiziert und am gleichen Horizont ausgerichtet, sodass die Epipolarlinien im linken und rechten Bild horizontal verlaufen. Somit können Korrespondenzen wie beim Stereomatching entlang der Bildzeilen gesucht werden. Für jede mögliche Stereo-Korrespondenz kann durch Schnitt von Epipolarlinien der zugehörige Punkt im dritten Bild sehr effizient berechnet werden. Dies reduziert die Anzahl möglicher Mehrdeutigkeiten und ist ein wesentlicher Vorteil der dritten Kamera. Für jedes Punkttripel werden die lokalen Matchingkosten paarweise mittels normierter Kreuzkorrelation berechnet. Anschließend wird eine semi-globale Optimierung entlang von acht Pfaden auf die Kostentriplets angewendet. Durch Aggregation der drei Kostenwerte durch eine Minimumfunktion muss die rechenintensive Optimierung nur einmal angewendet werden. Nach weiteren Verfeinerungsschritten wie Subpixelinterpolation und Medianfilter wird eine 3D Punktwolke erzeugt.

    Zur Evaluation des Systems wurde ein gut texturiertes Objekt erfasst, ausgewertet und das Ergebnis mit einem Referenzmodell übergeordneter Genauigkeit verglichen. Das Referenzmodell wurde mit einem Streifenlichtscanner erzeugt und hat eine Standardabweichung in der Tiefe von etwa 60 µm. Die endoskopisch erfasste Punktwolke wurde durch ein Iterative-Closest-Point Verfahren bestmöglich an die Referenz angepasst. Die Standardabweichung der minimierten Abstände beträgt 72 µm (für farbcodierten Bereich im nachfolgenden Schaubild).

    Nähere Informationen können den Publikationen entnommen werden.

    Das Promotionsprojekt befasst sich im Allgemeinen mit der dreidimensionalen Vermessung und überwachung des Behandlungsbereichs während eines minimalinvasiven chirurgischen Eingriffs. Mithilfe mehrfacher endoskopischer Bilder, die unter medizinischen Bedingungen aufgenommen werden und schwierige Bildverarbeitungsbedingungen aufweisen, werden Oberflächen erfasst. Diese sind für die computerassistierte Chirurgie sehr wertvoll und bieten viele Anwendungsmöglichkeiten wie z.B. die überlagerung mit präoperativen 3D-Modellen.

    In der Praxis werden Stereoendoskope nur zur stereoskopischen Ansicht und nicht für 3D Messungen während einer realen chirurgischen Operation eingesetzt. Einige Schwierigkeiten in der endoskopischen 3D Erfassung sind

  • Weiches und kontinuierlich verformendes Gewebe
  • Schwach texturierte Oberflächen bzw. Bereiche
  • Reflexionen durch Flüssigkeiten (Wasser, Blut)
  • Verdeckungen durch chirurgische Instrumente
  • Instabile Orientierung (physischer, thermischer Einfl.)
  • Verschmutzung der Linse
  • Lichtbrechung durch unterschiedliche Medien
  • Rauchentwicklung durch Verödungsprozess
  • ...

  • Zwar wäre eine endoskopische 3D Vermessung sehr wertvoll für die computerassistierte Chirurgie, allerdings sind die Messresultate aufgrund der genannten Schwierigkeiten nicht robust und zuverlässig genug. Um dem entgegen zu wirken, wurde ein System aus drei Miniaturkameras speziell für Messzwecke entwickelt.

    Zur Beschleunigung und Vereinfachung des Bildzuordnungsverfahrens (Image Matching) werden Normalbildtripel erzeugt. Die Bilder werden rechnerisch auf eine gemeinsame Ebene projiziert und am gleichen Horizont ausgerichtet, sodass die Epipolarlinien im linken und rechten Bild horizontal verlaufen. Somit können Korrespondenzen wie beim Stereomatching entlang der Bildzeilen gesucht werden. Für jede mögliche Stereo-Korrespondenz kann durch Schnitt von Epipolarlinien der zugehörige Punkt im dritten Bild sehr effizient berechnet werden. Dies reduziert die Anzahl möglicher Mehrdeutigkeiten und ist ein wesentlicher Vorteil der dritten Kamera. Für jedes Punkttripel werden die lokalen Matchingkosten paarweise mittels normierter Kreuzkorrelation berechnet. Anschließend wird eine semi-globale Optimierung entlang von acht Pfaden auf die Kostentriplets angewendet. Durch Aggregation der drei Kostenwerte durch eine Minimumfunktion muss die rechenintensive Optimierung nur einmal angewendet werden. Nach weiteren Verfeinerungsschritten wie Subpixelinterpolation und Medianfilter wird eine 3D Punktwolke erzeugt.

    Zur Evaluation des Systems wurde ein gut texturiertes Objekt erfasst, ausgewertet und das Ergebnis mit einem Referenzmodell übergeordneter Genauigkeit verglichen. Das Referenzmodell wurde mit einem Streifenlichtscanner erzeugt und hat eine Standardabweichung in der Tiefe von etwa 60 µm. Die endoskopisch erfasste Punktwolke wurde durch ein Iterative-Closest-Point Verfahren bestmöglich an die Referenz angepasst. Die Standardabweichung der minimierten Abstände beträgt 72 µm (für farbcodierten Bereich im nachfolgenden Schaubild).

    Nähere Informationen können den Publikationen entnommen werden.

    Aufnahme Kamerakopf
    Eval Aufnahme Kamerakopf
    Eval

    Publikationen

    Publications

  • Conen, N. and Luhmann, T., 2017. Overview of Photogrammetric Measurement Techniques in Minimally Invasive Surgery using Endoscopes. In: ISPRS International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XLII-2/W4, pp. 33–40. Link
  • Conen, N., Luhmann, T. and Maas, H.-G., 2017. Development and Evaluation of a Miniature Trinocular Camera System for Surgical Measurement Applications. In: Journal of Photogrammetry, Remote Sensing and Geoinformation Science (PFG), Vol. 85, Issue 2, pp. 127-138. Link
  • Conen, N., Jepping, C., Luhmann, T. and Maas, H.-G., 2016. Rectification and Robust Matching using Oriented Image Triplets for Minimally Invasive Surgery. In: ISPRS International Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. III-3, pp. 27–34. Link
  • Conen, N. and Luhmann, T., 2015. Kalibrierung und 3D-Messung mit einem medizinischen Stereoendoskop. In: Photogrammetrie – Laserscanning – Optische 3D-Messtechnik, Beiträge der Oldenburger 3D-Tage 2015, Wichmann, Berlin, pp. 186–195.
  • Conen, N. and Luhmann, T., 2017. Overview of Photogrammetric Measurement Techniques in Minimally Invasive Surgery using Endoscopes. In: ISPRS International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XLII-2/W4, pp. 33–40. Link
  • Conen, N., Luhmann, T. and Maas, H.-G., 2017. Development and Evaluation of a Miniature Trinocular Camera System for Surgical Measurement Applications. In: Journal of Photogrammetry, Remote Sensing and Geoinformation Science (PFG), Vol. 85, Issue 2, pp. 127-138. Link
  • Conen, N., Jepping, C., Luhmann, T. and Maas, H.-G., 2016. Rectification and Robust Matching using Oriented Image Triplets for Minimally Invasive Surgery. In: ISPRS International Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. III-3, pp. 27–34. Link
  • Conen, N. and Luhmann, T., 2015. Kalibrierung und 3D-Messung mit einem medizinischen Stereoendoskop. In: Photogrammetrie – Laserscanning – Optische 3D-Messtechnik, Beiträge der Oldenburger 3D-Tage 2015, Wichmann, Berlin, pp. 186–195.
  •  

    Impressum der Jade HochschuleDatenschutzerklärung der Jade Hochschule

    Legal Notice of Jade UniversityProvacy Notice