DE / EN

IAPG: Projekte

IAPG: Projects

Projekt „OrthoScan - Entwicklung eines echtzeitfähigen optischen Multisensorsystems zur hochgenauen Erfassung und Registrierung von Oberflächen für chirurgische Anwendungen“

Project „OrthoScan - Developement of a optical real-time multisensor system for high precision surface measurements and registration for surgical applications“

Projekt von Prof. Dr.-Ing. habil. Dr. h.c. Thomas Luhmann und Niklas Conen (M.Sc.)

Project by Prof. Dr.-Ing. habil. Dr. h.c. Thomas Luhmann and Niklas Conen (M.Sc.)

  • Gefördert durch den Europäischen Fonds für regionale Entwicklung (EFRE)
  • Laufzeit: 01.10.2017 – 30.09.2020
  • Funded by European Regional Development Fund (ERDF)
  • Duration: 01.10.2017 – 30.09.2020
Label EU EFRE Label EU EFRE

Projektbeschreibung

Project description

Ziel des Projektes ist die Untersuchung bildgebender Techniken und Entwicklung spezieller Verfahren, die auf Basis von intraoperativen und präoperativen Daten agieren. Die Einsatzgebiete liegen in erster Linie in der Orthopädie, prinzipiell ist die Problematik auch auf nicht medizinische Bereiche übertragbar.

In der modernen Chirurgie kommen vermehrt technische Hilfsmittel zum Einsatz, die komplexe Operationsverfahren unterstützen und präzisere sowie schnellere Eingriffe ermöglichen. In dem Forschungsprojekt wird ein neues Verfahren basierend auf bildgebenden Techniken entwickelt, das direkt auf Basis von intraoperativ und indirekt auf Basis von präoperativ erfassten Daten agiert.

Vor einer Operation werden Schichtbilder mittels Magnetresonanztomographie (MRT) oder Computertomographie (CT) aufgenommen und zur Planung des Eingriffs verwendet. Diese Bilder ermöglichen eine dreidimensionale Rekonstruktion relevanter Strukturen in-vivo (im lebenden Inneren des Patienten) und ergeben ein vorselektiertes präoperatives 3D-Modell, das sehr wichtige Zusatzinformationen während einer Operation liefert. Damit dieses Modell adäquat verwendet werden kann, muss es intraoperativ mit dem Behandlungsbereich überlagert werden, d.h. Teile der realen sichtbaren Körperoberfläche innerhalb des Operationsgebietes müssen dreidimensional erfasst werden.

An dieser Stelle kommt die neu zu entwickelnde intraoperative Datenerfassung zum Einsatz. Diese geschieht mittels mehrerer spezieller Bildsensoren, deren Bilder photogrammetrisch zu einem Oberflächenmodell verknüpft werden. Durch mehrere Aufnahmen aus verschiedenen Richtungen und komplexer Auswerteverfahren wird die mit dem System betrachtete Oberfläche dreidimensional flächenhaft vermessen. Voraussetzung ist eine hinreichend stark texturierte Oberflächenstruktur. Die Prozessierung muss möglichst robust, zuverlässig und schnell sein und die resultierende 3D Punktwolke muss die applikationsbedingten Anforderungen bezüglich Genauigkeit, Vollständigkeit und Auflösung erfüllen.

Eine der größten Herausforderungen bei der Mehrbildzuordnung ist der Umgang mit den komplexen Umgebungsbedingungen bei einer Operation. Die zu messende Oberfläche enthält Reflexionen durch Flüssigkeiten wie Blut und Wasser sowie durch eine starke OP-Beleuchtung; besteht aus weichem, verformbarem Gewebe und auch aus festen Strukturen; hat schwach texturierte Bereiche und wird zeitweise partiell von chirurgischen Instrumenten verdeckt.

Durch eine überlagerung der intraoperativen mit den präoperativen Daten können wichtige Zusatzinformationen direkt in der Operation genutzt werden. Der Überlagerungsprozess wird als Registrierung bezeichnet und besteht darin, zwei 3D-Datensätze in ein einheitliches Koordinatensystem zu transformieren. Die Schwierigkeit besteht darin, die zwei (in der Punktdichte, Vollständigkeit, Rauschverhalten, etc.) verschiedenartigen 3D-Punktmengen zu vergleichen und bestmöglich anzupassen. Da im präoperativen Modell relevante Bereiche selektiert werden können, im intraoperativen Modell jedoch alle sichtbaren Strukturen wie weiches Gewebe, Knorpel, Knochen, Flüssigkeiten, etc., Verdeckungen durch chirurgische Instrumente sowie andere Störungen vorhanden sind, ist dies keine triviale Aufgabe. Obendrein werden die zu vergleichenden Daten zu unterschiedlichen Zeitpunkten mit verschiedenen Techniken aufgenommen.

Der wesentliche Vorteil von intraoperativen Daten ist, dass die tatsächliche Situation betrachtet wird und ein direkter Bezug zwischen der Realität, die der Chirurg selbst wahrnimmt, und dem gemessenen Modell hergestellt werden kann. Damit verbunden ist die Anforderung, dass die Datenauswertung innerhalb kürzester Zeit (Echtzeit) durchgeführt werden muss, sodass kontinuierliche Messungen und Analysen möglich sind. Dies ist insbesondere bei verformbaren Oberflächen, wie sie in der Chirurgie vorkommen, erforderlich. Weiterhin verlängern hohe Rechenzeiten den operativen Eingriff und werden eine spätere Akzeptanz in der Praxis behindern.

Das speziell angepasste Mehrkamerasystem soll aus einer Kombination von mindestens zwei Farb- (RGB), Monochrom- (BW) oder Nah-Infrarot (NIR)-Kameras bestehen. Mithilfe der Bildsensoren und Beleuchtungstechniken, die für bestimmte, ggf. nicht sichtbare Wellenlängenbereiche sensitiv sind, können möglicherweise verschiedene und relevante Gewebearten selektiert werden. Das Potential der resultierenden 3D-Modelle wäre enorm hoch, da beispielsweise sogar bestpassende Prothesen intraoperativ durch rechnergestützte Simulation ermittelt werden könnten, sodass sämtliche Kriterien, wie z.B. die genaue Position und Ausrichtung oder der erforderliche Knochenabtrag, optimiert werden.

The project objective is the investigation of imaging techniques and the development of special methods based on intraoperative and preoperative data. The field of application is primarily in orthopedics, however, in principle the problem can be transferred to non-medical purposes.

In modern surgery, more and more computer-aided systems are being used, which support complex surgical procedures and enable more precise and faster interventions. In the research project, a new method based on imaging techniques is developed, which acts directly on the basis of intraoperatively and indirectly on the basis of preoperatively acquired data.

Before surgery, tomographic images are recorded by magnetic resonance imaging (MRI) or computed tomography (CT) and used to plan the intervention. These images allow a three-dimensional reconstruction of relevant structures in vivo (in the living interior of the patient) and yield a pre-selected preoperative 3D model that provides very important additional information during an operation. For an adequately usage, the model must be superimposed with the treatment area intraoperatively, i.e. parts of the real visible body surface within the operating area must be measured three dimensionally.

Therefore, a new intraoperative data acquisition method should be developed. The new system should consists of several special image sensors whose images can be photogrammetrically processed to a surface model. Through several images from different directions and complex evaluation methods, the surface viewed with the system is measured three-dimensionally. The prerequisite is a sufficiently strongly textured surface structure. The processing must be robust, reliable and fast and the resulting 3D point cloud must meet the application-related requirements with regard to accuracy, completeness and resolution.

One of the biggest challenges in image matching is dealing with the complex environmental conditions inside the operation area. The surface to be measured contains reflections from liquids such as blood and water as well as strong surgical lighting; consists of soft, deformable tissue and also solid structures; has low textured areas and is sometimes partially obscured by surgical instruments.

By overlaying the intraoperative with the preoperative data, important additional information can be used directly in the operation. The overlay process is called registration and performs a transformation of two 3D datasets into a single coordinate system. The difficulty is to compare the two (in the point density, completeness, noise behavior, etc.) different types of 3D point sets and to perform a suitable best fit alignment. Since relevant areas can be selected in the preoperative model, but in the intraoperative model all visible structures such as soft tissue, cartilage, bones, fluids, etc., surgical instruments and other distortions are present, this is not a trivial task. On top of that, the data to be compared are recorded at different times using different techniques.

The key advantage of intraoperative data is that the actual situation is observed and a direct relationship can be established between the reality the surgeon perceives himself and the measured model. In Addition, the data evaluation must be carried out within a short time interval (real time) so that continuous measurements and analyzes are possible. This is particularly necessary for deformable surfaces that usually occur in surgery. Furthermore, high computing times lead to longer operation times and will impair later acceptance in practice.

The specially adapted multi-camera system should consist of a combination of at least two color (RGB), monochrome (BW) or near-infrared (NIR) cameras. Using these image sensors and illumination techniques, which are sensitive to certain, possibly invisible, wavelength ranges, different and relevant tissue types may possibly be distinguished by the system. The potential of the resulting 3D models would be enormously high, since, for example, even best-fitting prostheses could be determined intraoperatively by computer-aided simulation, so that all criteria, such as e.g. the exact position and orientation or the required bone removal, be optimized.

Project logo Project logo

 

Impressum der Jade HochschuleDatenschutzerklärung der Jade Hochschule

Legal Notice of Jade UniversityProvacy Notice