Durch dieses Projekt sollen medizinische Eingriffe der Knieendoprothetik präziser und mit weniger Komplikationen für die Patienten durchgeführt werden. Das bohrfreie markerlose Tracking soll zusätzliche Installationen ersetzen, um den Heilungsprozess zu beschleunigen und die Infektionsgefahr zu verringern. Die berechnete Beinachse soll während der Operation positions- und lagegerecht auch mittels AR-Visualisierung dargestellt werden können, um die präzise Installation des Implantats zu gewährleisten. Die wissenschaftlichen und technischen Herausforderungen liegen in den Genauigkeitsanforderungen der 3D-Erfassung, der 3D- Modelle für Femur und Tibia, der Berechnung der Beinachse sowie der Visualisierung. Alle technischen Einheiten (Kameras und Visualisierungssysteme) müssen hierzu in ein übergeordnetes Koordinatensystem transformiert werden, in dem auch das physische Bein des Patienten lokalisiert ist. Die präzise Erfassung, Berechnung und Visualisierung soll unter Einsatz von KI-Methoden erfolgen. Neben der Abdeckung eines großräumigen Arbeitsraumes des Gesamtsystems muss eine hohe Aktualisierungsrate berücksichtigt werden.