Erweiterte Realität und 3D-Druck für die Chirurgie

Neue Informationstechnologien können helfen, Chirurginnen und Chirurgen im Operationssaal wichtige Informationen bereitzustellen und damit die Erfolgsaussichten des Eingriffs spürbar zu erhöhen. Ein Forschungsverbund unter Leitung des Technologie-Zentrums Informatik und Informationstechnik (TZI) der Universität Bremen entwickelt zurzeit beispielhafte Verfahren und Anwendungen, um die Planung und Durchführung einer Operation durch den Einsatz von Virtual Reality (VR), Augmented Reality (AR) und 3D-Druck zu verbessern. Die Ergebnisse sollen zusätzlich für Trainingszwecke und für die Patienteninformation eingesetzt werden. Das Projekt VIVATOP („Vielseitiger Immersiver Virtueller und Augmentierter Tangible OP“) wird über eine Laufzeit von drei Jahren mit insgesamt 2,2 Millionen Euro vom Bundesministerium für Bildung und Forschung (BMBF) gefördert.

Präoperative Planung

Die Planung einer Operation mit 3D-Modellen bietet erhebliche Vorteile gegenüber den bislang verbreiteten 2D-Bildern. Ärztinnen und Ärzte erhalten einen wesentlich realistischeren und besser begreifbaren Überblick über den Bereich, in dem sie einen Eingriff vornehmen wollen. Parallel zu den dreidimensionalen Computermodellen wird im Rahmen von VIVATOP auch die Bereitstellung lebensechter physischer Modelle des betroffenen Organs erprobt. Dafür werden die Bilddaten analysiert und aufbereitet, sodass sie in einen 3D-Drucker importiert werden können, um beispielsweise die Leber einer Patientin realitätsnah anzufertigen.

Diese gedruckten Modelle ermöglichen der Ärztin oder dem Arzt die haptische Erfahrung des individuellen Organs, also die Nutzung des Tastsinns, aber sie lassen sich auch gemeinsam mit den virtuellen Modellen einsetzen. So kann jemand das physische Modell in den Händen halten und erklärend gestikulieren, während alle Beteiligten auf der VR-Brille die Gesten in Verbindung mit dem hochdetaillierten Computermodell sehen. Diese Bedienungsweise entspricht eher den natürlichen Gewohnheiten als der Umgang mit Controllern, wie sie bei Spielkonsolen zur Steuerung von Bewegungen eingesetzt werden.

Die 3D-Drucke, die sowohl transparent als auch mehrfarbig sein können, erleichtern unterdessen nicht nur die Planung, sondern ermöglichen es dem Ärzte-Team auch, den Patientinnen und Patienten das Vorgehen bei den Eingriffen anschaulicher zu erklären.

Intraoperative Unterstützung

Während der Operation helfen Bilddaten und Modelle des Organs den Ärztinnen und Ärzten, sich zu orientieren und Entscheidungen zu treffen. Dazu erweitert das VIVATOP-Team eine vorhandene Augmented-Reality-Anwendung („erweiterte Realität“), mit der die relevanten Informationen im Sichtfeld einer Brille angezeigt werden. Über die Sprachsteuerung können Chirurginnen und Chirurgen das Gerät bedienen, ohne die Hände einsetzen zu müssen. Gleichzeitig besteht die Möglichkeit, die Operation live in VR darzustellen, damit externe Expertinnen und Experten außerhalb des Operationssaals interaktiv hinzugezogen werden können („remote, kollaborative, immersive Chirurgie-Konsultation“). Mit Hilfe von Tiefenkameras, Sensoren und weiteren Technologien werden dabei die Handbewegungen des Ärzte-Teams sowie die Eingriffe am operierten Organ aufgezeichnet und in VR dargestellt. Parallel können in der VR auch die Planungsdaten angezeigt werden. So unterstützt das System per Telepräsenz die weltweite Zusammenarbeit von Fachleuten bei einer Operation.

Training und Ausbildung

Mit der Integration von AR, VR und 3D-Druck kann darüber hinaus die Aus-, Fort- und Weiterbildung junger Ärztinnen und Ärzte effizienter gestaltet werden. Konkrete Fälle können anhand der 3D-Bilddaten erörtert und in der virtuellen Realität präzise nachvollzogen werden. Die ausgedruckten 3D-Modelle erlauben jungen Ärzten und Ärztinnen, wertvolle erste Erfahrungen zu sammeln. So können sie beispielsweise lernen, einen Tumor in verschiedenen Entwicklungsstadien zu ertasten („haptisches Feedback“), und die Lage anschließend in einer VR-Umgebung begutachten. Außerdem können einzelne Operationsschritte in virtuellen Szenarien trainiert werden.