Soll-Ist-Vergleich

Ziel der Anwendungen sind die Erforschung von integrierten Lösungen für die Baubarkeits- und Montageabsicherung in virtuellen bzw. Mixed-Reality-Umgebungen.

Auf Basis der im Rahmen des Projektvorhabens ARVIDA entwickelten Architektur werden Informationen aus unterschiedlichen Quellen (Mixed-Reality, Bauteil- bzw. Menschtracking) geprüft, verarbeitet und zusammengefasst.

Das Teilprojekt gliedert sich in zwei Arbeitspakete.

Das Arbeitspaket 3.2.1 „Analytisches Mixed Reality“ beschäftigt sich mit dem Thema der Baubarkeitsbewertung im Automobilbereich. Ziel ist eine einfach zu bedienende und präzise Digitalisierung, d.h. dreidimensionale Erfassung der realen Welt in großen und in kleinen Messvolumen und die Erforschung effizienter Verfahren zur Integration dieser Umgebungsdaten in Mixed Reality Baubarkeitsbewertungen.

Dazu wurde in der ersten Projekthälfte ein erster Prototyp von der Daimler Protics GmbH, 3D Interactive, der TUM und dem DFKI erstellt, um reale Bauteile in kleinen Messvolumen dreidimensional erfassen und mit den zugehörigen CAD Planungsdaten vergleichen zu können. Die folgenden Abbildungen zeigen beispielhaft einige Ergebnisse aus der ersten Projekthälfte.

CAD-Daten eines Motors (links) werden mit den in 3D erfassten realen Geometrien des Motors (rechts) auf Abweichungen verglichen (Mitte)

Zur dreidimensionalen Erfassung großer Messvolumen wurde in der ersten Projekthälfte ein Prototyp von der Daimler Protics GmbH, 3D Interactive und der SICK AG erstellt. Dabei wird eine SLAM-basierte Lokalisierungsmethode verwendet um die mit einem Messwagen aufgenommenen statischen dreidimensionalen Einzelscans einer Umgebung zu einem gesamtheitlichen 3D Umgebungserfassungs-Modell zusammenzuführen. Die folgenden Abbildungen zeigen einige Ergebnisse aus der ersten Projekthälfte in Form einer 2D SLAM-Lokalisierungskarte und in Form eines rekonstruierten dreidimensionalen Umgebungserfassungsmodells.

Die Abbildung zeigt eine im Projekt verwendete 2D SLAM-Lokalisierungskarte (links) und ein rekonstruiertes 3D-Umgebungserfassungsmodell (rechts)

Ferner konnte in der ersten Projekthälfte die Interoperabilität von bislang unabhängigen Systemen der virtuellen Technologien hinsichtlich der verwendeten Trackingverfahren nachgewiesen werden. Dazu wurden Daten von den Trackingsystemen der Partner Daimler Protics GmbH, TUM, Extend 3D und Fraunhofer IGD über die ARVIDA Referenzarchitektur ausgetauscht. Einzelne Trackingkomponenten können somit in Systemen, welche die ARVIDA Referenzarchitektur implementieren, einfach ausgetauscht werden. Des Weiteren wurden von den Partnern des TP 3.2.1 im Rahmen der Arbeiten an der Referenzarchitektur Lösungen erarbeitet um 3D Erfassungsdaten zwischen verschiedenen Systemen der virtuellen Technologien auszutauschen.

Das Arbeitspaket 3.2.2 „MR-Fabrication“ beschäftigt sich mit dem Thema der Mixed-Reality im industriellen Anwendungsbereich. Ziel ist eine Systemlösung, mit der operatives Personal mit Hilfe von virtuellen Techniken in der Tätigkeitsausübung unterstützt werden kann.

Für das Szenario „Fertigen ohne Zeichnung“ sollen PMI (Production Manufacturing Information) an die Objekte direkt angehängt werden, die dann über ein geeignetes Werkzeug visualisiert und angezeigt werden können oder mittels eines kombinierten Tracking- und Projektionssystem die Fertigungsinformationen direkt auf das Bauteil projiziert werden. Zudem wird eine interaktive Bauanleitung den Werker bei der Montage komplexer Baugruppen unterstützen.

Modell des mobilen Werktisches

Das gleiche Prinzip kommt in einem weiteren Szenario der Aufprojektion in Freiformflächen (GFK) zum Einsatz. 

Tracking und Projektion – Stativlösung

Neben Streifenlichtprojektion wurde in diesem Kontext auch an anderen Formen der strukturierten Beleuchtung gearbeitet. Hervorzuheben ist die Nutzung von Struktur (Kanten, markante Punkte, etc.), welche in der anzuzeigenden Projektion sowieso bereits enthalten ist, sozusagen ein Pendant zu markerlosem Tracking.

Ziel ist es, die Abdeckung großer Bauformen zu erreichen. Unterstützt werden diese Szenarien von der Firma Extend3D.Beim Partner FHG-IGD wurden Verfahren zur Echtzeitfusion der mobilen 3D-Scans entwickelt. Dieses Verfahren kann eingesetzt werden, wenn die 3D-Scandaten in Echtzeit vom 3D-Scanning System an einen mobilen Rechner übertragen werden können. Der 3D-Scanner muss mit einer Videokamera verknüpft sein, die für das Tracking der Pose (Position und Orientierung) des mobilen 3D-Scanners verwendet wird. Dazu wurden Kalibrierungsverfahren entwickelt, die es ermöglichen das 3D-Scanningsystem zu der Videokamera zu kalibrieren, so dass die getrackte Pose der 3D-Vidoekamera auf die Pose des mobilen 3D-Scanners übertragen werden kann. Zur Verbesserung der  Nutzbarkeit, können die angelernten Initialisierungskanten gerendert werden, so dass der Benutzer weiß, welche Bereiche er für die Initialisierung verwenden kann.

Technologien für das modellbasierte Tracking wurden entwickelt, so dass konturbasierte Deskriptoren, die für das Tracking verwendet werden, mit Hilfe von gerenderten 3D-Bildern angelernt werden können. Dazu werden die 3D-Scans des Schiffsbereiches, der getrackt werden soll, durch eine Virtuelle Kamera gerendert. Die virtuelle Kamera, die zum Anlernen der Initialisierungsposen verwendet wird, wird in einer Hemisphäre um den identifizierten Initialisierungspunkt herumbewegt. Die Größe des Initialisierungsbereiches, der um den Initialisierungspunkt herum angelernt wird, kann durch Parameter festgelegt werden. Das Tracking wurde so optimiert, dass auch mehrere Kameras synchronisiert werden und so das Stereotracking unterstützt.

Bei der Firma 3DInteractive konnten hauptsächlich 3 Bereiche identifiziert werden, bei denen Entwicklungsbedarf hinsichtlich des Soll/Ist-Vergleichs besteht:

  • Asynchrones Update
  • Laserscan-Import
  • Geometrierekonstruktion

Der Bereich „Asynchrones Update“ ermöglicht den gleichzeitigen Aufbau einer Visualisierungsdatenbank während des Rendering-Vorgangs. Hierzu wurde das von 3DInteractive vorher entworfene Konzept implementiert, getestet und als Schnittstelle den Projektpartnern zur Verfügung gestellt. Diese Schnittstelle ist Voraussetzung für eine allgemeinere Visualisierungs-REST-API, wobei auch Konzepte wie die Bedienung mehrerer Clients sowie gleichzeitiges Lesen und Schreiben der Visualisierungsdatenbank berücksichtigt wurden.

Für den 3D-Erfassungsdaten-Austausch zwischen den Teilprojektpartner wurde das E57-Format festgelegt. Dieses kann von 3DInteractive bereits importiert werden, was auch in Zusammenarbeit mit der SICK AG (stationäre sowie bewegliche Scanner) und dem DFKI (verbesserte Kinect-Fusion-Daten) getestet wurde. Des Weiteren wurde das kontinuierliche Update eines Scans für sogenannte Unordered-Point-Clouds (UPCs) mitsamt verschiedener Filter für die Visualisierung an die asynchrone Schnittstelle angebunden.

Der Bereich „Geometrierekonstruktion“ beinhaltet das Erzeugen eines Meshes (Dreiecke) aus Scandaten (sowohl Ordered als auch Unordered). Für dieses Mesh werden unter Beachtung der Filter und eines Gütemaßes pro Punkt die Levels-of-Detail (LODs) erzeugt und die Farbdaten in einer sogenannten Megatextur gespeichert. Für letzteres wurde unsere Technologie „Virtual Texturing“ an unsere asynchrone Schnittstelle angebunden, um Texturdaten aus mehreren Quellen gleichzeitig und während des Renderns zu übertragen und damit die Visualisierungsdatenbank zu aktualisieren.

Der Schwerpunkt von Siemens Industry Software im Arbeitspaket 1 lag in der Teilnahme und Unterstützung der AG Daten. Insbesondere wurden offene Fragen zur Teamcenter-Schnittstelle REST (Referenzarchitektur) über SOA in WEB-Sessions und vor Ort beim Partner IGD erläutert und entsprechende Empfehlungen gegeben.

Die Integration heterogener Datenbankstrukturen kann in der Praxis auf Basis verschiedener Mechanismen bzw. Standards umgesetzt werden. Die Granularität von Anfragen auf Basis von REST können  auf die Datenstruktur des liefernden Systems angepasst werden, dadurch lässt sich eine implizierte Formatanpassung  in Bezug auf Struktur und Attribute realisieren. Ggf. benötigte Formatumwandlungen von Dokumenten müssen jedoch explizit erfolgen, z.B. Catia -> JT oder DWG -> TIFF. Formatkonvertierungen können im Quellsystem, im Zielsystem oder außerhalb (auf dem Weg) erfolgen. Die folgende Abbildung zeigt das Schema der Ankopplung zwischen der beim Partner TKMS vorhandenen Teamcenter-Software und Fremdsystemen.

Bidirektionale Ankopplung

Durch Recherche beim Projektpartner konnte die Datenbanklandschaft mit ihren verschiedenen Datenbanken und auszubildenden ARVIDA-Tools/Anwendungen erfasst werden. Wie und wo die Anbindung von REST erfolgt, wurde schematisch aufgezeigt:

Alternative Architektur, Ausblick

Der Attribute-Fluss innerhalb der heterogenen Systemlandschaft für die Produktmodellbezogenen Daten wurde erfasst. So kann die neutrale Referenzarchitektur auf Basis der Semantik-Erkenntnisse optimal ausgeprägt werden. Zentral ist hier die Informationshaltung in der SQL-Datenbank von Teamcenter; charakteristisch ferner die Anbindung an Partnerspezifische Systeme wie z.B. Geomagic.