Deep-Learning-basiertes BIM von Rissen aus Bildern

In diesem Projekt wurde eine umfassende Verarbeitungskette entwickelt, um feste Formen von Rissmustern zuverlässig und automatisch aus Bildern zu modellieren. Der Arbeitsablauf umfasst acht Hauptschritte: die Kamerakalibrierung, die Korrektur der Bildverzerrung, die Rekonstruktion der Punktwolke mittels Structure from Motion (SfM), die pixelweise semantische Segmentierung der Risse mit einem nachtrainierten Modell des tiefen Lernens, die Vektorisierung der Segmentierungsmasken zu Pixelgraphen und Polylinien, die Rückprojektion der zweidimensionalen Risse in die dreidimensionale Szene samt Rekonstruktion ihrer Formen, die Einbettung dieser Formen sowie die semantische Anreicherung und Visualisierung im BIM.

Klassische Verfahren der Kamerakalibrierung erwiesen sich als wirksam und wurden je Kamerakonfiguration nur einmal angewendet. Die dreidimensionale Rekonstruktion der Punktwolke aus den Aufnahmen der Fallstudie lieferte nicht nur die fehlende Tiefen- und Maßstabsinformation für jedes Bild, sondern vereinfachte auch die Bestimmung der Lage der maßgeblichen Punkte auf den Mittellinien der Risse. Dadurch verringerten sich Rechenzeit und Aufwand, da die Modellierung der Rissformen keine automatisierte Maskierung durch Segmentierung sämtlicher zugrunde liegender Bilder oder der rekonstruierten Punktwolke mehr voraussetzte.

Die Bibliothek OpenSfM erwies sich zum Zeitpunkt der Veröffentlichung im Jahr 2020 als ausgesprochen robust; ihre verfügbaren Funktionen eigneten sich gut für das Ziel der Rückprojektion nach der dreidimensionalen Rekonstruktion. Ein nachtrainiertes Deep-Learning-Modell TernausNet mit einer VGG16-Encoder-Architektur ermöglichte eine zuverlässige inferierte semantische Segmentierung (das heißt die Klassifikation der Risspixel) mit guter Genauigkeit und bei der Auswertung erreichten IoU-Maßen. Das nachtrainierte Modell erwies sich beim Einsatz auf den zuvor ungesehenen Bildern der Fallstudie als robust, wodurch sich mehrere klassische Verfahren der Bildanalyse anwenden ließen, darunter Skelettierung, morphologische Operationen, Kantendetektion, Zusammenhangskomponentenmarkierung, Linienvereinfachung und die euklidische Distanztransformation, um die Hauptpunkte der Mittellinien jedes Segments zu extrahieren und durch Skelettanalyse einen Pixel- beziehungsweise Voxelgraphen für die zusammenhängenden Rissnetze aufzubauen, sowohl in 2D als auch in 3D.

Mit Kenntnis dieser Interessenpunkte und sämtlicher Parameter des perspektivischen Projektionsmodells konnten die zweidimensionalen Pixel anhand eines einzelnen Bildes und seiner Vorhersagemaske in die dreidimensionale Szene rückprojiziert und die Rissformen nach Transformation ihrer Koordinaten in den Bereich des übergeordneten Bauteils durch Extrusion von Durchgangsschnitten modelliert werden. Diese Formen ließen sich je nach Verwendungszweck überführen, sei es zur Visualisierung im IFC-Format oder für weitergehende strukturmechanische Finite-Elemente-Verfahren, da sie die Knoten der Tetraeder, die die beschnittenen Flächen definierenden Drähte sowie die Vertices, Kanten und Flächen eines triangulierten Netzes bereitstellen.

Die in GMSH angegebenen Qualitätsmaße der modellierten Formen und die korrekte Erzeugung von Hohlräumen in Blender belegen die Gültigkeit der ausgesparten Formen. Die Darstellungsgrenzen in IFC-Betrachtern folgen aus der Unfähigkeit der Geometriekerne, komplexe IFC-Produkte zutreffend zu modellieren. Mit IfcOpenShell konnten die Rissformen als aussparende Merkmale in das IFC-Modell eingebettet werden. Weitere Einzelheiten finden sich in den unten aufgeführten einschlägigen Publikationen.