BIM des fissures à partir d’images par apprentissage profond

Dans ce projet, une chaîne de traitement complète a été élaborée afin de modéliser de manière fiable et automatique les formes solides des réseaux de fissures à partir d’images. Le processus comprend huit étapes principales : l’étalonnage de la caméra, la correction de la distorsion des images, la reconstruction du nuage de points par structure from motion (SfM), la segmentation sémantique pixel à pixel des fissures au moyen d’un modèle d’apprentissage profond réentraîné, la vectorisation des masques de segmentation en graphes de pixels et en polylignes, la rétroprojection des fissures bidimensionnelles dans la scène tridimensionnelle et la reconstruction de leurs formes, l’intégration de ces formes, puis l’enrichissement sémantique et la visualisation dans le BIM.

Les méthodes classiques d’étalonnage de caméra se sont révélées efficaces et n’ont été appliquées qu’une fois par configuration de prise de vue. La reconstruction tridimensionnelle du nuage de points à partir des images du cas d’étude a non seulement fourni, pour chaque image, la profondeur et l’échelle manquantes, mais a aussi simplifié l’extraction de la position des points principaux des polylignes centrales des fissures. Le temps de traitement et le coût de calcul s’en sont trouvés réduits, la modélisation des formes de fissures ne dépendant plus d’aucun masquage automatique par segmentation de l’ensemble des images sous-jacentes ou du nuage de points reconstruit.

La bibliothèque OpenSfM s’est avérée, au moment de la publication en 2020, particulièrement robuste ; ses fonctionnalités disponibles convenaient bien à l’objectif de rétroprojection après reconstruction tridimensionnelle. Un modèle d’apprentissage profond TernausNet réentraîné, doté d’une architecture d’encodeur VGG16, a permis une segmentation sémantique inférée fiable (c’est-à-dire la classification des pixels de fissure), avec une bonne exactitude et des mesures d’IoU obtenues à l’évaluation. Le modèle réentraîné s’est montré robuste lors du déploiement sur les images inédites du cas d’étude, ce qui a facilité l’application de plusieurs algorithmes classiques d’analyse d’images, notamment la squelettisation, les opérations morphologiques, la détection de contours, l’étiquetage en composantes connexes, la simplification de lignes et la transformée de distance euclidienne, afin d’extraire les points principaux des polylignes centrales de chaque segment et de construire, par analyse du squelette, un graphe de pixels ou de voxels pour les réseaux de fissures interconnectés, tant en 2D qu’en 3D.

La connaissance de ces points d’intérêt et de l’ensemble des paramètres du modèle de projection perspective a permis de rétroprojeter les pixels bidimensionnels dans la scène tridimensionnelle à partir d’une seule image et de son masque de prédiction, et de modéliser les formes de fissures, après transformation de leurs coordonnées dans le repère de l’élément de construction parent, par extrusion de sections traversantes. Ces formes ont ensuite pu être converties en divers formats selon l’usage visé, qu’il s’agisse de la seule visualisation au format IFC ou de procédures plus avancées d’analyse structurale par éléments finis : elles fournissent les nœuds des tétraèdres, les fils définissant les surfaces découpées, ainsi que les sommets, arêtes et faces d’un maillage triangulé.

Les indicateurs de qualité des formes modélisées fournis par GMSH, ainsi que la création correcte de vides dans Blender, démontrent la validité des formes évidées. Les limites de visualisation dans les visionneuses IFC tiennent à l’incapacité des noyaux géométriques à modéliser correctement des produits IFC complexes. IfcOpenShell a permis d’intégrer les formes de fissures dans le modèle IFC en tant que caractéristiques d’évidement. De plus amples détails figurent dans les publications pertinentes indiquées ci-dessous.