Centre dedocumentation
scientifique

A survey and benchmark of automatic surface reconstruction from point clouds / Raphaël Sulzer (2023)  

Public Titre : A survey and benchmark of automatic surface reconstruction from point clouds Type de document : Article/Communication Auteurs : Raphaël Sulzer , Auteur ; Loïc Landrieu , Auteur ; Renaud Marlet, Auteur ; Bruno Vallet , Auteur Editeur : Ithaca [New York - Etats-Unis] : ArXiv - Université Cornell Année de publication : 2023 Projets : BIOM / Vallet, Bruno Importance : 24 p. Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes IGN] benchmark spatial [Termes IGN] données d'entrainement (apprentissage automatique) [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] reconstruction d'objet [Termes IGN] semis de points Résumé : (auteur) We survey and benchmark traditional and novel learning-based algorithms that address the problem of surface reconstruction from point clouds. Surface reconstruction from point clouds is particularly challenging when applied to real-world acquisitions, due to noise, outliers, non-uniform sampling and missing data. Traditionally, different handcrafted priors of the input points or the output surface have been proposed to make the problem more tractable. However, hyperparameter tuning for adjusting priors to different acquisition defects can be a tedious task. To this end, the deep learning community has recently addressed the surface reconstruction problem. In contrast to traditional approaches, deep surface reconstruction methods can learn priors directly from a training set of point clouds and corresponding true surfaces. In our survey, we detail how different handcrafted and learned priors affect the robustness of methods to defect-laden input and their capability to generate geometric and topologically accurate reconstructions. In our benchmark, we evaluate the reconstructions of several traditional and learning-based methods on the same grounds. We show that learning-based methods can generalize to unseen shape categories, but their training and test sets must share the same point cloud characteristics. We also provide the code and data to compete in our benchmark and to further stimulate the development of learning-based surface reconstruction: https://github.com/raphaelsulzer/dsr-benchmark. Numéro de notice : P2023-004 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Autre URL associée : vers ArXiv Thématique : IMAGERIE/INFORMATIQUE Nature : Preprint nature-HAL : Préprint DOI : 10.48550/arXiv.2301.13656 Date de publication en ligne : 31/01/2023 En ligne : https://hal.science/hal-03968453 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=102847

Deep surface reconstruction from point clouds with visibility information / Raphaël Sulzer (2022)  

Public Titre : Deep surface reconstruction from point clouds with visibility information Type de document : Article/Communication Auteurs : Raphaël Sulzer , Auteur ; Loïc Landrieu , Auteur ; Alexandre Boulch, Auteur ; Renaud Marlet, Auteur ; Bruno Vallet , Auteur Editeur : Ithaca [New York - Etats-Unis] : ArXiv - Université Cornell Année de publication : 2022 Projets : BIOM / Vallet, Bruno Conférence : ICPR 2022, 26th International Conference on Pattern Recognition 21/08/2022 25/08/2022 Montréal Québec - Canada Proceedings IEEE Importance : 13 p. Format : 21 x 30 cm Note générale : bibliographie https://doi.org/10.48550/arXiv.2202.01810 sur ArXiv Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] apprentissage profond [Termes IGN] reconstruction d'objet [Termes IGN] semis de points [Termes IGN] visibilité Résumé : (auteur) Most current neural networks for reconstructing surfaces from point clouds ignore sensor poses and only operate on raw point locations. Sensor visibility, however, holds meaningful information regarding space occupancy and surface orientation. In this paper, we present two simple ways to augment raw point clouds with visibility information, so it can directly be leveraged by surface reconstruction networks with minimal adaptation. Our proposed modifications consistently improve the accuracy of generated surfaces as well as the generalization ability of the networks to unseen shape domains. Numéro de notice : C2022-048 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Autre URL associée : vers HAL Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.48550/arXiv.2202.01810 Date de publication en ligne : 03/02/2022 En ligne : https://doi.org/10.1109/ICPR56361.2022.9956560 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99811

Learning surface reconstruction from point clouds in the wild / Raphaël Sulzer (2022)  

Public Titre : Learning surface reconstruction from point clouds in the wild Type de document : Thèse/HDR Auteurs : Raphaël Sulzer , Auteur ; Renaud Marlet, Directeur de thèse ; Bruno Vallet , Directeur de thèse ; Loïc Landrieu , Encadrant Editeur : Champs-sur-Marne [France] : Université Gustave Eiffel Année de publication : 2022 Importance : 139 p. Note générale : bibliographie Thèse de doctorat de l'Université Gustave Eiffel Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] apprentissage profond [Termes IGN] données localisées 3D [Termes IGN] reconstruction d'objet [Termes IGN] réseau neuronal de graphes [Termes IGN] scène 3D [Termes IGN] scène urbaine [Termes IGN] semis de points [Termes IGN] triangulation de Delaunay [Termes IGN] visibilité Résumé : (auteur) Les technologies d’acquisition 3D récentes permettent de représenter le monde sous la forme de nuages de points 3D. Cependant, ces nuages de points ne sont généralement pas suffisants pour modéliser des processus physiques complexes. Au contraire, de nombreuses applications en sciences et en ingénierie nécessitent une représentation sous la forme d’une surface continue. Dans cette thèse, nous considérons le problème de reconstruction de surface à partir de nuages de points par apprentissage profond supervisé. En particulier, nous nous intéressons à la reconstruction de surface à partir de nuages de points réels, c’est-à-dire générés à partir de mesures effectuées sur le terrain: soit directement avec des scanners 3D, soit indirectement par photogrammétrie. Ces nuages représentent souvent de grandes scènes contenant de multiples objets de formes diverses. Ces nuages peuvent aussi inclure des défauts tels que du bruit d’acquisition, des valeurs aberrantes, un échantillonnage non uniforme ou des données manquantes, ce qui complique la reconstruction d’une surface topologiquement et géométriquement précise. Après avoir été utilisé avec succès pour de nombreuses tâches de vision par ordinateur, l’apprentissage profond supervisé a récemment été appliqué au problème de reconstruction de surface. Cependant, les méthodes courantes souffrent encore de deux principales limitations. Tout d’abord, l’apprentissage profond supervisé nécessite souvent un grand nombre de données annotées. Les nuages de points réels décrivent des objets ou des scènes complexes, ce qui rend la collecte de surfaces réelles coûteuse, ambigüe ou mathématiquement difficile. Deuxièmement, les algorithmes d’apprentissage existants sont souvent trop gourmands en calcul et en mémoire pour traiter des millions de points simultanément. Nous abordons ces deux problèmes en introduisant de nouvelles méthodes d’apprentissage profond supervisé pour traiter des nuages de points à grande échelle avec des caractéristiques du monde réel tout en étant entrainées sur de petits ensembles de données synthétiques. Cette thèse comprend trois contributions principales. Tout d’abord, nous passons en revue et évaluons plusieurs méthodes de reconstruction de surface à partir de nuages de points. En plus des méthodes d’apprentissage, nous évaluons certaines des approches traditionnelles proposées au cours des trois dernières décennies. Pour rendre le problème tractable et produire des résultats géométriquement et topologiquement précis même dans des conditions difficiles, les méthodes sans apprentissage reposent souvent sur des hypothèses sur la structure des nuages de points en entrées ou des surfaces reconstruites. En revanche, les algorithmes de reconstruction de surfaces par apprentissage profond (DSR) apprennent ces hypothèses directement à partir d’un ensemble d’entrainement de nuages de points et des surfaces réelles leur correspondant. Nous évaluons les méthodes d’apprentissage et traditionnelles pour la tâche de reconstruction d’objets à partir de nuages de points avec défauts scannés synthétiquement. Nos résultats montrent que les méthodes DSR sont capables de reconstruire des surfaces précises et complètes à partir de nuages de points présentant un degré modéré de défauts atténués, à condition que ces défauts soient présents pendant l’entrainement. Cependant, la qualité de la reconstruction pour les nuages de points avec défauts non présents dans l’ensemble d’entrainement est souvent moins bonne que celle des méthodes sans apprentissage. Les méthodes sans apprentissage, en revanche, sont d’une grande robustesse aux défauts, même avec une paramétrisation constante pour différentes entrées. Un autre défaut de la plupart des méthodes DSR est le fait qu’elles ignorent la pose des capteurs et n’opèrent que sur la position des points. La visibilité des capteurs contient pourtant des informations importantes sur l’occupation de l’espace et l’orientation de la surface. Nous présentons deux façons simples d’enrichir les nuages de points avec des informations de visibilité, qui peuvent être directement exploitées par des réseaux de reconstruction de surface en ne nécessitant qu’une adaptation minimale. Nous montrons que les modifications proposées améliorent systématiquement la précision des surfaces générées ainsi que la capacité des réseaux à généraliser à des nouveaux domaines. Nous publions également les versions scannées synthétiquement de base de données de formes 3D largement utilisées, afin d’encourager le développement d’algorithmes DSR capables d’utiliser les informations de visibilité. Enfin, nous présentons une nouvelle méthode de reconstruction de surface basée sur l’apprentissage et tenant compte de la visibilité pour les nuages de points réels à grande échelle. Notre méthode repose sur une triangulation 3D de Delaunay (3DT) dont les cellules sont classées comme intérieur ou extérieur de la surface recherchée par un réseau de convolution sur graphe (GNN) et un modèle énergétique résolvable avec une coupe de graphe. Le GNN utilise à la fois des attributs géométriques locaux et des informations de visibilité pour apprendre un modèle de visibilité à partir d’une petite quantité de données de formes synthétiques tout en généralisant aux acquisitions réelles. Numéro de notice : 17753 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Organisme de stage : LASTIG (IGN) nature-HAL : Thèse DOI : sans Date de publication en ligne : 28/03/2023 En ligne : https://hal.science/tel-03968622v2 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=103164

Scalable surface reconstruction with Delaunay-Graph neural networks / Raphaël Sulzer in Computer graphics forum, vol 40 n° 5 (2021)  

Public [article]  inComputer graphics forum > vol 40 n° 5 (2021) . - pp 157 - 167 Titre : Scalable surface reconstruction with Delaunay-Graph neural networks Type de document : Article/Communication Auteurs : Raphaël Sulzer , Auteur ; Loïc Landrieu , Auteur ; Renaud Marlet, Auteur ; Bruno Vallet , Auteur Année de publication : 2021 Projets : BIOM / Vallet, Bruno Conférence : SGP 2021, Symposium on Geometry Processing 12/07/2021 14/07/2021 Toronto Ontario - Canada open access proceedings Article en page(s) : pp 157 - 167 Note générale : bibliographie The presentation of this work at SGP 2021 is available at https://youtu.be/KIrCDGhS10o Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] algorithme Graph-Cut [Termes IGN] apprentissage profond [Termes IGN] prise en compte du contexte [Termes IGN] reconstruction d'objet [Termes IGN] réseau neuronal de graphes [Termes IGN] semis de points [Termes IGN] tétraèdre [Termes IGN] triangulation de Delaunay Résumé : (auteur) We introduce a novel learning-based, visibility-aware, surface reconstruction method for large-scale, defect-laden point clouds. Our approach can cope with the scale and variety of point cloud defects encountered in real-life Multi-View Stereo (MVS) acquisitions. Our method relies on a 3D Delaunay tetrahedralization whose cells are classified as inside or outside the surface by a graph neural network and an energy model solvable with a graph cut. Our model, making use of both local geometric attributes and line-of-sight visibility information, is able to learn a visibility model from a small amount of synthetic training data and generalizes to real-life acquisitions. Combining the efficiency of deep learning methods and the scalability of energy-based models, our approach outperforms both learning and non learning-based reconstruction algorithms on two publicly available reconstruction benchmarks. Numéro de notice : A2021-400 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1111/cgf14364 En ligne : https://doi.org/10.1111/cgf.14364 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98219 [article]