Centre de documentation
scientifique

Deep learning based 3D reconstruction: supervision and representation / François Darmon (2022)  

Public Titre : Deep learning based 3D reconstruction: supervision and representation Type de document : Thèse/HDR Auteurs : François Darmon, Auteur ; Pascal Monasse, Directeur de thèse ; Mathieu Aubry, Directeur de thèse Editeur : Champs-sur-Marne : Ecole des Ponts ParisTech Année de publication : 2022 Importance : 115 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse de doctorat de l'Ecole des Ponts ParisTech, spécialité informatique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] appariement d'images [Termes IGN] carte de profondeur [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] extraction [Termes IGN] géométrie épipolaire [Termes IGN] maillage [Termes IGN] modèle stéréoscopique [Termes IGN] point d'intérêt [Termes IGN] Ransac (algorithme) [Termes IGN] reconstruction 3D [Termes IGN] reconstruction d'objet [Termes IGN] semis de points [Termes IGN] SIFT (algorithme) [Termes IGN] structure-from-motion [Termes IGN] voxel Index. décimale : THESE Thèses et HDR Résumé : (auteur) 3D reconstruction is a long standing problem in computer vision. Yet, state-of-the-art methods still struggle when the images used have large illumination changes, many occlusions or limited textures. Deep Learning holds promises of improving 3D reconstruction in such setups, but classical methods still produce the best results. In this thesis we analyse the specificity of deep learning applied to multiview 3D reconstruction and introduce new deep learning based methods.The first contribution of this thesis is an analysis of the possible supervision for training Deep Learning models for sparse image matching. We introduce a two-step algorithm that first computes low resolution matches using deep learning and then matches classical local features inside the matches regions. We analyze several levels of supervision and show that our new epipolar supervision leads to the best results.The second contribution is also a study of supervision for Deep Learning but applied to another scenario: calibrated 3D reconstruction in the wild. We show that existing unsupervised methods do not work on such data and we introduce a new training technique that solves this issue. We then exhaustively compare unsupervised approach and supervised approaches with different network architectures and training data.Finally, our third contribution is about data representation. Neural implicit representation were recently used for image rendering. We adapt this representation to the multiview reconstruction problem and we introduce a new method that, similar to classical 3D reconstruction techniques, optimizes photo-consistency between projections of multiple images. Our approach outperforms state-of-the-art by a large margin. Note de contenu : 1- Introduction 2- Background 3- Deep learning for guiding keypoint matching 4- Deep Learning based Multi-View Stereo in the wild 5- Multi-view reconstruction with implicit surfaces and patch warping 6- Conclusion Numéro de notice : 24085 Affiliation des auteurs : non IGN Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Note de thèse : Thèse de Doctorat : Informatique : Ponts ParisTech : 2022 Organisme de stage : Laboratoire d'Informatique Gaspard-Monge LIGM DOI : sans En ligne : https://www.theses.fr/2022ENPC0024 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=102473

Optimization of deep neural networks: A functional perspective with applications in image classification / Simon Roburin (2022)  

Public Titre : Optimization of deep neural networks: A functional perspective with applications in image classification Type de document : Thèse/HDR Auteurs : Simon Roburin, Auteur ; Mathieu Aubry, Directeur de thèse Editeur : Champs-sur-Marne : Ecole des Ponts ParisTech Année de publication : 2022 Importance : 141 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse de Doctorat de l'Ecole des Ponts ParisTech, spécialité Mathématiques Appliquées Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] analyse de groupement [Termes IGN] apprentissage profond [Termes IGN] classification par nuées dynamiques [Termes IGN] mathématiques appliquées [Termes IGN] optimisation (mathématiques) [Termes IGN] vision par ordinateur Index. décimale : THESE Thèses et HDR Résumé : (auteur) Despite numerous successes in a wide range of industrial and scientific applications, the learning process of deep neural networks is poorly understood. Loosely speaking, learning aims at finding the network parameters that not only minimize the network errors on a set of training examples but also yield correct predictions on unseen data. Under the prism of optimization, it boils down to minimizing a high dimensional non-convex function. Generalization can generally be expected when one has access to very large datasets and assumes that both training examples and unseen data are sampled from identically independently distributed random variables. The goal of this thesis is to develop analytical tools to better understand neural network optimization and to improve the design of training algorithms in the context of image classification. Note de contenu : 1- Introduction 2- Literature review 3- Impact of Normalization Layers on Optimization 4- Avoid learning spurious correlations 5- Conclusion Numéro de notice : 24098 Affiliation des auteurs : non IGN Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Note de thèse : Thèse de Doctorat : Mathématiques Appliquées : Ponts ParisTech : 2022 Organisme de stage : LIGM-IMAGINE En ligne : https://hal.science/tel-03968114v1 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=102573

Registration of heterogenous data for urban modeling / Rahima Djahel (2022)  

Public Titre : Registration of heterogenous data for urban modeling Type de document : Thèse/HDR Auteurs : Rahima Djahel, Auteur ; Pascal Monasse, Directeur de thèse ; Bruno Vallet , Directeur de thèse Editeur : Champs-sur-Marne : Ecole des Ponts ParisTech Année de publication : 2022 Projets : BIOM / Vallet, Bruno Importance : 160 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse soutenue pour obtenir le grade de Docteur à l'École des Ponts ParisTech, spécialité Informatique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Lasergrammétrie [Termes IGN] données hétérogènes [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] espace intérieur [Termes IGN] état de l'art [Termes IGN] extraction de traits caractéristiques [Termes IGN] jeu de données localisées [Termes IGN] méthode robuste [Termes IGN] modélisation 3D du bâti BIM [Termes IGN] primitive géométrique [Termes IGN] Ransac (algorithme) [Termes IGN] recalage d'image [Termes IGN] scène urbaine [Termes IGN] segment de droite Index. décimale : THESE Thèses et HDR Résumé : (Auteur) Cette thèse fait partie du projet Modelisation Intérieur/Extérieur de Bâtiments (BIOM) qui vise à la modélisation automatique et simultanée de l’intérieur et de l’extérieur de bâtiments à partir de données hétérogènes. L'hétérogénéité est à la fois dans le type de données (image et Light Detection and Ranging (LiDAR)) et la plate-forme d'acquisition: acquisition terrestre intérieure/extérieure ou aérienne. Le premier enjeu d'une telle modélisation est donc de recaler précisément ces données. Les travaux menés ont confirmé que l'environnement et le type de données conditionnent le choix de l'algorithme de recalage. Notre contribution consiste à exploiter les propriétés fondamentales des données et des plateformes d'acquisition afin de proposer des solutions potentielles à tous les problèmes de recalage rencontrés par le projet. Comme dans un environnement de bâtiments la plupart des objets sont composés de primitives géométriques (polygones planaires, lignes droites, ouvertures), nous avons choisi d'introduire des algorithmes de recalage reposant sur ces primitives. L'idée de base de ces algorithmes consiste en la définition d'une énergie globale entre les primitives extraites à partir des jeux de données à recaler et la proposition d'une méthode robuste pour optimiser cette énergie basée sur le paradigme RANSAC. Notre contribution va de la proposition de méthodes robustes pour extraire les primitives sélectionnées à l'intégration de ces primitives dans un cadre de recalage efficace. Nos solutions ont dépassé les limites des algorithmes existants et ont prouvé leur efficacité pour résoudre les problèmes rencontrés par le projet, tels que le recalage intérieur/extérieur, le recalage d'image/LiDAR et le recalage aérien/terrestre. Note de contenu : 1. Context and research problem 1.1 Introduction 1.2 BIOM project 1.3 Objectives 1.4 Building Information Modeling 1.5 Registration problem 1.6 Images registration 1.7 Point clouds registration 1.8 Contributions 1.9 Thesis outline 1.10 Publication List 2. Data description 2.1 Introduction 2.2 Image data 2.3 LiDAR data 2.4 Conclusion 3. Primitives detection 3.1 Introduction 3.2 Classification of primitives extraction methods 3.3 Performance evaluation 3.4 Planar polygons extraction 3.5 3D line segment detection from LIDAR data 3.6 3D lines segments detection and reconstruction from image data 3.7 Openings detection 3.8 Conclusion 4. Indoor/Outdoor Registration 4.1 Introduction 4.2 State of the art 4.3 Data 4.4 Planar polygons based registration 4.5 Openings based registration 4.6 Hybrid solution 4.7 Conclusion 5. Image/LiDAR data Registration 104 5.1 Introduction 5.2 State of the art 5.3 Overview and contributions 5.4 3D Segment Extraction 5.5 3D segments based registration 5.6 Iterative Closest Line (ICL) 5.7 Evaluation and discussion 5.8 Conclusion 6. Aerial/Terrestrial registration 6.1 Introduction 6.2 State of the art 6.3 3D segment extraction from heterogeneous image data 6.4 3D segments based algorithm adaptation 6.5 Evaluation and discussion 6.6 Conclusion 7. Conclusion 7.1 Contributions 7.2 Future work Appendices A. Implementation B. MLSD Improvement Numéro de notice : 26842 Affiliation des auteurs : non IGN Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Note de thèse : Thèse de Doctorat : Informatique : ENPC : 2022 Organisme de stage : Laboratoire d'Informatique Gaspard-Monge LIGM nature-HAL : Thèse DOI : sans Date de publication en ligne : 30/08/2022 En ligne : https://pastel.hal.science/tel-03764907/ Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=101526

Geometric and semantic joint approach for the reconstruction of digital models of buildings / Pierre-Alain Langlois (2021)  

Public Titre : Geometric and semantic joint approach for the reconstruction of digital models of buildings Type de document : Thèse/HDR Auteurs : Pierre-Alain Langlois, Auteur ; Renaud Marlet, Directeur de thèse ; Alexandre Boulch, Directeur de thèse Editeur : Champs-sur-Marne : Ecole des Ponts ParisTech Année de publication : 2021 Importance : 131 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse de doctorat de l’Ecole des Ponts ParisTech, Spécialité Informatique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] détection du bâti [Termes IGN] jeu de données localisées [Termes IGN] modélisation 3D du bâti BIM [Termes IGN] reconnaissance de surface [Termes IGN] reconstruction 3D du bâti [Termes IGN] reconstruction d'objet [Termes IGN] segmentation sémantique [Termes IGN] semis de points [Termes IGN] texture d'image Index. décimale : THESE Thèses et HDR Résumé : (Auteur) The advent of Building Information Models (BIM) in the field of construction and city management revolutionizes the way we design, build, operate and maintain our buildings. BIM models not only include the geometric aspect of the buildings but also semantic information which identifies its logical components (walls, slabs, windows, doors, etc..). While this information is fairly reasonable to create during the building design, only 1% of the building stock is renewed each year. There is therefore an increasing need for automated methods to generate BIM models on existing buildings from sensors such as simple RGB cameras or more advanced Lidar sensors which directly provide a point cloud.In this context, the goal of this thesis is to develop approaches for BIM reconstruction, including both geometric reconstruction and semantic analysis.These tasks have been explored, but an important research effort is conducted to make them more robust to the variety of use cases found in practice.3D reconstruction is usually operated based on direct 3D acquisitions such as Lidars or using photogrammetry, i.e., using pictures to triangulate key point locations and reconstruct the surface afterward. In the context of buildings, the later case is usually limited by the presence of textureless areas which make it hard for the algorithms to find key points and to triangulate them. Moreover, some parts of the buildings might be missing from the input data because of occlusions or omission from the acquisition operator.Regarding semantics in point clouds, important ambiguities exist between semantic classes: the discontinuity between a wall and a door can be hard to distinguish; a slab, a roof and a ceiling sometimes need additional context to be disentangled.In this thesis, we present three technical contributions to address these issues.First, for 3D reconstruction of building scenes, we propose the first method to reconstruct piecewise-planar scenes from images using line segments as primitives. While wide textureless areas exist in indoor scenes (e.g., walls), making it particularly difficult to detect key points, lines are often more visible and easier to detect (e.g., change of illumination at the intersection of two walls) and therefore should be used to ensure robustness of image-based reconstruction approaches. We leverage the presence of these line segments and the possibility to detect and triangulate them. This makes the method robust to textureless surfaces, and we show that we can reconstruct scenes on which point-based methods fail.The second contribution is more theoretical and addresses the problem of mesh reconstruction from multiple calibrated images of low resolution. In this context, traditional methods completely fail and directly learning priors on a large scale dataset of 3D shapes allows us to still perform reconstruction. More specifically, our method uses the learned priors to provide an initial rough shape which is further refined by incorporating geometric constraints. Our method directly outputs a mesh and competes with state of the art methods which can only output a noisy point cloud.Finally, the third technical contribution is VASAD, a dataset for volumetric and semantic reconstruction, which we created from raw BIM models available online. It is the first large scale dataset (62000m²) to offer both geometric and semantic annotation at point and mesh level. With this dataset, we propose two methods to jointly reconstruct both geometry and semantics from a point cloud and we show that the proposed dataset is challenging enough to stimulate research. Note de contenu : 1. Introduction 1.1 Motivation 1.2 Approach 1.3 Contributions 1.4 Organization of the dissertation SURFACE RECONSTRUCTION FROM 3D LINE SEGMENTS 2. Introduction 2.1 Reconstructing textureless surfaces 2.2 Related Work 3. Method 3.1 Line extraction 3.2 Plane detection from 3D line segments 3.3 Surface reconstruction 4. Results 4.1 Datasets 4.2 Observations on the input data 4.3 Qualitative evaluation of reconstructions 4.4 Quantitative evaluation of reconstructions 4.5 Ablation study 4.6 Limitations and perspectives 4.7 Conclusion 3D RECONSTRUCTION BY PARAMETERIZED SURFACE MAPPING 5. Introduction 5.1 Learning 3D reconstruction 5.2 Related work 6. Method 6.1 Learning a Multi-View Parameterized Surface Mapping 6.2 Design choices 7. Results 7.1 Dataset 7.2 Evaluation criteria 7.3 Experimental results 7.4 Ablation study 7.5 Discussion and limitations 7.6 Conclusion VASAD: A VOLUME AND SEMANTIC DATASET FOR BUILDING RECONSTRUCTION FROM POINT CLOUDS 8. Introduction 8.1 3D Reconstruction for buildings 8.2 Related work 9. DATASET 9.1 Building information models 9.2 Presentation of the dataset 9.3 3D representation 9.4 Point cloud simulation 9.5 Train/test split 10. Method 10.1 Reconstruction approaches 10.2 PVSRNet 10.3 Semantic Convolutional Occupancy Network 10.4 Data preparation 11. RESULTS 11.1 Metrics 11.2 Surface reconstruction 11.3 Semantic segmentation 11.4 Discussion 11.5 Conclusion EPILOGUE 12. Conclusion 12.1 Looking back 12.2 Looking ahead Numéro de notice : 26822 Affiliation des auteurs : non IGN Thématique : IMAGERIE/URBANISME Nature : Thèse française Note de thèse : Thèse de Doctorat : informatique : Champs-Sur-Marne : 2021 Organisme de stage : Laboratoire d'Informatique Gaspard Monge LIGM nature-HAL : Thèse DOI : sans Date de publication en ligne : 11/04/2022 En ligne : https://tel.hal.science/tel-03637158/ Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100564