Centre de documentation
scientifique

SDF-2-SDF registration for real-time 3D reconstruction from RGB-D data / Miroslava Slavcheva in International journal of computer vision, vol 126 n° 6 (June 2018)  

Public [article]  inInternational journal of computer vision > vol 126 n° 6 (June 2018) . - pp 615 - 636 Titre : SDF-2-SDF registration for real-time 3D reconstruction from RGB-D data Type de document : Article/Communication Auteurs : Miroslava Slavcheva, Auteur ; Wadim Kehl, Auteur ; Nassir Navab, Auteur ; Slobodan Ilic, Auteur Année de publication : 2018 Article en page(s) : pp 615 - 636 Note générale : Bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] contrainte géométrique [Termes IGN] estimation de pose [Termes IGN] image RVB [Termes IGN] Kinect [Termes IGN] méthode de réduction d'énergie [Termes IGN] optimisation (mathématiques) [Termes IGN] reconstruction d'objet [Termes IGN] semis de points [Termes IGN] voxel Mots-clés libres : simultaneous localization and mapping (SLAM) Résumé : (Auteur) We tackle the task of dense 3D reconstruction from RGB-D data. Contrary to the majority of existing methods, we focus not only on trajectory estimation accuracy, but also on reconstruction precision. The key technique is SDF-2-SDF registration, which is a correspondence-free, symmetric, dense energy minimization method, performed via the direct voxel-wise difference between a pair of signed distance fields. It has a wider convergence basin than traditional point cloud registration and cloud-to-volume alignment techniques. Furthermore, its formulation allows for straightforward incorporation of photometric and additional geometric constraints. We employ SDF-2-SDF registration in two applications. First, we perform small-to-medium scale object reconstruction entirely on the CPU. To this end, the camera is tracked frame-to-frame in real time. Then, the initial pose estimates are refined globally in a lightweight optimization framework, which does not involve a pose graph. We combine these procedures into our second, fully real-time application for larger-scale object reconstruction and SLAM. It is implemented as a hybrid system, whereby tracking is done on the GPU, while refinement runs concurrently over batches on the CPU. To bound memory and runtime footprints, registration is done over a fixed number of limited-extent volumes, anchored at geometry-rich locations. Extensive qualitative and quantitative evaluation of both trajectory accuracy and model fidelity on several public RGB-D datasets, acquired with various quality sensors, demonstrates higher precision than related techniques. Numéro de notice : A2018-410 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11263-017-1057-z Date de publication en ligne : 18/12/2017 En ligne : https://doi.org/10.1007/s11263-017-1057-z Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=90884 [article]

Refining geometry from depth sensors using IR shading images / Gyeongmin Choe in International journal of computer vision, vol 122 n° 1 (March 2017)  

Public [article]  inInternational journal of computer vision > vol 122 n° 1 (March 2017) . - pp 1 – 16 Titre : Refining geometry from depth sensors using IR shading images Type de document : Article/Communication Auteurs : Gyeongmin Choe, Auteur ; Jaesik Park, Auteur ; Yu-Wing Tai, Auteur ; In So Kweon, Auteur Année de publication : 2017 Article en page(s) : pp 1 – 16 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] albedo [Termes IGN] bande infrarouge [Termes IGN] décomposition d'image [Termes IGN] géométrie affine [Termes IGN] image optique [Termes IGN] Kinect [Termes IGN] maille triangulaire [Termes IGN] ombre Résumé : (auteur) We propose a method to refine geometry of 3D meshes from a consumer level depth camera, e.g. Kinect, by exploiting shading cues captured from an infrared (IR) camera. A major benefit to using an IR camera instead of an RGB camera is that the IR images captured are narrow band images that filter out most undesired ambient light, which makes our system robust against natural indoor illumination. Moreover, for many natural objects with colorful textures in the visible spectrum, the subjects appear to have a uniform albedo in the IR spectrum. Based on our analyses on the IR projector light of the Kinect, we define a near light source IR shading model that describes the captured intensity as a function of surface normals, albedo, lighting direction, and distance between light source and surface points. To resolve the ambiguity in our model between the normals and distances, we utilize an initial 3D mesh from the Kinect fusion and multi-view information to reliably estimate surface details that were not captured and reconstructed by the Kinect fusion. Our approach directly operates on the mesh model for geometry refinement. We ran experiments on our algorithm for geometries captured by both the Kinect I and Kinect II, as the depth acquisition in Kinect I is based on a structured-light technique and that of the Kinect II is based on a time-of-flight technology. The effectiveness of our approach is demonstrated through several challenging real-world examples. We have also performed a user study to evaluate the quality of the mesh models before and after our refinements. Numéro de notice : A2017-174 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article DOI : 10.1007%2Fs11263-016-0937-y En ligne : https://doi.org/10.1007/s11263-016-0937-y Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=85921 [article]

Contributions au RGBD-SLAM / Kathia Melbouci (2017)  

Public Titre : Contributions au RGBD-SLAM Type de document : Thèse/HDR Auteurs : Kathia Melbouci, Auteur ; Michel Dhome, Directeur de thèse Editeur : Clermont-Ferrand : Université Clermont Auvergne Année de publication : 2017 Importance : 144 p. Format : 21 x 30 cm Note générale : bibliographie Thèse présentée en vue de l’obtention du grade de Docteur d’université, Formation Doctorale Électronique et Système Spécialité : Vision pour la Robotique Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes IGN] compensation par faisceaux [Termes IGN] compréhension de l'image [Termes IGN] effet de profondeur cinétique [Termes IGN] Kinect [Termes IGN] modélisation 3D [Termes IGN] primitive [Termes IGN] reconstruction 3D [Termes IGN] robot mobile [Termes IGN] scène Index. décimale : THESE Thèses et HDR Résumé : (auteur) Pour assurer la navigation autonome d’un robot mobile, les traitements effectués pour sa localisation doivent être faits en ligne et doivent garantir une précision suffisante pour permettre au robot d’effectuer des tâches de haut niveau pour la navigation et l’évitement d’obstacles. Les auteurs de travaux basés sur le SLAM visuel (Simultaneous Localization And Mapping) tentent depuis quelques années de garantir le meilleur compromis rapidité/précision. La majorité des solutions SLAM visuel existantes sont basées sur une représentation éparse de l’environnement. En suivant des primitives visuelles sur plusieurs images, il est possible d’estimer la position 3D de ces primitives ainsi que les poses de la caméra. La communauté du SLAM visuel a concentré ses efforts sur l’augmentation du nombre de primitives visuelles suivies et sur l’ajustement de la carte 3D, afin d’améliorer l’estimation de la trajectoire de la caméra et les positions 3D des primitives. Cependant, la localisation par SLAM visuel présente souvent des dérives dues au cumul d’erreurs, et dans le cas du SLAM visuel monoculaire, la position de la caméra n’est connue qu’à un facteur d’échelle près. Ce dernier peut être fixé initialement mais dérive au cours du temps. Pour faire face à ces limitations, nous avons centré nos travaux de thèse sur la problématique suivante : intégrer des informations supplémentaires dans un algorithme de SLAM visuel monoculaire afin de mieux contraindre la trajectoire de la caméra et la reconstruction 3D. Ces contraintes ne doivent pas détériorer les performances calculatoires de l’algorithme initial et leur absence ne doit pas mettre l’algorithme en échec. C’est pour cela que nous avons choisi d’intégrer l’information de profondeur fournie par un capteur 3D (e.g. Microsoft Kinect) et des informations géométriques sur la structure de la scène. La première contribution de cette thèse est de modifier l’algorithme SLAM visuel monoculaire proposé par Mouragnon et al.(2006b) pour prendre en compte la mesure de profondeur fournie par un capteur 3D, en proposant particulièrement un ajustement de faisceaux qui combine, d’une manière simple, des informations visuelles et des informations de profondeur. La deuxième contribution est de proposer une nouvelle fonction de coût du même ajustement de faisceaux qui intègre, en plus des contraintes sur les profondeurs des points, des contraintes géométriques d’appartenance aux plans de la scène. Les solutions proposées ont été validées sur des séquences de synthèse et sur des séquences réelles, représentant des environnements variés. Ces solutions ont été comparées aux récentes méthodes de l’état de l’art. Les résultats obtenus montrent que les différentes contraintes développées permettent d’améliorer significativement la précision de la localisation du SLAM. De plus, les solutions proposées sont faciles à déployer et peu couteuses en temps de calcul. Note de contenu : Introduction 1 - Notions de base 2 - Etat de l’art des méthodes SLAM 3 - RGBD-SLAM : SLAM augmenté par l’information de profondeur 4 - Évaluation expérimentale du RGBD SLAM 5 - GBD-SLAM Contraint : Contrainte d’appartenance aux plans de la scène 6 - Évaluation expérimentale du RGBD-SLAM Contraint Conclusion Numéro de notice : 21578 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de doctorat : Vision pour la Robotique : Clermont Auvergne : 2017 nature-HAL : Thèse DOI : sans En ligne : http://www.theses.fr/2017CLFAC006 Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=90584

Automatic modeling of building interiors using low-cost sensor systems / Ali Mohammad Khosravani (2016)  

Public Titre : Automatic modeling of building interiors using low-cost sensor systems Type de document : Thèse/HDR Auteurs : Ali Mohammad Khosravani, Auteur ; Dieter Fritsch, Directeur de thèse Editeur : Munich : Bayerische Akademie der Wissenschaften Année de publication : 2016 Collection : DGK - C, ISSN 0065-5325 num. 767 Importance : 134 p. ISBN/ISSN/EAN : 978-3-7696-5179-9 Note générale : bibliographie PhD Dissertation Langues : Anglais (eng) Allemand (ger) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] caméra numérique [Termes IGN] carte d'intérieur [Termes IGN] espace image [Termes IGN] espace objet [Termes IGN] Kinect [Termes IGN] modélisation 3D du bâti BIM [Termes IGN] semis de points Résumé : (auteur) Indoor reconstruction or 3D modeling of indoor scenes aims at representing the 3D shape of building interiors in terms of surfaces and volumes, using photographs, 3D point clouds or hypotheses. Due to advances in the range measurement sensors technology and vision algorithms, and at the same time an increased demand for indoor models by many applications, this topic of research has gained growing attention during the last years. The automation of the reconstruction process is still a challenge, due to the complexity of the data collection in indoor scenes, as well as geometrical modeling of arbitrary room shapes, especially if the data is noisy or incomplete. Available reconstruction approaches rely on either some level of user interaction, or making assumptions regarding the scene, in order to deal with the challenges. The presented work aims at increasing the automation level of the reconstruction task, while making fewer assumptions regarding the room shapes, even from the data collected by low-cost sensor systems subject to a high level of noise or occlusions. This is realized by employing topological corrections that assure a consistent and robust reconstruction. This study presents an automatic workflow consisting of two main phases. In the first phase, range data is collected using the affordable and accessible sensor system, Microsoft Kinect. The range data is registered based on features observed in the image space or 3D object space. A new complementary approach is presented to support the registration task in some cases where these registration approaches fail, due to the existence of insufficient visual and geometrical features. The approach is based on the user’s track information derived from an indoor positioning method, as well as an available coarse floor plan. In the second phase, 3D models are derived with a high level of details from the registered point clouds. The data is processed in 2D space (by projecting the points onto the ground plane), and the results are converted back to 3D by an extrusion (room height available from the point height histogram analysis). Data processing and modeling in 2D does not only simplify the reconstruction problem, but also allows for topological analysis using the graph theory. The performance of the presented reconstruction approach is demonstrated for the data derived from different sensors having different accuracies, as well as different room shapes and sizes. Finally, the study shows that the reconstructed models can be used to refine available coarse indoor models which are for instance derived from architectural drawings or floor plans. The refinement is performed by the fusion of the detailed models of individual rooms (reconstructed in a higher level of details by the new approach) to the coarse model. The model fusion also enables the reconstruction of gaps in the detailed model using a new learning-based approach. Moreover, the refinement process enables the detection of changes or details in the original plans, missing due to generalization purposes, or later renovations in the building interiors. Note de contenu : 1. Introduction 1.1. Motivation 1.2. Objectives 1.3. Outline and Design of the Thesis 2. Overview of Indoor Data Collection Techniques 2.1. State-of-the-Art Sensors for 3D Data Collection 2.2. The Registration Problem 3. Data Collection using Microsoft Kinect for Xbox 360 3.1. Point Cloud Collection by Kinect 3.2. Point Clouds Registration 3.3. Kinect SWOT Analysis 4. Overview of Available Indoor Modeling Approaches 4.1. Classification of Available Modeling Approaches 4.2. Iconic Approaches 4.3. Symbolic Approaches 5. Automatic Reconstruction of Indoor Spaces 5.1. Point Cloud Pre-Processing 5.2. Reconstruction of Geometric Models 6. Experimental Results and Analysis 6.1. Kinect System Calibration and Accuracy Analysis 6.2. Evaluation of the Reconstruction Approach 6.3. Quality of the Reconstructed Models 7. Application in the Refinement of Available Coarse Floor Models 7.1. Registration of Individual Detailed Models to an Available Coarse Floor Model 7.2. Fusion of Detailed Models to the Coarse Model 8. Conclusion 8.1. Summary 8.2. Contributions 8.3. Future Work Numéro de notice : 19789 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse étrangère Note de thèse : PhD Dissertation : Photogrammetry : Stuttgart : 2016 DOI : 10.18419/opus-3988 En ligne : http://doi.org/10.18419/opus-3988 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=85007

La géomatique apporte son grain de sable à la réalité augmentée / Loïc Messal (2016) 

Public Titre : La géomatique apporte son grain de sable à la réalité augmentée Type de document : Mémoire Auteurs : Loïc Messal, Auteur Editeur : Champs-sur-Marne : Ecole nationale des sciences géographiques ENSG Année de publication : 2016 Importance : 41 p. Format : 21 x 30 cm Note générale : Bibliographie Rapport de projet pluridisciplinaire, cycle Ingénieur 2e année Langues : Français (fre) Descripteur : [Vedettes matières IGN] Photogrammétrie numérique [Termes IGN] acquisition d'images [Termes IGN] acquisition de données [Termes IGN] bibliothèque logicielle [Termes IGN] Kinect [Termes IGN] réalité augmentée [Termes IGN] réalité virtuelle [Termes IGN] reconstruction d'objet Index. décimale : PROJET Mémoires : Rapports de projet - stage des ingénieurs de 2e année Résumé : (Auteur) J’ai effectué mon stage au sein de l’Université Laval, une des universités d’excellence canadiennes, berceau de la géomatique, en intégrant le Centre de Recherche en Géomatique. La promotion des actions de recherche du Centre est un élément crucial dans la transmission des connaissances et l’obtention de financements. J’ai alors travaillé dans le développement de nouvelles fonctionnalités concernant deux projets de réalité augmentée et réalité virtuelle. Ce stage m’a apporté des compétences dans cet univers en plein essor qu’est la réalité augmentée. Il m’a montré l’importance du croisement de compétences en géomatique. Note de contenu : Introduction 1. PROJET BAC A SABLE 1.1. Introduction au projet 1.2. Réalisations 1.3. Difficultés rencontrées 1.4. Perspectives 2. PROJET TANGO 2.1. Introduction au projet 2.2. Réalisations 2.3. Difficultés rencontrées 2.4. Perspectives Conclusion Numéro de notice : 22622 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Mémoire de projet pluridisciplinaire Organisme de stage : Centre de recherche en géomatique (Université Laval, Québec) Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=83384

Documents numériques

peut être téléchargé 22622_La géomatique apporte son grain de sable à la réalité augmentée.pdf Adobe Acrobat PDF