Centre de documentation
scientifique

Albedo estimation for real-time 3D reconstruction using RGB-D and IR data / Patrick Stotko in ISPRS Journal of photogrammetry and remote sensing, vol 150 (April 2019)  

Public [article]  inISPRS Journal of photogrammetry and remote sensing > vol 150 (April 2019) . - pp 213 - 225 Titre : Albedo estimation for real-time 3D reconstruction using RGB-D and IR data Type de document : Article/Communication Auteurs : Patrick Stotko, Auteur ; Michael Weinmann, Auteur ; Reinhard Klein, Auteur Année de publication : 2019 Article en page(s) : pp 213 - 225 Note générale : Bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] albedo [Termes IGN] image infrarouge [Termes IGN] image RVB [Termes IGN] longueur d'onde [Termes IGN] méthode de réduction d'énergie [Termes IGN] reconstruction 3D [Termes IGN] réflectance [Termes IGN] segmentation d'image [Termes IGN] temps réel [Termes IGN] texture d'image Résumé : (Auteur) Reconstructing scenes in real-time using low-cost sensors has gained increasing attention in recent research and enabled numerous applications in graphics, vision, and robotics. While current techniques offer a substantial improvement regarding the quality of the reconstructed geometry, the degree of realism of the overall appearance is still lacking as the reconstruction of accurate surface appearance is highly challenging due to the complex interplay of surface geometry, reflectance properties and surrounding illumination. We present a novel approach that allows the reconstruction of both the geometry and the spatially varying surface albedo of a scene from RGB-D and IR data obtained via commodity sensors. In comparison to previous approaches, our approach offers an improved robustness and a significant speed-up to even fulfill the real-time requirements. For this purpose, we exploit the benefits of scene segmentation to improve albedo estimation due to the resulting better segment-wise coupling of IR and RGB data that takes into account the wavelength characteristics of different materials within the scene. The estimated albedo is directly integrated into the dense volumetric reconstruction framework using a novel weighting scheme to generate high-quality results. In our evaluation, we demonstrate that our approach allows albedo capturing of complicated scenarios including complex, high-frequent and strongly varying lighting as well as shadows. Numéro de notice : A2019-141 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2019.01.018 Date de publication en ligne : 04/03/2019 En ligne : https://doi.org/10.1016/j.isprsjprs.2019.01.018 Format de la ressource électronique : URL Article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=92479 [article]

Exemplaires(3)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
081-2019041	RAB	Revue	Centre de documentation	En réserve L003	Disponible
081-2019043	DEP-RECP	Revue	LASTIG	Dépôt en unité	Exclu du prêt
081-2019042	DEP-RECF	Revue	Nancy	Dépôt en unité	Exclu du prêt

SDF-2-SDF registration for real-time 3D reconstruction from RGB-D data / Miroslava Slavcheva in International journal of computer vision, vol 126 n° 6 (June 2018)  

Public [article]  inInternational journal of computer vision > vol 126 n° 6 (June 2018) . - pp 615 - 636 Titre : SDF-2-SDF registration for real-time 3D reconstruction from RGB-D data Type de document : Article/Communication Auteurs : Miroslava Slavcheva, Auteur ; Wadim Kehl, Auteur ; Nassir Navab, Auteur ; Slobodan Ilic, Auteur Année de publication : 2018 Article en page(s) : pp 615 - 636 Note générale : Bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] contrainte géométrique [Termes IGN] estimation de pose [Termes IGN] image RVB [Termes IGN] Kinect [Termes IGN] méthode de réduction d'énergie [Termes IGN] optimisation (mathématiques) [Termes IGN] reconstruction d'objet [Termes IGN] semis de points [Termes IGN] voxel Mots-clés libres : simultaneous localization and mapping (SLAM) Résumé : (Auteur) We tackle the task of dense 3D reconstruction from RGB-D data. Contrary to the majority of existing methods, we focus not only on trajectory estimation accuracy, but also on reconstruction precision. The key technique is SDF-2-SDF registration, which is a correspondence-free, symmetric, dense energy minimization method, performed via the direct voxel-wise difference between a pair of signed distance fields. It has a wider convergence basin than traditional point cloud registration and cloud-to-volume alignment techniques. Furthermore, its formulation allows for straightforward incorporation of photometric and additional geometric constraints. We employ SDF-2-SDF registration in two applications. First, we perform small-to-medium scale object reconstruction entirely on the CPU. To this end, the camera is tracked frame-to-frame in real time. Then, the initial pose estimates are refined globally in a lightweight optimization framework, which does not involve a pose graph. We combine these procedures into our second, fully real-time application for larger-scale object reconstruction and SLAM. It is implemented as a hybrid system, whereby tracking is done on the GPU, while refinement runs concurrently over batches on the CPU. To bound memory and runtime footprints, registration is done over a fixed number of limited-extent volumes, anchored at geometry-rich locations. Extensive qualitative and quantitative evaluation of both trajectory accuracy and model fidelity on several public RGB-D datasets, acquired with various quality sensors, demonstrates higher precision than related techniques. Numéro de notice : A2018-410 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11263-017-1057-z Date de publication en ligne : 18/12/2017 En ligne : https://doi.org/10.1007/s11263-017-1057-z Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=90884 [article]

Optimisation de formes en sciences de l'ingénieur : Méthodes et applications, ch. 5. Optimisation de fonction pseudo-booléennes / Laurent Caraffa (2018)  

Public Titre de série : Optimisation de formes en sciences de l'ingénieur : Méthodes et applications, ch. 5 Titre : Optimisation de fonction pseudo-booléennes Type de document : Chapitre/Contribution Auteurs : Laurent Caraffa , Auteur ; Jean-Philippe Tarel, Auteur ; Mathias Paget , Auteur Editeur : Champs-sur-Marne : Institut français des sciences et technologies des transports, de l'aménagement et des réseaux IFSTTAR Année de publication : 2018 Importance : pp 139 - 168 Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes IGN] méthode de réduction d'énergie [Termes IGN] optimisation (mathématiques) Résumé : (auteur) Une approche pour faire du traitement d'image consiste à poser les problèmes comme la minimisation d'une énergie sur l'espace des images qui sont représentées par des fonctions 2D. L'optimisation de ce type d'énergie passe par le développement de schémas numériques et donc par la nécessaire discrétisation de l'espace des fonctions choisies et de l'énergie utilisée. Les images étant en pratique représentées de façon discrétisée, une autre approche consiste à poser les problèmes comme la minimisation d'une énergie directement dans le domaine discret. Cela conduit généralement à introduire une représentation de l'image sous la forme d'un graphe afin de pouvoir modéliser les interactions entre voisins. Avec cette approche, on dispose du cadre théorique de l'optimisation quadratique pseudo-booléenne (QPBO) dans le cas où les variables sont binaires et de certaines extensions aux cas non-binaires. Dans ce chapitre, les principaux résultats obtenus dans ce cadre théorique QPBO sont présentés de façon succincte afin d'introduire les outils disponibles actuellement. Enfin, l'utilisation de ces outils est illustrée sur le problème de la reconstruction 3D à partir de paires stéréoscopiques, mais ils peuvent s'appliquer à bien d'autres problèmes au delà du traitement d'image. Numéro de notice : H2018-010 Affiliation des auteurs : LASTIG MATIS+Ext (2012-2019) Thématique : MATHEMATIQUE Nature : Chapître / contribution nature-HAL : ChOuvrScient DOI : sans En ligne : https://hal.archives-ouvertes.fr/hal-01976512/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=96510

Voir aussi

• Optimisation de formes en sciences de l'ingénieur / Michaël Peigney (2018)

SuperPoint Graph : segmentation sémantique de nuages de points LiDAR à grande échelle / Loïc Landrieu (2018) 

Public contenu dans 27èmes Journées de la Recherche de l'IGN / Journées Recherche de l'IGN 2018, 27es Journées (22 - 23 mars 2018; Cité Descartes, Champs-sur-Marne, France) (2018)   Titre : SuperPoint Graph : segmentation sémantique de nuages de points LiDAR à grande échelle Type de document : Article/Communication Auteurs : Loïc Landrieu , Auteur ; Martin Simonovsky, Auteur Editeur : Saint-Mandé : Institut national de l'information géographique et forestière - IGN (2012-) Année de publication : 2018 Conférence : Journées Recherche de l'IGN 2018, 27es Journées 22/03/2018 23/03/2018 Champs-sur-Marne France programme sans actes Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] méthode de réduction d'énergie [Termes IGN] réseau neuronal artificiel [Termes IGN] segmentation sémantique [Termes IGN] semis de points Résumé : (Auteur) SuperPoint Graph est un nouvel algorithme permettant la sémantisation précise de très grands volumes de nuages de points acquis par LiDAR. Il repose sur une partition du nuage en formes simples à l'aide d'un modèle d'énergie globale, qui permet de réduire considérablement la taille et la complexité des entrées. Une représentation profonde de chaque forme est obtenue grâce à un réseau de neurones spécialisé dans le traitement de petits nuages de points. Enfin, un réseau de réseaux de neurones récurrents spatialement structuré permet d'exploiter les relations contextuelles entre formes. La précision des résultats obtenus a permis à SuperPoint Graph de se hisser à la tête de plusieurs benchmarks internationaux. Numéro de notice : C2018-088 Affiliation des auteurs : LASTIG MATIS+Ext (2012-2019) Thématique : IMAGERIE Nature : Communication nature-HAL : ComSansActesPubliés-Unpublished DOI : sans Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=91540

Documents numériques

en open access SuperPoint Graph - diaporama de présentation Adobe Acrobat PDF

Registration of images to Lidar and GIS data without establishing explicit correspondences / Gabor Barsai in Photogrammetric Engineering & Remote Sensing, PERS, vol 83 n° 10 (October 2017)  

Public [article]  inPhotogrammetric Engineering & Remote Sensing, PERS > vol 83 n° 10 (October 2017) . - pp 705 - 716 Titre : Registration of images to Lidar and GIS data without establishing explicit correspondences Type de document : Article/Communication Auteurs : Gabor Barsai, Auteur ; Alper Yilmaz, Auteur ; Sudhagar Nagarajan, Auteur ; Panu Srestasathiern, Auteur Année de publication : 2017 Article en page(s) : pp 705 - 716 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] contour [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] extraction de traits caractéristiques [Termes IGN] fusion d'images [Termes IGN] image aérienne oblique [Termes IGN] méthode de réduction d'énergie [Termes IGN] superposition d'images [Termes IGN] variable aléatoire Résumé : (auteur) Recovering the camera orientation is a fundamental problem in photogrammetry for precision 3D recovery, orthophoto generation, and image registration. In this paper, we achieve this goal by fusing the image information with information extracted from different modalities, including lidar and GIS. In contrast to other approaches, which require feature correspondences, our approach exploits edges across the modalities without the necessity to explicitly establish correspondences. In the proposed approach, extracted edges from different modalities are not required to have analytical forms. This flexibility is achieved by minimizing a new cost function using a Bayesian approach, which takes the Euclidean distances between the projected edges extracted from the other data source and the edges extracted from the reference image as its random variable. The proposed formulation minimizes the overall distances between the sets of edges iteratively, such that the end product results in the correct camera parameters for the reference image as well as matching features across the modalities. The initial solution can be obtained from GPS/IMU data. The formulation is shown to successfully handle noise and missing observations in edges. Point matching methods may fail for oblique images, especially high oblique images. We eliminate the requirement for exact point-to-point matching. The feasibility of the method is experimented with nadir and oblique images. Numéro de notice : A2017-691 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article DOI : 10.14358/PERS.83.10.705 En ligne : https://doi.org/10.14358/PERS.83.10.705 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=87858 [article]

Superpixel-based intrinsic image decomposition of hyperspectral images / Xudong Jin in IEEE Transactions on geoscience and remote sensing, vol 55 n° 8 (August 2017)  

Permalink

Modélisation géométrique de scènes urbaines par imagerie satellitaire / Liuyun Duan (2017)  

Permalink

Segmentation sémantique de données de télédétection multimodale : application aux peuplements forestiers / Clément Dechesne (2017)    

Permalink

Segmentation sémantique de peuplements forestiers par analyse conjointe d’imagerie multispectrale très haute résolution et de données 3D Lidar aéroportées / Clément Dechesne (2017)  

Permalink

Fusion of hyperspectral and VHR multispectral image classifications in urban α–areas / Alexandre Hervieu in ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol III-3 (July 2016)    

Permalink

Progressive band processing of constrained energy minimization for subpixel detection / Chein-I Chang in IEEE Transactions on geoscience and remote sensing, vol 53 n° 3 (March 2015)  

Permalink

Extending α-expansion to a larger set of regularization functions / Mathias Paget (2015)  

Permalink

Creating large-scale city models from 3D-Point clouds : a robust approach with hybrid representation / Florent Lafarge in International journal of computer vision, vol 99 n° 1 (August 2012)  

Permalink

Processing fine digital terrain models by Markovian regularization from 3D airborne lidar data / Frédéric Bretar (2007)  

Permalink

Rectangular road marking detection with marked point processes / Olivier Tournaire (2007)    

Permalink