Centre dedocumentation
scientifique

Mobile mapping mesh change detection and update / Teng Wu (2023)  

Public Titre : Mobile mapping mesh change detection and update Type de document : Article/Communication Auteurs : Teng Wu , Auteur ; Bruno Vallet , Auteur ; Cédric Demonceaux, Auteur Editeur : Ithaca [New York - Etats-Unis] : ArXiv - Université Cornell Année de publication : 2023 Projets : PLaTINUM / Gouet-Brunet, Valérie Importance : 7 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Lasergrammétrie [Termes IGN] détection de changement [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] maillage par triangles [Termes IGN] mosaïquage d'images [Termes IGN] semis de points [Termes IGN] série temporelle [Termes IGN] Stéréopolis [Termes IGN] système de numérisation mobile [Termes IGN] vision par ordinateur Résumé : (auteur) Mobile mapping, in particular, Mobile Lidar Scanning (MLS) is increasingly widespread to monitor and map urban scenes at city scale with unprecedented resolution and accuracy. The resulting point cloud sampling of the scene geometry can be meshed in order to create a continuous representation for different applications: visualization, simu- lation, navigation, etc. Because of the highly dynamic nature of these urban scenes, long term mapping should rely on frequent map updates. A trivial solution is to simply replace old data with newer data each time a new acquisition is made. However it has two drawbacks: 1) the old data may be of higher quality (resolution, precision) than the new and 2) the coverage of the scene might be different in various acquisitions, including varying occlusions. In this paper, we propose a fully automatic pipeline to address these two issues by formulating the problem of merging meshes with different quality, coverage and acquisition time. Our method is based on a combined distance and visibility based change detection, a time series analysis to assess the sustainability of changes, a mesh mosaicking based on a global boolean optimization and finally a stitching of the resulting mesh pieces boundaries with triangle strips. Finally, our method is demonstrated on Robotcar and Stereopolis datasets. Numéro de notice : P2023-003 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Thématique : IMAGERIE Nature : Preprint nature-HAL : Préprint DOI : 10.48550/arXiv.2303.07182 Date de publication en ligne : 13/03/2023 En ligne : https://doi.org/10.48550/arXiv.2303.07182 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=102860

Improving image description with auxiliary modality for visual localization in challenging conditions / Nathan Piasco in International journal of computer vision, vol 29 n° 1 (January 2021)  

Public [article]  inInternational journal of computer vision > vol 29 n° 1 (January 2021) . - pp 185 - 202 Titre : Improving image description with auxiliary modality for visual localization in challenging conditions Type de document : Article/Communication Auteurs : Nathan Piasco , Auteur ; Désiré Sidibé, Auteur ; Valérie Gouet-Brunet , Auteur ; Cédric Demonceaux, Auteur Année de publication : 2021 Projets : PLaTINUM / Gouet-Brunet, Valérie Article en page(s) : pp 185 - 202 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] descripteur [Termes IGN] localisation basée image [Termes IGN] localisation basée vision Résumé : (auteur) Image indexing for lifelong localization is a key component for a large panel of applications, including robot navigation, autonomous driving or cultural heritage valorization. The principal difficulty in long-term localization arises from the dynamic changes that affect outdoor environments. In this work, we propose a new approach for outdoor large scale image-based localization that can deal with challenging scenarios like cross-season, cross-weather and day/night localization. The key component of our method is a new learned global image descriptor, that can effectively benefit from scene geometry information during training. At test time, our system is capable of inferring the depth map related to the query image and use it to increase localization accuracy. We show through extensive evaluation that our method can improve localization performances, especially in challenging scenarios when the visual appearance of the scene has changed. Our method is able to leverage both visual and geometric clues from monocular images to create discriminative descriptors for cross-season localization and effective matching of images acquired at different time periods. Our method can also use weakly annotated data to localize night images across a reference dataset of daytime images. Finally we extended our method to reflectance modality and we compare multi-modal descriptors respectively based on geometry, material reflectance and a combination of both. Numéro de notice : A2021-132 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Autre URL associée : vers HAL Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11263-020-01363-6 Date de publication en ligne : 28/08/2020 En ligne : https://doi.org/10.1007/s11263-020-01363-6 Format de la ressource électronique : url article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=96971 [article]

Cartographie sémantique hybride de scènes urbaines à partir de données image et Lidar / Mohamed Boussaha (2020)  

Public Titre : Cartographie sémantique hybride de scènes urbaines à partir de données image et Lidar Titre original : 3D hybrid urban scene semantic mapping from multi-modal data Type de document : Thèse/HDR Auteurs : Mohamed Boussaha , Auteur ; Bruno Vallet , Directeur de thèse ; Patrick Rives, Directeur de thèse Editeur : Champs/Marne : Université Paris-Est Année de publication : 2020 Projets : PLaTINUM / Gouet-Brunet, Valérie Note générale : bibliographie Dissertation submitted in partial fulfillment of the requirements for the degree of Doctor of Philosophy delivered by Université Paris-Est Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] apprentissage dirigé [Termes IGN] carte de profondeur [Termes IGN] descripteur [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] fusion de données multisource [Termes IGN] image panoramique [Termes IGN] maillage par triangles [Termes IGN] reconstruction 3D du bâti [Termes IGN] réflectance [Termes IGN] scène intérieure [Termes IGN] scène urbaine [Termes IGN] segmentation sémantique [Termes IGN] semis de points [Termes IGN] système de numérisation mobile [Termes IGN] texturage [Termes IGN] traitement de semis de points Index. décimale : THESE Thèses et HDR Résumé : (auteur) Avec la démocratisation des applications collaboratives d'assistance à la navigation et l'avènement de robots autonomes, la cartographie mobile suscite ces dernières années une attention croissante, tant dans les milieux académiques qu'industriels. La numérisation de l'environnement offre non seulement une connaissance fine et exhaustive permettant aux usagers d'anticiper et de planifier leurs déplacements, mais garantit aussi la disponibilité d'informations fiables notamment en cas d'éventuelle défaillance des capteurs visuels d'un véhicule autonome. S'agissant d'un enjeu crucial pour une navigation fiable, la cartographie mobile soulève en revanche de nombreux défis en matière de robustesse, de précision et de passage à l'échelle. Cette problématique fait appel à des méthodes qui requièrent une capacité de traitement de données massives avec une précision centimétrique tout en gérant les spécificités de l'acquisition (la variabilité du niveau de détails, des occultations et des fortes variations de luminosité). Cette thèse porte sur le développement d'un référentiel global géolocalisé de l'environnement urbain constitué de représentations 3D géométriques, photométriques et sémantiques. Dans un premier temps, une investigation approfondie de la représentation la plus adaptée à un tel référentiel, permet une reconstruction d'une carte haute définition à large échelle sous forme d'un maillage 3D texturé. Cette représentation est mise en place par fusion multimodale d'images orientées et de balayages LiDAR géo-référencés acquis depuis une plateforme de cartographie mobile terrestre. Par la suite, nous proposons d'intégrer l'aspect sémantique au référentiel 3D reconstruit en exploitant la complémentarité entre les modalités d'acquisition photométriques et géométriques. À travers la riche littérature sur le sujet, nous identifions l'absence d'un jeu de données urbain multimodal annoté incluant un maillage texturé à large échelle. Nous abordons ce verrou par la production d'un jeu de données composé de nuages de point 3D, d'images 2D perspectives et panoramiques, de cartes de profondeur et de reflectance ainsi qu'un maillage texturé avec les annotations correspondantes à chaque modalité. Dans un second temps, nous considérons le référentiel comme un nuage de points structuré par un graphe d'adjacence. Nous introduisons une nouvelle approche de sur-segmentation par apprentissage supervisé. Cette méthode opère en deux temps: calcul de descripteurs locaux des points 3D par apprentissage profond de métrique, puis partition du nuage de points en zones uniformes, appelées superpoints. Les descripteurs sont appris de telle sorte qu'ils présentent de forts contrastes à l'interface entre objets, incitant la partition résultante à suivre leurs contours naturels. Nos expériences sur des scènes intérieures et extérieures montrent la nette supériorité de notre approche sur les méthodes de partition de nuage de points de l'état de l'art, qui ne reposaient pas jusqu'à là sur l'apprentissage machine. Nous montrons également que notre méthode peut être combinée à un algorithme de classification de superpoints pour obtenir d'excellents résultats en terme de segmentation sémantique, améliorant aussi l'état de l'art sur ce sujet. Enfin, nous étendons cette approche aux maillages texturés. Les triangles, structurés cette fois-ci par le graphe d'adjacence du maillage, sont partitionnés en groupes homogènes appelés superfacettes. À l'instar des nuages de points, des descripteurs locaux du maillage texturé sont appris de façon à ce que les frontières d'objets sémantiquement distincts présentent un contraste élevé. Ces descripteurs sont le résultat d'une fusion des descripteurs appris sur le maillage par convolution des arêtes d'une part, et des descripteurs de texture d'autre part. Les expériences réalisées sur notre jeu de données illustrent la supériorité de notre approche par rapport aux méthodes de l'état de l'art de sur-segmentation de maillage. Numéro de notice : 17674 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de doctorat : Geographical Information Sciences and technologies : UPE : 2020 Organisme de stage : LaSTIG (IGN) nature-HAL : Thèse En ligne : https://hal.science/tel-03276242v1 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98009

Mise à jour de carte 3D par mosaïquage de maillages [diaporama] / Bruno Vallet (2020)  

Public Titre : Mise à jour de carte 3D par mosaïquage de maillages [diaporama] Type de document : Article/Communication Auteurs : Bruno Vallet , Auteur Editeur : Saint-Mandé : Institut national de l'information géographique et forestière - IGN (2012-) Année de publication : 2020 Projets : PLaTINUM / Gouet-Brunet, Valérie Conférence : Séminaire de recherche IGN 2020, De l’acquisition à la valorisation des big geodata du passé 24/02/2020 24/02/2020 Saint-Mandé France Importance : 47 p. Format : 30 x 21 cm Langues : Français (fre) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] chaîne de traitement [Termes IGN] détection de changement [Termes IGN] maille triangulaire [Termes IGN] mise à jour automatique [Termes IGN] mosaïquage d'images [Termes IGN] optimisation (mathématiques) [Termes IGN] scène 3D [Termes IGN] scène urbaine [Termes IGN] semis de points [Termes IGN] série temporelle Résumé : (auteur) La cartographie mobile permet de numériser les scènes urbaines à l'échelle de la ville avec une précision sans précédent sous forme de nuages de points échantillonnant la géométrie de la scène avec une grande précision et résolution et d'images panoramiques orientées. En raison de la nature très dynamique de ces scènes urbaines, la cartographie à long terme doit s'appuyer sur des mises à jour fréquentes des cartes par des données plus actuelles mais de qualité moindre. Pour répondre à cet enjeu, nous proposons une chaîne de traitement entièrement automatique s'appuyant sur une détection combinée des changements basée sur la distance et la visibilité, une analyse des séries temporelles pour évaluer la pérennité des changements, un mosaïquage de maillage basé sur une optimisation booléenne globale et enfin le raccordement des morceaux de maillage résultants. Numéro de notice : C2020-028 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE Nature : Communication nature-HAL : ComSansActesPubliés-Unpublished DOI : sans En ligne : https://drive.google.com/file/d/1aHRj592rrldi_ivPjkyz2FkzMbzIjZaB/view Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=97804

Moving objects aware sensor mesh fusion for indoor reconstruction from a couple of 2D lidar scans / Teng Wu (2020)  

Public contenu dans XXIV ISPRS Congress, Commission 2 / Nicolas Paparoditis (2020)   Titre : Moving objects aware sensor mesh fusion for indoor reconstruction from a couple of 2D lidar scans Type de document : Article/Communication Auteurs : Teng Wu , Auteur ; Bruno Vallet , Auteur ; Cédric Demonceaux, Auteur ; Jingbin Liu, Auteur Editeur : International Society for Photogrammetry and Remote Sensing ISPRS Année de publication : 2020 Collection : International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, ISSN 1682-1750 num. 43-B2 Projets : PLaTINUM / Gouet-Brunet, Valérie Conférence : ISPRS 2020, Commission 2, virtual Congress, Imaging today foreseeing tomorrow 31/08/2020 02/09/2020 Nice (en ligne) France Archives Commission 2 Importance : pp 507 - 514 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Lasergrammétrie [Termes IGN] données lidar [Termes IGN] données localisées 2D [Termes IGN] espace intérieur [Termes IGN] fusion de données [Termes IGN] objet mobile [Termes IGN] reconstruction 3D [Termes IGN] semis de points Résumé : (auteur) Indoor mapping attracts more attention with the development of 2D and 3D camera and Lidar sensor. Lidar systems can provide a very high resolution and accurate point cloud. When aiming to reconstruct the static part of the scene, moving objects should be detected and removed which can prove challenging. This paper proposes a generic method to merge meshes produced from Lidar data that allows to tackle the issues of moving objects removal and static scene reconstruction at once. The method is adapted to a platform collecting point cloud from two Lidar sensors with different scan direction, which will result in different quality. Firstly, a mesh is efficiently produced from each sensor by exploiting its natural topology. Secondly, a visibility analysis is performed to handle occlusions (due to varying viewpoints) and remove moving objects. Then, a boolean optimization allows to select which triangles should be removed from each mesh. Finally, a stitching method is used to connect the selected mesh pieces. Our method is demonstrated on a Navvis M3 (2D laser ranger system). Numéro de notice : C2020-008 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.5194/isprs-archives-XLIII-B2-2020-507-2020 Date de publication en ligne : 12/08/2020 En ligne : https://doi.org/10.5194/isprs-archives-XLIII-B2-2020-507-2020 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95659

Geometric camera pose refinement with learned depth maps / Nathan Piasco (2019)  

Permalink

Learning scene geometry for visual localization in challenging conditions / Nathan Piasco (2019)    

Permalink

Perspective-n-learned-point: pose estimation from relative depth / Nathan Piasco (2019)    

Permalink

Large scale textured mesh reconstruction from mobile mapping images and LIDAR scans / Mohamed Boussaha in ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol IV-2 (June 2018)  

Permalink

A survey on visual-based localization : on the benefit of heterogeneous data / Nathan Piasco in Pattern recognition, vol 74 (February 2018)  

Permalink

Apprentissage de modalités auxiliaires pour la localisation basée vision / Nathan Piasco (2018)    

Permalink

On the production of semantic and textured 3D meshes of large scale urban environments from mobile mapping images and LIDAR scans / Mohamed Boussaha (2018)    

Permalink