Centre de documentation
scientifique

Cartographie sémantique hybride de scènes urbaines à partir de données image et Lidar / Mohamed Boussaha (2020)  

Public Titre : Cartographie sémantique hybride de scènes urbaines à partir de données image et Lidar Titre original : 3D hybrid urban scene semantic mapping from multi-modal data Type de document : Thèse/HDR Auteurs : Mohamed Boussaha , Auteur ; Bruno Vallet , Directeur de thèse ; Patrick Rives, Directeur de thèse Editeur : Champs/Marne : Université Paris-Est Année de publication : 2020 Projets : PLaTINUM / Gouet-Brunet, Valérie Note générale : bibliographie Dissertation submitted in partial fulfillment of the requirements for the degree of Doctor of Philosophy delivered by Université Paris-Est Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] apprentissage dirigé [Termes IGN] carte de profondeur [Termes IGN] descripteur [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] fusion de données multisource [Termes IGN] image panoramique [Termes IGN] maillage par triangles [Termes IGN] reconstruction 3D du bâti [Termes IGN] réflectance [Termes IGN] scène intérieure [Termes IGN] scène urbaine [Termes IGN] segmentation sémantique [Termes IGN] semis de points [Termes IGN] système de numérisation mobile [Termes IGN] texturage [Termes IGN] traitement de semis de points Index. décimale : THESE Thèses et HDR Résumé : (auteur) Avec la démocratisation des applications collaboratives d'assistance à la navigation et l'avènement de robots autonomes, la cartographie mobile suscite ces dernières années une attention croissante, tant dans les milieux académiques qu'industriels. La numérisation de l'environnement offre non seulement une connaissance fine et exhaustive permettant aux usagers d'anticiper et de planifier leurs déplacements, mais garantit aussi la disponibilité d'informations fiables notamment en cas d'éventuelle défaillance des capteurs visuels d'un véhicule autonome. S'agissant d'un enjeu crucial pour une navigation fiable, la cartographie mobile soulève en revanche de nombreux défis en matière de robustesse, de précision et de passage à l'échelle. Cette problématique fait appel à des méthodes qui requièrent une capacité de traitement de données massives avec une précision centimétrique tout en gérant les spécificités de l'acquisition (la variabilité du niveau de détails, des occultations et des fortes variations de luminosité). Cette thèse porte sur le développement d'un référentiel global géolocalisé de l'environnement urbain constitué de représentations 3D géométriques, photométriques et sémantiques. Dans un premier temps, une investigation approfondie de la représentation la plus adaptée à un tel référentiel, permet une reconstruction d'une carte haute définition à large échelle sous forme d'un maillage 3D texturé. Cette représentation est mise en place par fusion multimodale d'images orientées et de balayages LiDAR géo-référencés acquis depuis une plateforme de cartographie mobile terrestre. Par la suite, nous proposons d'intégrer l'aspect sémantique au référentiel 3D reconstruit en exploitant la complémentarité entre les modalités d'acquisition photométriques et géométriques. À travers la riche littérature sur le sujet, nous identifions l'absence d'un jeu de données urbain multimodal annoté incluant un maillage texturé à large échelle. Nous abordons ce verrou par la production d'un jeu de données composé de nuages de point 3D, d'images 2D perspectives et panoramiques, de cartes de profondeur et de reflectance ainsi qu'un maillage texturé avec les annotations correspondantes à chaque modalité. Dans un second temps, nous considérons le référentiel comme un nuage de points structuré par un graphe d'adjacence. Nous introduisons une nouvelle approche de sur-segmentation par apprentissage supervisé. Cette méthode opère en deux temps: calcul de descripteurs locaux des points 3D par apprentissage profond de métrique, puis partition du nuage de points en zones uniformes, appelées superpoints. Les descripteurs sont appris de telle sorte qu'ils présentent de forts contrastes à l'interface entre objets, incitant la partition résultante à suivre leurs contours naturels. Nos expériences sur des scènes intérieures et extérieures montrent la nette supériorité de notre approche sur les méthodes de partition de nuage de points de l'état de l'art, qui ne reposaient pas jusqu'à là sur l'apprentissage machine. Nous montrons également que notre méthode peut être combinée à un algorithme de classification de superpoints pour obtenir d'excellents résultats en terme de segmentation sémantique, améliorant aussi l'état de l'art sur ce sujet. Enfin, nous étendons cette approche aux maillages texturés. Les triangles, structurés cette fois-ci par le graphe d'adjacence du maillage, sont partitionnés en groupes homogènes appelés superfacettes. À l'instar des nuages de points, des descripteurs locaux du maillage texturé sont appris de façon à ce que les frontières d'objets sémantiquement distincts présentent un contraste élevé. Ces descripteurs sont le résultat d'une fusion des descripteurs appris sur le maillage par convolution des arêtes d'une part, et des descripteurs de texture d'autre part. Les expériences réalisées sur notre jeu de données illustrent la supériorité de notre approche par rapport aux méthodes de l'état de l'art de sur-segmentation de maillage. Numéro de notice : 17674 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de doctorat : Geographical Information Sciences and technologies : UPE : 2020 Organisme de stage : LaSTIG (IGN) nature-HAL : Thèse En ligne : https://hal.science/tel-03276242v1 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98009

Point cloud oversegmentation with graph-structured deep metric learning / Loïc Landrieu (2019)  

Public Titre : Point cloud oversegmentation with graph-structured deep metric learning Type de document : Article/Communication Auteurs : Loïc Landrieu , Auteur ; Mohamed Boussaha , Auteur Editeur : Computer vision foundation CVF Année de publication : 2019 Projets : 1-Pas de projet / Gouet-Brunet, Valérie Conférence : CVPR 2019, IEEE Conference on Computer Vision and Pattern Recognition 16/06/2019 20/06/2019 Long Beach Californie - Etats-Unis Open Access Proceedings Importance : pp 7432 - 7441 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes IGN] apprentissage profond [Termes IGN] données localisées 3D [Termes IGN] graphe [Termes IGN] réseau neuronal artificiel [Termes IGN] segmentation sémantique [Termes IGN] semis de points Résumé : (auteur) We propose a new supervized learning framework foroversegmenting 3D point clouds into superpoints. We castthis problem as learning deep embeddings of the local ge-ometry and radiometry of 3D points, such that the border ofobjects presents high contrasts. The embeddings are com-puted using a lightweight neural network operating on thepoints’ local neighborhood. Finally, we formulate pointcloud oversegmentation as a graph partition problem withrespect to the learned embeddings.This new approach allows us to set a new state-of-the-artin point cloud oversegmentation by a significant margin, ona dense indoor dataset (S3DIS) and a sparse outdoor one(vKITTI). Our best solution requires over five times fewersuperpoints to reach similar performance than previouslypublished methods on S3DIS. Furthermore, we show thatour framework can be used to improve superpoint-basedsemantic segmentation algorithms, setting a new state-of-the-art for this task as well. Numéro de notice : C2019-017 Affiliation des auteurs : LASTIG MATIS (2012-2019) Autre URL associée : vers CVF Thématique : IMAGERIE/INFORMATIQUE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1109/CVPR.2019.00762 Date de publication en ligne : 09/01/2020 En ligne : https://doi.org/10.1109/CVPR.2019.00762 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=93351

Supervized segmentation with graph-structured deep metric learning / Loïc Landrieu (2019)  

Public Titre : Supervized segmentation with graph-structured deep metric learning Type de document : Article/Communication Auteurs : Loïc Landrieu , Auteur ; Mohamed Boussaha , Auteur Editeur : Ithaca [New York - Etats-Unis] : ArXiv - Université Cornell Année de publication : 2019 Projets : 1-Pas de projet / Gouet-Brunet, Valérie Conférence : ICML 2019, Workshop on Learning and Reasoning with Graph-Structured Representations in International Conference on Machine Learning 15/06/2019 15/06/2019 Long Beach Californie - Etats-Unis Open Access Proceedings Importance : 15 p. Langues : Français (fre) Descripteur : [Vedettes matières IGN] Intelligence artificielle [Termes IGN] apprentissage profond [Termes IGN] graphe [Termes IGN] segmentation [Termes IGN] semis de points Résumé : (auteur) We present a fully-supervized method for learning to segment data structured by an adjacency graph. We introduce the graph-structured contrastive loss, a loss function structured by a ground truth segmentation. It promotes learning vertex embeddings which are homogeneous within desired segments, and have high contrast at their interface. Thus, computing a piecewise-constant approximation of such embeddings produces a graph-partition close to the objective segmentation. This loss is fully backpropagable, which allows us to learn vertex embeddings with deep learning algorithms. We evaluate our methods on a 3D point cloud oversegmentation task, defining a new state-of-the-art by a large margin. These results are based on the published work of Landrieu and Boussaha 2019. Numéro de notice : C2019-050 Affiliation des auteurs : LASTIG MATIS (2012-2019) Autre URL associée : vers ArXiv Nature : Poster nature-HAL : Poster-avec-CL DOI : 10.48550/arXiv.1905.04014 Date de publication en ligne : 19/05/2019 En ligne : https://graphreason.github.io/papers/4.pdf Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=92819

Large scale textured mesh reconstruction from mobile mapping images and LIDAR scans / Mohamed Boussaha in ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol IV-2 (June 2018)  

Public [article]  inISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences > vol IV-2 (June 2018) . - pp 49 - 56 Titre : Large scale textured mesh reconstruction from mobile mapping images and LIDAR scans Type de document : Article/Communication Auteurs : Mohamed Boussaha , Auteur ; Bruno Vallet , Auteur ; Patrick Rives, Auteur Année de publication : 2018 Projets : PLaTINUM / Gouet-Brunet, Valérie Conférence : ISPRS 2018, TC II Mid-term Symposium, Towards Photogrammetry 2020 04/06/2018 07/06/2018 Riva del Garda Italie ISPRS OA Annals Article en page(s) : pp 49 - 56 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] architecture pipeline (processeur) [Termes IGN] chaîne de traitement [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] grande échelle [Termes IGN] maillage [Termes IGN] orthoimage [Termes IGN] reconstruction d'objet [Termes IGN] Rouen [Termes IGN] semis de points [Termes IGN] texture d'image Résumé : (auteur) The representation of 3D geometric and photometric information of the real world is one of the most challenging and extensively studied research topics in the photogrammetry and robotics communities. In this paper, we present a fully automatic framework for 3D high quality large scale urban texture mapping using oriented images and LiDAR scans acquired by a terrestrial Mobile Mapping System (MMS). First, the acquired points and images are sliced into temporal chunks ensuring a reasonable size and time consistency between geometry (points) and photometry (images). Then, a simple, fast and scalable 3D surface reconstruction relying on the sensor space topology is performed on each chunk after an isotropic sampling of the point cloud obtained from the raw LiDAR scans. Finally, the algorithm proposed in (Waechter et al., 2014) is adapted to texture the reconstructed surface with the images acquired simultaneously, ensuring a high quality texture with no seams and global color adjustment. We evaluate our full pipeline on a dataset of 17 km of acquisition in Rouen, France resulting in nearly 2 billion points and 40000 full HD images. We are able to reconstruct and texture the whole acquisition in less than 30 computing hours, the entire process being highly parallel as each chunk can be processed independently in a separate thread or computer. Numéro de notice : A2018-329 Affiliation des auteurs : LASTIG MATIS+Ext (2012-2019) Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.5194/isprs-annals-IV-2-49-2018 Date de publication en ligne : 28/05/2018 En ligne : http://dx.doi.org/10.5194/isprs-annals-IV-2-49-2018 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=90471 [article]

On the production of semantic and textured 3D meshes of large scale urban environments from mobile mapping images and LIDAR scans / Mohamed Boussaha (2018)    

Public Titre : On the production of semantic and textured 3D meshes of large scale urban environments from mobile mapping images and LIDAR scans Type de document : Article/Communication Auteurs : Mohamed Boussaha , Auteur ; Eduardo Fernandez-Moral, Auteur ; Bruno Vallet , Auteur ; Patrick Rives, Auteur Editeur : Saint-Mandé : Institut national de l'information géographique et forestière - IGN (2012-) Année de publication : 2018 Projets : PLaTINUM / Gouet-Brunet, Valérie Conférence : RFIAP 2018, Reconnaissance des Formes, Image, Apprentissage et Perception 01/06/2018 01/06/2018 Champs-sur-Marne France Open Access Proceedings Importance : 8 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] apprentissage profond [Termes IGN] chaîne de production [Termes IGN] cohérence des données [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] image terrestre [Termes IGN] reconstruction d'objet [Termes IGN] rééchantillonnage [Termes IGN] sémantisation [Termes IGN] semis de points [Termes IGN] tessellation [Termes IGN] texturage [Termes IGN] zone urbaine Résumé : (auteur) In this paper, we present a fully automatic framework for the reconstruction of a 3D mesh, its texture mapping and its semantization using oriented images and LiDAR scans acquired in a large urban area by a terrestrial Mobile Mapping System (MMS). First, the acquired points and images are sliced into temporal chunks ensuring a reasonable size and time consistency between geometry (points) and photometry (images). Then, a simple and fast 3D surface reconstruction relying on the sensor space topology is performed on each chunk after an isotropic sampling of the point cloud obtained from the raw LiDAR scans. The method of Waechter et al. is subsequently adapted to texture the reconstructed surface with the images acquired simultaneously, ensuring a high quality texture and global color adjustment. Finally based on the texturing scheme a per-texel semantization is conducted on the final model. Numéro de notice : C2018-024 Affiliation des auteurs : LASTIG MATIS+Ext (2012-2019) Thématique : IMAGERIE/INFORMATIQUE Nature : Poster nature-HAL : Poster-avec-CL DOI : sans En ligne : https://rfiap2018.ign.fr/programmeRFIAP Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=90490

Documents numériques

en open access On the production of semantic ... - pdf éditeur Adobe Acrobat PDF