Centre de documentation
scientifique

3D urban scene understanding by analysis of LiDAR, color and hyperspectral data / David Duque-Arias (2021)  

Public Titre : 3D urban scene understanding by analysis of LiDAR, color and hyperspectral data Type de document : Thèse/HDR Auteurs : David Duque-Arias, Auteur ; Beatriz Marcotegui, Directeur de thèse ; Jean-Emmanuel Deschaud, Directeur de thèse Editeur : Paris : Université Paris Sciences et Lettres Année de publication : 2021 Importance : 191 p. Format : 21 x 30 cm Note générale : bibliographie Thèse de Doctorat de l'Université PSL, Spécialité : Morphologie Mathématique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] analyse de scène 3D [Termes IGN] apprentissage profond [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] graphe [Termes IGN] image hyperspectrale [Termes IGN] image optique [Termes IGN] modélisation géométrique de prise de vue [Termes IGN] monde virtuel [Termes IGN] morphologie mathématique [Termes IGN] navigation autonome [Termes IGN] scène urbaine [Termes IGN] segmentation sémantique [Termes IGN] semis de points [Termes IGN] traitement d'image Index. décimale : THESE Thèses et HDR Résumé : (auteur) Point clouds have attracted the interest of the research community over the last years. Initially, they were mostly used for remote sensing applications. More recently, thanks to the development of low-cost sensors and the publication of some open source libraries, they have become very popular and have been applied to a wider range of applications. One of them is the autonomous vehicle where many efforts have been made in the last century to make it real. A very important bottleneck nowadays for the autonomous vehicle is the evaluation of the proposed algorithms. Due to the huge number of possible scenarios, it is not feasible to perform it in real life. An alternative is to simulate virtual environments where all possible configurations can be set up beforehand. However, they are not as realistic as the real world is. In this thesis, we studied the pertinence of including hyperspectral images in the creation of new virtual environments. Furthermore, we proposed new methods to improve 3D scene understanding for autonomous vehicles. During this research, we addressed the following topics. Firstly, we analyzed the spectrum in color and hyperspectral images because it provides a description about the electromagnetic radiation at different frequencies. Some applications rely only on visible colors. In other cases, such as the characterization of materials, the study of the invisible range is required. For this purpose, we proposed a simplified spectrum representation that preserves its diversity, the Graph-based color lines (GCL) model. Secondly, we studied the integration of hyperspectral images, color images and point clouds in urban scenes. The analysis was carried out by using the data acquired during this thesis in the context of the REPLICA project FUI 24. We inspected spectral signatures of different objects and reflectance histograms of the images. The obtained results demonstrate that urban scenes are challenging scenarios for current technology of hyperspectral cameras due to the presence of uncontrolled light conditions and moving actors. Thirdly, we worked with 3D point clouds from urban scenes that have proved to be a reliable type of data, much less sensitive to illumination variations than cameras. They are more accurate than color images and permit to obtain precise 3D models of urban environments. Deep learning techniques are very popular in this domain. A key element of these techniques is the loss function that drives the optimization process. We proposed two new loss functions to perform semantic segmentation tasks: power Jaccard loss and hierarchical loss. They obtained a higher performance in evaluated scenarios than classical losses not only in 3D point clouds but also in color and gray scale images. Moreover, we proposed a new dataset (Paris Carla 3D Dataset) composed of synthetic and real point clouds from urban scenes. It is expected to be used by the research community for different automatic tasks such as semantic segmentation, instance segmentation and scene completion. Finally, we conducted a detailed analysis of the influence of RGB features in semantic segmentation of urban point clouds. We compared several training scenarios and identified that color systematically improves the performance in certain classes. It demonstrates that including a more detailed description of the spectrum, when the hyperspectral cameras technology increases its sensitivity, can be useful to improve scene description of urban scenes. Note de contenu : 1- Introduction 2- Data used in this thesis 3- Graph based color lines (GCL) 4- Study of REPLICA data 5- Power Jaccard losses for semantic segmentation 6- Segmentation of point clouds 7- Conclusions and perspectives Numéro de notice : 28464 Affiliation des auteurs : non IGN Thématique : IMAGERIE/MATHEMATIQUE/URBANISME Nature : Thèse française Note de thèse : Thèse de Doctorat : Morphologie Mathématique : Paris sciences et lettres : 2021 Organisme de stage : Centre de Morphologie Mathématique DOI : sans En ligne : https://pastel.hal.science/tel-03434199/ Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99076

Contributions to graph-based hierarchical analysis for images and 3D point clouds / Leonardo Gigli (2021)  

Public Titre : Contributions to graph-based hierarchical analysis for images and 3D point clouds Type de document : Thèse/HDR Auteurs : Leonardo Gigli, Auteur ; Beatriz Marcotegui, Directeur de thèse Editeur : Paris : Université Paris Sciences et Lettres Année de publication : 2021 Importance : 177 p. Format : 21 x 30 cm Note générale : bibliographie Thèse de Doctorat de l'Université PSL, Spécialité : Morphologie Mathématique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] analyse de groupement [Termes IGN] apprentissage automatique [Termes IGN] arbre aléatoire minimum [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] extraction de traits caractéristiques [Termes IGN] extraction du réseau routier [Termes IGN] morphologie mathématique [Termes IGN] processus de hiérarchisation analytique [Termes IGN] réseau neuronal de graphes [Termes IGN] segmentation d'image [Termes IGN] semis de points [Termes IGN] texture d'image [Termes IGN] théorie des graphes Index. décimale : THESE Thèses et HDR Résumé : (auteur) Graphs are powerful mathematical structures representing a set of objects and the underlying links between pairs of objects somehow related. They are becoming increasingly popular in data science in general and in particular in image or 3D point cloud analysis. Among the wide spectra of applications, they are involved in most of the hierarchical approaches.Hierarchies are particularly important because they allow us to efficiently organize the information required and to analyze the problems at different levels of detail. In this thesis, we address the following topics. Many morphological hierarchical approaches rely on the Minimum Spanning Tree (MST). We propose an algorithm for MST computation in streaming based on a graph decomposition strategy. Thanks to this decomposition, larger images can be processed or can benefit from partial reliable information while the whole image is not completely available.Recent LiDAR developments are able to acquire large-scale and precise 3D point clouds. Many applications, such as infrastructure monitoring, urban planning, autonomous driving, precision forestry, environmental assessment, archaeological discoveries, to cite a few, are under development nowadays. We introduce a ground detection algorithm and compare it with the state of the art. The impact of reducing the point cloud density with low-cost scanners is studied, in the context of an autonomous driving application. Finally, in many hierarchical methods similarities between points are given as input. However, the metric used to compute similarities influences the quality of the final results. We exploit metric learning as a complementary tool that helps to improve the quality of hierarchies. We demonstrate the capabilities of these methods in two contexts. The first one,a texture classification of 3D surfaces. Our approach ranked second in a task organized by SHREC’20 international challenge. The second one learning the similarity function together with the optimal hierarchical clustering, in a continuous feature-based hierarchical clustering formulation. Note de contenu : Introduction 1- Graph theory and clustering 2- Point clouds 3- Ground and road detection 4- Minimum spanning tree for data streams 5- Metric learning 6- Towards Morphological Convolutions on Graphs Conclusions Numéro de notice : 28623 Affiliation des auteurs : non IGN Thématique : IMAGERIE/MATHEMATIQUE Nature : Thèse française Note de thèse : Thèse de Doctorat : Morphologie Mathématique : Paris Sciences et Lettres : 2021 Organisme de stage : Centre de Morphologie Mathématique DOI : sans En ligne : https://pastel.hal.science/tel-03512298/ Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99543

TerraMobilita/iQmulus urban point cloud analysis benchmark / Bruno Vallet in Computers and graphics, vol 49 (June 2015)  

Public [article]  inComputers and graphics > vol 49 (June 2015) . - pp 126 - 133 Titre : TerraMobilita/iQmulus urban point cloud analysis benchmark Type de document : Article/Communication Auteurs : Bruno Vallet , Auteur ; Mathieu Brédif , Auteur ; Andrès Serna, Auteur ; Beatriz Marcotegui, Auteur ; Nicolas Paparoditis , Auteur Année de publication : 2015 Projets : IQmulus / Métral, Claudine, Terra Mobilita / Métral, Claudine Article en page(s) : pp 126 - 133 Note générale : Bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Lasergrammétrie [Termes IGN] arbre de décision [Termes IGN] classification [Termes IGN] compréhension de l'image [Termes IGN] détection [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] réalité de terrain [Termes IGN] scène urbaine [Termes IGN] semis de points Résumé : (Auteur) The objective of the TerraMobilita/iQmulus 3D urban analysis benchmark is to evaluate the current state of the art in urban scene analysis from mobile laser scanning (MLS) at large scale. A very detailed semantic tree for urban scenes is proposed. We call analysis the capacity of a method to separate the points of the scene into these categories (classification), and to separate the different objects of the same type for object classes (detection). A very large ground truth is produced manually in two steps using advanced editing tools developed especially for this benchmark. Based on this ground truth, the benchmark aims at evaluating the classification, detection and segmentation quality of the submitted results. Numéro de notice : A2015--111 Affiliation des auteurs : LASTIG MATIS+Ext (2012-2019) Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.cag.2015.03.004 Date de publication en ligne : 11/03/2015 En ligne : https://doi.org/10.1016/j.cag.2015.03.004 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=90633 [article]

Detection, segmentation and classification of 3D urban objects using mathematical morphology and supervised learning / Andrès Serna in ISPRS Journal of photogrammetry and remote sensing, vol 93 (July 2014)  

Public [article]  inISPRS Journal of photogrammetry and remote sensing > vol 93 (July 2014) . - pp . 243 - 255 Titre : Detection, segmentation and classification of 3D urban objects using mathematical morphology and supervised learning Type de document : Article/Communication Auteurs : Andrès Serna, Auteur ; Beatriz Marcotegui, Auteur Année de publication : 2014 Article en page(s) : pp . 243 - 255 Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Lasergrammétrie [Termes IGN] classification automatique d'objets [Termes IGN] détection du bâti [Termes IGN] reconstruction 3D [Termes IGN] segmentation d'image [Termes IGN] semis de points Résumé : (Auteur)We propose an automatic and robust approach to detect, segment and classify urban objects from 3D point clouds. Processing is carried out using elevation images and the result is reprojected onto the 3D point cloud. First, the ground is segmented and objects are detected as discontinuities on the ground. Then, connected objects are segmented using a watershed approach. Finally, objects are classified using SVM with geometrical and contextual features. Our methodology is evaluated on databases from Ohio (USA) and Paris (France). In the former, our method detects 98% of the objects, 78% of them are correctly segmented and 82% of the well-segmented objects are correctly classified. In the latter, our method leads to an improvement of about 15% on the classification step with respect to previous works. Quantitative results prove that our method not only provides a good performance but is also faster than other works reported in the literature. Numéro de notice : A2014-337 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2014.03.015 En ligne : https://doi.org/10.1016/j.isprsjprs.2014.03.015 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=73705 [article]

Exemplaires(1)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
081-2014071	RAB	Revue	Centre de documentation	En réserve L003	Disponible

Analyse sémantique de nuages de points 3D dans le milieu urbain : sol, façades, objets urbains et accessibilité / Andres Felipe Serna Morales (2014)  

Public Titre : Analyse sémantique de nuages de points 3D dans le milieu urbain : sol, façades, objets urbains et accessibilité Titre original : Semantic analysis of 3D point clouds from urban environments : ground, facades, urban objects and accessibility Type de document : Thèse/HDR Auteurs : Andres Felipe Serna Morales, Auteur ; Fernand Meyer, Directeur de thèse ; Beatriz Marcotegui, Directeur de thèse Editeur : Paris, Fontainebleau : Ecole Nationale Supérieure des Mines de Paris ENSMP Année de publication : 2014 Importance : 175 p. Format : 21 x 30 cm Note générale : bibliographie Thèse de doctorat en Morphologie mathématique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Lasergrammétrie [Termes IGN] accessibilité [Termes IGN] chaîne de traitement [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] milieu urbain [Termes IGN] modèle 3D de l'espace urbain [Termes IGN] morphologie mathématique [Termes IGN] segmentation sémantique [Termes IGN] semis de points Index. décimale : THESE Thèses et HDR Résumé : (auteur) Les plus grandes villes au monde disposent de plans 2D très détaillés des rues et des espaces publics. Ces plans contiennent des informations relatives aux routes, trottoirs, façades et objets urbains tels que, entre autres, les lampadaires, les panneaux de signalisation, les poteaux, et les arbres. De nos jours, certaines autorités locales, agences nationales de cartographie et sociétés privées commencent à adjoindre à leurs cartes de villes des informations en 3D, des choix de navigation et d'accessibilité. En comparaison des premiers systèmes de scanning en 3D d'il y a 30 ans, les scanners laser actuels sont moins chers, plus rapides et fournissent des nuages de points 3D plus précis et plus denses. L'analyse de ces données est difficile et laborieuse, et les méthodes semi-automatiques actuelles risquent de ne pas être suffisamment précises ni robustes. C'est en ce sens que des méthodes automatiques pour l'analyse urbaine sémantique en 3D sont nécessaires. Cette thèse constitue une contribution au domaine de l'analyse sémantique de nuages de points en 3D dans le cadre d'un environnement urbain. Nos méthodes sont basées sur les images d'élévation et elles illustrent l'efficacité de la morphologie mathématique pour développer une chaîne complète de traitement en 3D, incluant 6 étapes principales : i)~filtrage et pré-traitement ; ii)~segmentation du sol et analyse d'accessibilité ; iii)~segmentation des façades ; iv)~détection d'objets ; v)~segmentation d'objets ; vi)~classification d'objets. De plus, nous avons travaillé sur l'intégration de nos résultats dans une chaîne de production à grande échelle. Ainsi, ceux-ci ont été incorporés en tant que "shapefiles" aux Systèmes d'Information Géographique et exportés en tant que nuages de points 3D pour la visualisation et la modélisation. Nos méthodes ont été testées d'un point de vue qualitatif et quantitatif sur plusieurs bases de données issues de l'état de l'art et du projet Terra Mobilita. Nos résultats ont montré que nos méthodes s'avèrent précises, rapides et surpassent les travaux décrits par la littérature sur ces mêmes bases. Dans la conclusion, nous abordons également les perspectives de développement futur. Numéro de notice : 14880 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : thèse de doctorat : morphologie mathématique : ENSMP : 2014 nature-HAL : Thèse DOI : sans En ligne : https://pastel.hal.science/tel-01142197 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=76041

Urban accessibility diagnosis from mobile laser scanning data / Andrès Serna in ISPRS Journal of photogrammetry and remote sensing, vol 84 (October 2013)  

Permalink