Centre de documentation
scientifique

PSSNet: Planarity-sensible Semantic Segmentation of large-scale urban meshes / Weixiao Gao in ISPRS Journal of photogrammetry and remote sensing, vol 196 (February 2023)  

Public [article]  inISPRS Journal of photogrammetry and remote sensing > vol 196 (February 2023) . - pp 32 - 44 Titre : PSSNet: Planarity-sensible Semantic Segmentation of large-scale urban meshes Type de document : Article/Communication Auteurs : Weixiao Gao, Auteur ; Liangliang Nan, Auteur ; Bas Boom, Auteur ; Hugo Ledoux, Auteur Année de publication : 2023 Article en page(s) : pp 32 - 44 Note générale : Bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes IGN] analyse de scène 3D [Termes IGN] champ aléatoire de Markov [Termes IGN] classification dirigée [Termes IGN] contour [Termes IGN] maillage [Termes IGN] Perceptron multicouche [Termes IGN] réseau neuronal de graphes [Termes IGN] scène urbaine [Termes IGN] segmentation sémantique Résumé : (Auteur) We introduce a novel deep learning-based framework to interpret 3D urban scenes represented as textured meshes. Based on the observation that object boundaries typically align with the boundaries of planar regions, our framework achieves semantic segmentation in two steps: planarity-sensible over-segmentation followed by semantic classification. The over-segmentation step generates an initial set of mesh segments that capture the planar and non-planar regions of urban scenes. In the subsequent classification step, we construct a graph that encodes the geometric and photometric features of the segments in its nodes and the multi-scale contextual features in its edges. The final semantic segmentation is obtained by classifying the segments using a graph convolutional network. Experiments and comparisons on two semantic urban mesh benchmarks demonstrate that our approach outperforms the state-of-the-art methods in terms of boundary quality, mean IoU (intersection over union), and generalization ability. We also introduce several new metrics for evaluating mesh over-segmentation methods dedicated to semantic segmentation, and our proposed over-segmentation approach outperforms state-of-the-art methods on all metrics. Our source code is available at https://github.com/WeixiaoGao/PSSNet. Numéro de notice : A2023-064 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2022.12.020 Date de publication en ligne : 02/01/2023 En ligne : https://doi.org/10.1016/j.isprsjprs.2022.12.020 Format de la ressource électronique : URL Article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=102399 [article]

Potential and limitation of PlanetScope images for 2-D and 3-D Earth surface monitoring with example of applications to glaciers and earthquakes / Saif Aati in IEEE Transactions on geoscience and remote sensing, vol 60 n° 10 (October 2022)  

Public [article]  inIEEE Transactions on geoscience and remote sensing > vol 60 n° 10 (October 2022) . - n° 4512919 Titre : Potential and limitation of PlanetScope images for 2-D and 3-D Earth surface monitoring with example of applications to glaciers and earthquakes Type de document : Article/Communication Auteurs : Saif Aati , Auteur ; Jean-Philippe Avouac, Auteur ; Ewelina Rupnik , Auteur ; Marc Pierrot-Deseilligny , Auteur Année de publication : 2022 Article en page(s) : n° 4512919 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] analyse de scène 3D [Termes IGN] artefact [Termes IGN] image PlanetScope [Termes IGN] modèle de déformation des images [Termes IGN] modèle par fonctions rationnelles [Termes IGN] séisme [Termes IGN] surveillance géologique Résumé : (auteur) The Planet PlanetScope (PS) CubeSat constellation acquires high-resolution optical images that cover the entire surface of the Earth daily, enabling an unprecedented capability to monitor the Earth’s surface changes. However, our analysis reveals artifacts of the geometry of PS images related to the imaging system and processing issues, limiting the usability of these data for various Earth science applications, including the monitoring of glaciers, dune motion, or the measurement of ground deformation due to earthquakes and landslides. Here, we analyze these artifacts and propose ways to remediate them. We use two examples to evaluate the data and assess the performance of our proposed approaches. The first is the ground deformation caused by the 2019 Ridgecrest earthquake sequence, California, USA, and the second is the 2018–2019 surge of the Shisper glacier in the Karakorum. Using an image correlation technique, we show that PS images exhibit several geometric artifacts, such as scene-to-scene misregistration, inconsistence geolocation accuracy between spectral bands, and topographic artifacts. Altogether, these artifacts make a quantitative analysis of ground displacement difficult and inaccurate. We present a method that remediates most of these geometric artifacts. In addition, we propose a framework for selecting the most appropriate images and a procedure for refining the rational function model (RFM) of unrectified images to monitor surface displacements and topography changes in 3-D. These tools should enhance the use of PS images for Earth science applications. Numéro de notice : A2022-951 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1109/TGRS.2022.3215821 Date de publication en ligne : 19/10/2022 En ligne : https://doi.org/10.1109/TGRS.2022.3215821 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=103278 [article]

3D urban scene understanding by analysis of LiDAR, color and hyperspectral data / David Duque-Arias (2021)  

Public Titre : 3D urban scene understanding by analysis of LiDAR, color and hyperspectral data Type de document : Thèse/HDR Auteurs : David Duque-Arias, Auteur ; Beatriz Marcotegui, Directeur de thèse ; Jean-Emmanuel Deschaud, Directeur de thèse Editeur : Paris : Université Paris Sciences et Lettres Année de publication : 2021 Importance : 191 p. Format : 21 x 30 cm Note générale : bibliographie Thèse de Doctorat de l'Université PSL, Spécialité : Morphologie Mathématique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] analyse de scène 3D [Termes IGN] apprentissage profond [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] graphe [Termes IGN] image hyperspectrale [Termes IGN] image optique [Termes IGN] modélisation géométrique de prise de vue [Termes IGN] monde virtuel [Termes IGN] morphologie mathématique [Termes IGN] navigation autonome [Termes IGN] scène urbaine [Termes IGN] segmentation sémantique [Termes IGN] semis de points [Termes IGN] traitement d'image Index. décimale : THESE Thèses et HDR Résumé : (auteur) Point clouds have attracted the interest of the research community over the last years. Initially, they were mostly used for remote sensing applications. More recently, thanks to the development of low-cost sensors and the publication of some open source libraries, they have become very popular and have been applied to a wider range of applications. One of them is the autonomous vehicle where many efforts have been made in the last century to make it real. A very important bottleneck nowadays for the autonomous vehicle is the evaluation of the proposed algorithms. Due to the huge number of possible scenarios, it is not feasible to perform it in real life. An alternative is to simulate virtual environments where all possible configurations can be set up beforehand. However, they are not as realistic as the real world is. In this thesis, we studied the pertinence of including hyperspectral images in the creation of new virtual environments. Furthermore, we proposed new methods to improve 3D scene understanding for autonomous vehicles. During this research, we addressed the following topics. Firstly, we analyzed the spectrum in color and hyperspectral images because it provides a description about the electromagnetic radiation at different frequencies. Some applications rely only on visible colors. In other cases, such as the characterization of materials, the study of the invisible range is required. For this purpose, we proposed a simplified spectrum representation that preserves its diversity, the Graph-based color lines (GCL) model. Secondly, we studied the integration of hyperspectral images, color images and point clouds in urban scenes. The analysis was carried out by using the data acquired during this thesis in the context of the REPLICA project FUI 24. We inspected spectral signatures of different objects and reflectance histograms of the images. The obtained results demonstrate that urban scenes are challenging scenarios for current technology of hyperspectral cameras due to the presence of uncontrolled light conditions and moving actors. Thirdly, we worked with 3D point clouds from urban scenes that have proved to be a reliable type of data, much less sensitive to illumination variations than cameras. They are more accurate than color images and permit to obtain precise 3D models of urban environments. Deep learning techniques are very popular in this domain. A key element of these techniques is the loss function that drives the optimization process. We proposed two new loss functions to perform semantic segmentation tasks: power Jaccard loss and hierarchical loss. They obtained a higher performance in evaluated scenarios than classical losses not only in 3D point clouds but also in color and gray scale images. Moreover, we proposed a new dataset (Paris Carla 3D Dataset) composed of synthetic and real point clouds from urban scenes. It is expected to be used by the research community for different automatic tasks such as semantic segmentation, instance segmentation and scene completion. Finally, we conducted a detailed analysis of the influence of RGB features in semantic segmentation of urban point clouds. We compared several training scenarios and identified that color systematically improves the performance in certain classes. It demonstrates that including a more detailed description of the spectrum, when the hyperspectral cameras technology increases its sensitivity, can be useful to improve scene description of urban scenes. Note de contenu : 1- Introduction 2- Data used in this thesis 3- Graph based color lines (GCL) 4- Study of REPLICA data 5- Power Jaccard losses for semantic segmentation 6- Segmentation of point clouds 7- Conclusions and perspectives Numéro de notice : 28464 Affiliation des auteurs : non IGN Thématique : IMAGERIE/MATHEMATIQUE/URBANISME Nature : Thèse française Note de thèse : Thèse de Doctorat : Morphologie Mathématique : Paris sciences et lettres : 2021 Organisme de stage : Centre de Morphologie Mathématique DOI : sans En ligne : https://pastel.hal.science/tel-03434199/ Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99076

Perception de scène par un système multi-capteurs, application à la navigation dans des environnements d'intérieur structuré / Marwa Chakroun (2021)  

Public Titre : Perception de scène par un système multi-capteurs, application à la navigation dans des environnements d'intérieur structuré Type de document : Thèse/HDR Auteurs : Marwa Chakroun, Auteur ; Basel Solaiman, Directeur de thèse Editeur : Institut Mines-Télécom Atlantique IMT Atlantique Année de publication : 2021 Importance : 194 p. Format : 21 x 30 cm Note générale : bibliographie Thèse de Doctorat de l'Ecole Nationale Supérieure des Mines-Telecom Atlantique Bretagne Pays de la Loire, Spécialité : Signal, Image, Vision Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] analyse de scène 3D [Termes IGN] analyse discriminante [Termes IGN] attribut [Termes IGN] classification par Perceptron multicouche [Termes IGN] classification par séparateurs à vaste marge [Termes IGN] détection d'objet [Termes IGN] données multicapteurs [Termes IGN] données multisources [Termes IGN] image panoramique [Termes IGN] personne non-voyante [Termes IGN] recalage de données localisées [Termes IGN] saillance [Termes IGN] scène intérieure [Termes IGN] théorie des possibilités Index. décimale : THESE Thèses et HDR Résumé : (auteur) Cette thèse s’inscrit dans le cadre de la navigation perceptuelle. Notre objectif est d’étudier et de concevoir un système d’interprétation d’une scène d’environnement intérieur, observée par un système multi-capteurs réunissant un capteur ultrason et une caméra RVB. Le système proposé peut être employé pour équiper un dispositif intelligent d’assistance aux non voyants, ou encore un robot opérant dans des espaces meublés. Dans un système d’interprétation de scène, les acquisitions faites par les capteurs, présentent des restrictions du monde réel et se trouvent affectées d’imperfections, qu’il convient de prendre en compte au lieu de les ignorer. Leur prise en compte dans notre système d’interprétation a été effectuée par l’emploi de la théorie des possibilités lors de la modélisation des données acquises. Les modèles adoptés sont des distributions de possibilités. L’analyse et l’interprétation de la scène acquise s’est en suite basée sur ces connaissances possibilistes. Le système d’aide à la navigation proposé dans ce travail, présente une description de la scène environnante selon un modèle simpliste, partageant le champ intercepté par les capteurs en trois zones majeures, à savoir : face, gauche et droite. Il fournit à l’utilisateur des informations concernant la distance qui le sépare des objets détectés, la rigidité matérielle de ces objets, ainsi que leur positionnement dans la scène (objet à gauche, objet en face, objet à droite). Les performances du système d’interprétation proposé sont évaluées en utilisant le prototype "NA_System", développé par l’équipe "Cybernics team" du laboratoire "CEM_Lab" de l’École nationale d’ingénieurs de Sfax (ENIS). Les résultats obtenus sont encourageants et montrent l’efficacité de la théorie des possibilités comme cadre de représentation de données acquises de différents capteurs. La stratégie d’interprétation de scène proposée s’est montrée efficace pour intégrer les informations issues de multiples sources de connaissances. Dans la chaine de traitement de données adoptées pour l’analyse et l’interprétation de la scène, de nouvelles approches ont été proposées, notamment pour la sélection d’attributs, la détection d’objets saillants, la classification, la fusion et le recalage de données issues de deux sources. Note de contenu : 1- Cadre applicatif et théorique de l’étude 2- Développement d’outils de traitement possibilistes des données acquises pour la conception du système de navigation 3- Interprétation de scène basée sur un capteur ultrason 4- Interprétation de scène basée sur une caméra monoculaire RVB 5-Perception de scène par un système multi-capteurs, application à l’aide de navigation des déficitaires visuels 6- Conclusions et perspectives Numéro de notice : 28687 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Signal, Image, Vision : Ecole nationale supérieure Mines-Télécom Atlantique : 2021 Organisme de stage : ITI - CEM Lab DOI : sans En ligne : https://hal.science/tel-03519333 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100052

Analyse et reconstruction de scènes urbaines / Bruno Vallet (2016) 

Public Titre : Analyse et reconstruction de scènes urbaines : Habilitation à diriger des recherches Type de document : Thèse/HDR Auteurs : Bruno Vallet , Auteur Editeur : Champs/Marne : Université Paris-Est Année de publication : 2016 Importance : 102 p. Format : 21 x 30 cm Note générale : bibliographie Synthèse de travaux présentée en vue d’obtenir l’Habilitation à Diriger des Recherches délivrée par l’Université Paris-Est, spécialité « Sciences et Technologies de l’Information Géographique » Langues : Français (fre) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] analyse de scène 3D [Termes IGN] classification [Termes IGN] détection d'objet [Termes IGN] détection de changement [Termes IGN] données lidar [Termes IGN] image à haute résolution [Termes IGN] mise à l'échelle [Termes IGN] optimisation (mathématiques) [Termes IGN] reconstruction 3D [Termes IGN] scène urbaine [Termes IGN] segmentation sémantique [Termes IGN] Stéréopolis [Termes IGN] système de numérisation mobile [Termes IGN] texturage Index. décimale : THESE Thèses et HDR Résumé : (auteur) La population des pays développés habite maintenant majoritairement le milieu urbain et sa densification pose de nombreux problèmes. Les réponses apportées à ces problèmes doivent reposer sur une information fiable, précise, détaillée et actuelle de ces scènes urbaines. Ce besoin explique l'essor de nouvelles plateformes d'acquisition (cartographie mo- bile, drones) s'ajoutant aux plateformes plus anciennes (aérien, satellite) pour améliorer la description de ces scènes. Ainsi, le travail de ce mémoire s'intéresse à l'ensemble des méthodes qui permettent de passer des données brutes d'acquisition (image et Lidar) à partir de ces plateformes à une représentation structurée et sémantique utile de la scène, et en particulier aux quatre grandes thématiques de la remise en géométrie, de l'analyse, de la reconstruction et de la texturation dont les périmètres seront définis précisément. Les spécificités de ce travail de recherche seront ensuite détaillées : l'exploitation optimale de l'information, la fidélité, le travail en "vraie" 3D, la prise en compte de la dimension temporelle et l'exploitation des complémentarités entre données et entre méthodologies. Le manuscrit aborde enfin deux thèmes transversaux aux précédents : l'optimisation et le passage à l'échelle. Note de contenu : Partie 1 Synthèse Scientifique 1 Introduction 1.1 Analyse et reconstruction de scènes urbaines 1.2 Données d'étude 1.3 Périmètre méthodologique 1.4 Enjeux 2 Synthèse des travaux 2.1 Thématiques 2.2 Synthèse des travaux 3 Perspectives et conclusion 3.1 Remise en géométrie en ligne 3.2 Passage à l'échelle 3.3 Incertitudes 3.4 Mise à jour 3.5 La 3D 3.6 La 4D 3.7 Conclusion Partie 2 Curriculum Vitae 4 Parcours scolaire et professionnel 5 Encadrement et enseignement 5.1 Stages encadrés 5.2 Thèses encadrées 5.3 Encadrements d'ingénieurs 5.4 Encadrements de post doctorants 5.5 Enseignement 5.6 Projets d'étudiants 6 Projets 6.1 TerraNumerica 6.2 ePLU 6.3 iSpace&Time 6.4 eFusion 6.5 TerraMobilita 6.6 iQmulus 6.7 Li3DS 6.8 Platinum 7 Diffusion 7.1 Animation scientifique 7.2 Open data et benchmarks 7.3 Transfert 7.4 Expérimentations 7.5 Conclusion 8 Liste des Publications 8.1 Chapitres de livres 8.2 Articles de revues avec comité de lecture 8.3 Articles de conférences avec comité de lecture 8.4 Articles de conférences sans comité de lecture Numéro de notice : 15984 Affiliation des auteurs : LASTIG MATIS (2012-2019) Thématique : IMAGERIE Nature : HDR Note de thèse : HDR : Sciences et Technologies de l’Information Géographique : UPE : 2016 Organisme de stage : MATIS (IGN) nature-HAL : HDR DOI : sans Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=83746

Exemplaires(2)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
15984-01	THESE	Livre	Centre de documentation	Thèses	Disponible
15984-02	THESE	Livre	Centre de documentation	Thèses	Disponible

Documents numériques

peut être téléchargé Analyse et reconstruction de scènes urbaines - HDR - pdf auteur Adobe Acrobat PDF

Détection et reconnaissance de la signalisation verticale par analyse d'images, ch 4. Détection et reconnaissance par ajustement de modèles géométriques et radiométriques / Bahman Soheilian (2010)    

Permalink