Centre dedocumentation
scientifique

Robust registration of aerial images and LiDAR data using spatial constraints and Gabor structural features / Bai Zhu in ISPRS Journal of photogrammetry and remote sensing, Vol 181 (November 2021)  

Public [article]  inISPRS Journal of photogrammetry and remote sensing > Vol 181 (November 2021) . - pp 129 - 147 Titre : Robust registration of aerial images and LiDAR data using spatial constraints and Gabor structural features Type de document : Article/Communication Auteurs : Bai Zhu, Auteur ; Yuanxin Ye, Auteur ; Liang Zhou, Auteur ; et al., Auteur Année de publication : 2021 Article en page(s) : pp 129 - 147 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Lasergrammétrie [Termes IGN] algorithme ICP [Termes IGN] correction géométrique [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] élément d'orientation externe [Termes IGN] enregistrement de données [Termes IGN] filtre de Gabor [Termes IGN] image aérienne [Termes IGN] recalage d'image [Termes IGN] semis de points [Termes IGN] SIFT (algorithme) [Termes IGN] structure-from-motion Résumé : (auteur) Co-registration of aerial imagery and Light Detection and Ranging (LiDAR) data is quite challenging because the different imaging mechanisms produce significant geometric and radiometric distortions between the two multimodal data sources. To address this problem, we propose a robust and effective coarse-to-fine registration method that is conducted in two stages utilizing spatial constraints and Gabor structural features. In the first stage, the LiDAR point cloud data is transformed into an intensity map that is used as the reference image. Then, coarse registration is completed by designing a partition-based Features from Accelerated Segment Test (FAST) operator to extract the uniformly distributed interest points in the aerial images and thereafter performing a local geometric correction based on the collinearity equations using the exterior orientation parameters (EoPs). The coarse registration aims to provide a reliable spatial geometry relationship for the subsequent fine registration and is designed to eliminate rotation and scale changes, as well as making only a few translation differences exist between the images. In the second stage, a novel feature descriptor called multi-Scale and multi-Directional Features of odd Gabor (SDFG) is first built to capture the multi-scale and multi-directional structural properties of the images. Then, the three-dimensional (3D) phase correlation (PC) of the SDFG descriptor is established to detect the control points (CPs) between the aerial and LiDAR intensity image in the frequency domain, where the image matching is accelerated by the 3D Fast Fourier Transform (FFT) technique. Finally, the obtained CPs not only are employed to refine the EoPs, but also are used to achieve the fine registration of the aerial images and LiDAR data. We conduct experiments to verify the robustness of the proposed registration method using three sets of aerial images and LiDAR data with different scene coverage. Experimental results show that the proposed method is robust to geometric distortions and radiometric changes. Moreover, it achieves the registration accuracy of less than 2 pixels for all cases, which outperforms the current four state-of-the-art methods, demonstrating its superior registration performance. Numéro de notice : A2021-773 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2021.09.010 Date de publication en ligne : 21/09/2021 En ligne : https://doi.org/10.1016/j.isprsjprs.2021.09.010 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98830 [article]

Correction radiométrique et recalage de nuages de points pour la reconstruction tridimensionnelle d'oeuvres du patrimoine culturel / Nathan Sanchiz (2021)  

Public Titre : Correction radiométrique et recalage de nuages de points pour la reconstruction tridimensionnelle d'oeuvres du patrimoine culturel Type de document : Thèse/HDR Auteurs : Nathan Sanchiz, Auteur ; El-Mustapha Mouaddib, Directeur de thèse Editeur : Amiens [France] : Université de Picardie Jules Verne Année de publication : 2021 Importance : 123 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse en vue d'obtenir le grade de Docteur de l'Université de Picardie Jules Verne, Mention Sciences pour l'ingénieur, Spécialité Robotique Langues : Français (fre) Descripteur : [Vedettes matières IGN] Lasergrammétrie [Termes IGN] Amiens [Termes IGN] artefact [Termes IGN] cathédrale [Termes IGN] correction radiométrique [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] état de l'art [Termes IGN] intensité lumineuse [Termes IGN] patrimoine culturel [Termes IGN] recalage d'image [Termes IGN] reconstruction 3D du bâti [Termes IGN] traitement de nuage de points Index. décimale : THESE Thèses et HDR Résumé : (Auteur) Pour la numérisation d'oeuvres du patrimoine à moyenne et grande échelle, un scanner LiDAR (Light Detection And Ranging) est généralement utilisé. Celui-ci crée une carte de distances (un nuage de points 3D) sur une sphère autour de la position de mesure. De nombreuses mesures sont faites dans la zone autour de l'objet à numériser pour capturer la scène sous différents points de vue d'acquisition. La principale difficulté de la reconstruction d'un modèle tri-dimensionnel à partir des nuages de points acquis, est l'étape dite de recalage. Celle-ci consiste à identifier les transformations géométriques permettant le regroupement des nuages dans un même repère. Pour ce faire, il est nécessaire d'identifier des correspondances entre les zones communes des nuages. Etape difficile qui concentre les efforts de la communauté de recherche. Nous abordons ce problème en utilisant une information secondairement acquise par le LiDAR, l'intensité, comme élement discriminant. Cette information est, par sa nature, insensible aux illuminations externes et liée à la réflectance des matériaux scannés. Cependant, l'intensité est peu utilisable en pratique. Sa dépendance aux paramètres géométriques de mesure et aux traitements internes de l'appareil, la rend fortement liée au point de vue de la mesure. Dans ce travail de recherche, nous proposons différentes méthodes de correction et de calibration radiométriques qui permettent, sous certaines conditions, de rendre l'intensité indépendante du point de vue et de la convertir sur une échelle linéaire. Dans un deuxième temps, nous étudions l'utilisation de cette information dans un processus de recalage. Les résultats montrent que l'intensité corrigée ou calibrée améliore l'identification de correspondances d'un nuage à l'autre. Note de contenu : 1. Introduction 1.1 Avant-propos 1.2 Contexte 1.3 Matériel et données 1.4 Campagnes de numérisation 1.5 Structure du document 2. Étude de l'intensité issue du LiDAR 2.1 Introduction 2.2 Les phénomènes en jeu 2.3 Bases théoriques 2.4 Conclusion 3. Correction radiométrique 3.1 État de l'art et approches proposées 3.2 Résultats expérimentaux 3.3 Linéarisation de l'intensité corrigée 3.4 Conclusion 4. Recalage de nuages de points basé intensité 4.1 Introduction 4.2 Vue d'ensemble 4.3 Recalage basé intensité 4.4 Résultats expérimentaux 4.5 Conclusion 5. Conclusions et perspectives 5.1 Récapitulatif 5.2 Contributions 5.3 Discussion & perspectives de recherche Numéro de notice : 26561 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Sciences pour l'ingénieur, Robotique : Picardie : 2021 Organisme de stage : Agence Nationale de la Recherche ANR nature-HAL : Thèse DOI : sans Date de publication en ligne : 31/07/2021 En ligne : https://hal.archives-ouvertes.fr/tel-03307700/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98250

Image matching from handcrafted to deep features: A survey / Jiayi Ma in International journal of computer vision, vol 29 n° 1 (January 2021)  

Public [article]  inInternational journal of computer vision > vol 29 n° 1 (January 2021) . - pp 23 - 79 Titre : Image matching from handcrafted to deep features: A survey Type de document : Article/Communication Auteurs : Jiayi Ma, Auteur ; Xingyu Jiang, Auteur ; Aoxiang Fan, Auteur ; et al., Auteur Année de publication : 2021 Article en page(s) : pp 23 - 79 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] appariement d'images [Termes IGN] appariement de graphes [Termes IGN] apprentissage profond [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] extraction de traits caractéristiques [Termes IGN] lissage de courbe [Termes IGN] recalage d'image Résumé : (auteur) As a fundamental and critical task in various visual applications, image matching can identify then correspond the same or similar structure/content from two or more images. Over the past decades, growing amount and diversity of methods have been proposed for image matching, particularly with the development of deep learning techniques over the recent years. However, it may leave several open questions about which method would be a suitable choice for specific applications with respect to different scenarios and task requirements and how to design better image matching methods with superior performance in accuracy, robustness and efficiency. This encourages us to conduct a comprehensive and systematic review and analysis for those classical and latest techniques. Following the feature-based image matching pipeline, we first introduce feature detection, description, and matching techniques from handcrafted methods to trainable ones and provide an analysis of the development of these methods in theory and practice. Secondly, we briefly introduce several typical image matching-based applications for a comprehensive understanding of the significance of image matching. In addition, we also provide a comprehensive and objective comparison of these classical and latest techniques through extensive experiments on representative datasets. Finally, we conclude with the current status of image matching technologies and deliver insightful discussions and prospects for future works. This survey can serve as a reference for (but not limited to) researchers and engineers in image matching and related fields. Numéro de notice : A2021-131 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11263-020-01359-2 Date de publication en ligne : 04/08/2020 En ligne : https://doi.org/https://doi.org/10.1007/s11263-020-01359-2 Format de la ressource électronique : url article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=96967 [article]

Traitement d'images multispectrales et spatialisation des données pour la caractérisation de la matière organique des phases solides naturelles / Kevin Jacq (2019)  

Public Titre : Traitement d'images multispectrales et spatialisation des données pour la caractérisation de la matière organique des phases solides naturelles Type de document : Thèse/HDR Auteurs : Kevin Jacq, Auteur ; Didier Coquin, Directeur de thèse ; Bernard Fanget, Directeur de thèse Editeur : Grenoble [France] : Université Grenoble Alpes Année de publication : 2019 Importance : 291 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse pour obtenir le grade de docteur de la Communauté Universitaire Grenoble Alpes, Spécialité Doctorat Chimie Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] analyse spectrale [Termes IGN] chimie organique [Termes IGN] fusion d'images [Termes IGN] fusion de données [Termes IGN] image hyperspectrale [Termes IGN] image Landsat-SWIR [Termes IGN] matière organique [Termes IGN] recalage d'image [Termes IGN] sédimentologie Index. décimale : THESE Thèses et HDR Résumé : (Auteur) L'évolution de l'environnement et le climat sont, actuellement, au centre de toutes les attentions. Les impacts de l'activité des sociétés actuelles et passées sur l'environnement sont notamment questionnés pour mieux anticiper les implications de nos activités sur le futur. Mieux décrire les environnements passés et leurs évolutions sont possibles grâce à l'étude de nombreux enregistreurs naturels (sédiments, spéléothèmes, cernes, coraux). Grâce à eux, il est possible de caractériser des évolutions bio-physico-chimiques à différentes résolutions temporelles et pour différentes périodes. La haute résolution entendue ici comme la résolution su sante pour l'étude de l'environnement en lien avec l'évolution des sociétés constitue le principal verrou de l'étude de ces archives naturelles notamment en raison de la capacité analytique des appareils qui ne peuvent que rarement voir des structures fines inframillimétriques. Ce travail est bâti autour de l'hypothèse que l'utilisation de caméras hyperspectrales (VNIR, SWIR, LIF) couplée à des méthodes statistiques pertinentes doivent permettre d'accéder aux informations spectrales et donc bio-physico-chimiques contenues dans ces archives naturelles à une résolution spatiale de quelques dizaines de micromètres et, donc, de proposer des méthodes pour atteindre la haute résolution temporelle (saisonnière). De plus, a n d'avoir des estimations ables, plusieurs capteurs d'imageries et de spectroscopies linéaires (XRF, TRES) sont utilisés avec leurs propres caractéristiques (résolutions, gammes spectrales, interactions atomiques/moléculaires). Ces méthodes analytiques sont utilisées pour la caractérisation de la surface des carottes sédimentaires. Ces analyses spectrales micrométriques sont mises en correspondance avec des analyses géochimiques millimétriques usuelles. Optimiser la complémentarité de toutes ces données, implique de développer des méthodes permettant de dépasser la difficulté inhérente au couplage de données considérées par essence dissimilaire (résolutions, décalages spatiaux, non-recouvrement spectral). Ainsi, quatre méthodes ont été développées. La première consiste à associer les méthodes hyperspectrales et usuelles pour la création de modèles prédictifs quantitatifs. La seconde permet le recalage spatial des différentes images hyperspectrales à la plus basse des résolutions. La troisième s'intéresse à la fusion de ces dernières à la plus haute des résolutions. Enfin, la dernière s'intéresse aux dépôts présents dans les sédiments (lamines, crues, tephras) pour ajouter une dimension temporelle à nos études. Grâce à l'ensemble de ces informations et méthodes, des modèles prédictifs multivariés ont été estimés pour l'étude de la matière organique, des paramètres texturaux et de la distribution granulométrique. Les dépôts laminés et instantanés au sein des échantillons ont été caractérisés. Ceci a permis d'estimer des chroniques de crues, ainsi que des variations biophysico-chimiques à l'échelle de la saison. L'imagerie hyperspectrale couplée à des méthodes d'analyse des données sont donc des outils performants pour l'étude des archives naturelles à des résolutions temporelles fines. L'approfondissement des approches proposées dans ces travaux permettra d'étudier de multiples archives pour caractériser des évolutions à l'échelle d'un ou de plusieurs bassin(s) versant(s). Note de contenu : Introduction et contexte général 1. État de l'art et méthodologies proposées 1.1 La spectroscopie et l'imagerie, des outils performants pour l'analyse des échantillons naturels 1.2 Objectifs des travaux et méthodologies proposées 2. L'analyse spectrale mono-capteur des carottes sédimentaires 2.1 Les biais et incertitudes de l'analyse hyperspectrale 2.2 Les différences d'échelle spatiale 2.3 La transférabilité entre échantillons 3. Le recalage des images pour l'analyse spectrale multi-capteurs des carottes sédimentaires 3.1 La méthode de recalage des données pour une fusion "basse résolution" 3.2 La fusion "basse résolution" pour l'analyse des archives sédimentaires 4. La combinaison ou fusion des capteurs à la plus haute résolution 4.1 Les méthodes de fusion utilisées en télédétection 4.2 Des perspectives pour une fusion à haute résolution de capteurs de laboratoire 5. La dimension spatiale, une dimension informative pour l'analyse spatiospectrale des archives naturelles 5.1 La détection d'événements instantanés par l'utilisation de méthodes d'apprentissage automatique 5.2 La détection des dépôts laminés pour l'ajout d'une dimension temporelle Conclusions générales et perspectives - L'imagerie hyperspectrale, un outil novateur pour l'analyse des archives environnementales - Des perspectives de développements des technologies et méthodes pour l'analyse à haute résolution Numéro de notice : 26524 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Chimie : Grenoble Alpes : 2019 Organisme de stage : Environnements, Dynamiques et Territoires de la Montagne EDYTEM et Laboratoire d'Informatique, Systèmes, Traitement de l'Information et de la Connaissance LISTIC nature-HAL : Thèse Date de publication en ligne : 07/04/2021 En ligne : https://tel.archives-ouvertes.fr/tel-03191841/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=97495

Localisation par l'image en milieu urbain : application à la réalité augmentée / Antoine Fond (2018)  

Public Titre : Localisation par l'image en milieu urbain : application à la réalité augmentée Type de document : Thèse/HDR Auteurs : Antoine Fond, Auteur ; Marie-Odile Berger, Directeur de thèse Editeur : Nancy, Metz : Université de Lorraine Année de publication : 2018 Importance : 138 p. Format : 21 x 30 cm Note générale : bibliographie Thèse présentée pour l'obtention du doctorat de l'Université de Lorraine, Ecole doctorale IAEM Lorraine, mention Informatique, 2018 Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes IGN] appariement de formes [Termes IGN] apprentissage profond [Termes IGN] bati [Termes IGN] détection du bâti [Termes IGN] distance de Manhattan [Termes IGN] estimation de pose [Termes IGN] façade [Termes IGN] orthorectification [Termes IGN] plus proche voisin (algorithme) [Termes IGN] point de fuite [Termes IGN] réalité augmentée [Termes IGN] recalage d'image [Termes IGN] recalage de surfaces [Termes IGN] réseau neuronal convolutif [Termes IGN] segmentation d'image [Termes IGN] segmentation sémantique [Termes IGN] vision par ordinateur [Termes IGN] zone urbaine Index. décimale : THESE Thèses et HDR Résumé : (auteur) Dans cette thèse, on aborde le problème de la localisation en milieux urbains. Inférer un positionnement précis en ville est important dans nombre d’applications comme la réalité augmentée ou la robotique mobile. Or les systèmes basés sur des capteurs inertiels (IMU) sont sujets à des dérives importantes et les données GPS peuvent souffrir d’un effet de vallée qui limite leur précision. Une solution naturelle est de s’appuyer le calcul de pose de caméra en vision par ordinateur. On remarque que les bâtiments sont les repères visuels principaux de l’humain, mais aussi des objets d’intérêt pour les applications de réalité augmentée. On cherche donc à partir d’une seule image à calculer la pose de la caméra par rapport à une base de données de bâtiments références connus. On décompose le problème en deux parties : trouver les références visibles dans l’image courante (reconnaissance de lieux) et calculer la pose de la caméra par rapport à eux. Les approches classiques de ces deux sous-problèmes sont mises en difficultés dans les environnements urbains à cause des forts effets perspectives, des répétitions fréquentes et de la similarité visuelle entre façades. Si des approches spécifiques à ces environnements ont été développés qui exploitent la grande régularité structurelle de tels milieux, elles souffrent encore d’un certain nombre de limitations autant pour la détection et la reconnaissance de façades que pour le calcul de pose par recalage de modèle. La méthode originale développée dans cette thèse s’inscrit dans ces approches spécifiques et vise à dépasser ces limitations en terme d’efficacité et de robustesse aux occultations, aux changements de points de vue et d’illumination. Pour cela, l’idée principale est de profiter des progrès récents de l’apprentissage profond par réseaux de neurones convolutionnels pour extraire de l’information de haut-niveau sur laquelle on peut baser des modèles géométriques. Notre approche est donc mixte Bottom-Up/Top-Down et se décompose en trois étapes clés. Nous proposons tout d’abord une méthode d’estimation de la rotation de la pose de caméra. Les 3 points de fuite principaux des images en milieux urbains, dits points de fuite de Manhattan sont détectés grâce à un réseau de neurones convolutionnels (CNN) qui fait à la fois une estimation de ces points de fuite, mais aussi une segmentation de l’image relativement à eux. Une second étape de raffinement utilise ces informations et les segments de l’image dans une formulation bayésienne pour estimer efficacement et plus précisément ces points. L’estimation de la rotation de la caméra permet de rectifier les images et ainsi s’affranchir des effets de perspectives pour la recherche de la translation. Dans une seconde contribution, nous visons ainsi à détecter les façades dans ces images rectifiées et à les reconnaître parmi une base de bâtiments connus afin d’estimer une translation grossière. Dans un souci d’efficacité, on a proposé une série d’indices basés sur des caractéristiques spécifiques aux façades (répétitions, symétrie, sémantique) qui permettent de sélectionner rapidement des candidats façades potentiels. Ensuite, ceux-ci sont classifiés en façade ou non selon un nouveau descripteur CNN contextuel. Enfin la mise en correspondance des façades détectées avec les références est opérée par un recherche au plus proche voisin relativement à une métrique apprise sur ces descripteurs [...] Note de contenu : Introduction 1 - Etat de l'art 2 - Estimation des points de fuite de Manhattan 3 - Proposition de façades pour la détection et la reconnaissance de bâtiments 4 - Segmentation et recalage de façade conjoint Conclusion Numéro de notice : 21592 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de doctorat : Informatique : Université de Lorraine : 2018 Organisme de stage : IFSTTAR nature-HAL : Thèse DOI : sans En ligne : http://www.theses.fr/2018LORR0028 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=90630

Alignement de données 2D, 3D et applications en réalité augmentée / Youssef El Rhabi (2017)  

Permalink

Localisation basée amers visuels : détection et mise à jour d’amers avec gestion des incertitudes / Xiaozhi Qu (2017)  

Permalink

Télédétection pour l'observation des surfaces continentales, Ch. 2. Analyse de scènes urbaines avec un véhicule de cartographie mobile / Bruno Vallet (2017)

Permalink

Vers l'automatisation de la production de cartes / Guillaume Touya (2017)  

Permalink

A methodology for near real-time change detection between Unmanned Aerial Vehicle and wide area satellite images / Anastasios L. Fytsilis in ISPRS Journal of photogrammetry and remote sensing, vol 119 (September 2016)  

Permalink

Registration of aerial imagery and lidar data in desert areas using sand ridges / Na Li in Photogrammetric record, vol 30 n° 151 (September - November 2015)  

Permalink

Comparaison de méthodes de recalage d'images pour le géoréférencement de clichés anciens / Leïla Bakkouch in XYZ, n° 142 (mars - mai 2015)

Permalink

Registration and visualisation of deformation maps from terrestrial radar interferometry using photogrammetry and structure from motion / Rafael Caduff in Photogrammetric record, vol 29 n° 146 (June - August 2014)  

Permalink

Colorisation de nuages de points 3D par recalage dense d’images numériques / Nathalie Crombez in Traitement du signal, vol 31 n° 1-2 (2014-1-2)

Permalink

Imagerie de télédétection / Florence Tupin (2014)

Permalink