Centre dedocumentation
scientifique

Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot in ISPRS Journal of photogrammetry and remote sensing, vol 187 (May 2022)  

Public [article]  inISPRS Journal of photogrammetry and remote sensing > vol 187 (May 2022) . - pp 294 - 305 Titre : Multi-modal temporal attention models for crop mapping from satellite time series Type de document : Article/Communication Auteurs : Vivien Sainte Fare Garnot , Auteur ; Loïc Landrieu , Auteur ; Nesrine Chehata , Auteur Année de publication : 2022 Projets : 3-projet - voir note / Article en page(s) : pp 294 - 305 Note générale : bibliographie This work was partly supported by ASP, the French Payment Agency. Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image mixte [Termes IGN] attention (apprentissage automatique) [Termes IGN] bande C [Termes IGN] carte agricole [Termes IGN] fusion d'images [Termes IGN] image Sentinel-MSI [Termes IGN] image Sentinel-SAR [Termes IGN] parcelle agricole [Termes IGN] Pastis [Termes IGN] segmentation d'image [Termes IGN] série temporelle [Termes IGN] surface cultivée Résumé : (auteur) Optical and radar satellite time series are synergetic: optical images contain rich spectral information, while C-band radar captures useful geometrical information and is immune to cloud cover. Motivated by the recent success of temporal attention-based methods across multiple crop mapping tasks, we propose to investigate how these models can be adapted to operate on several modalities. We implement and evaluate multiple fusion schemes, including a novel approach and simple adjustments to the training procedure, significantly improving performance and efficiency with little added complexity. We show that most fusion schemes have advantages and drawbacks, making them relevant for specific settings. We then evaluate the benefit of multimodality across several tasks: parcel classification, pixel-based segmentation, and panoptic parcel segmentation. We show that by leveraging both optical and radar time series, multimodal temporal attention-based models can outmatch single-modality models in terms of performance and resilience to cloud cover. To conduct these experiments, we augment the PASTIS dataset (Garnot and Landrieu, 2021a) with spatially aligned radar image time series. The resulting dataset, PASTIS-R, constitutes the first large-scale, multimodal, and open-access satellite time series dataset with semantic and instance annotations. (Dataset available at: https://zenodo.org/record/5735646) Numéro de notice : A2022-157 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Autre URL associée : vers ArXiv Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2022.03.012 Date de publication en ligne : 24/03/2022 En ligne : https://doi.org/10.1016/j.isprsjprs.2022.03.012 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100365 [article]

Voir aussi

• Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot (2021)  

Réservation

Réserver ce document

Exemplaires (3)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
081-2022051	SL	Revue	Centre de documentation	Revues en salle	Disponible
081-2022053	DEP-RECP	Revue	LaSTIG	Dépôt en unité	Exclu du prêt
081-2022052	DEP-RECF	Revue	Nancy	Dépôt en unité	Exclu du prêt

Calibration radiométrique et géométrique d'une caméra fish-eye pour la mesure de l'hémisphère de luminance incidente / Manchun Lei (2022)

Public Titre : Calibration radiométrique et géométrique d'une caméra fish-eye pour la mesure de l'hémisphère de luminance incidente Type de document : Rapport Auteurs : Manchun Lei ; Christophe Meynard , Auteur ; Jean-Michaël Muller , Auteur ; Christian Thom , Auteur Editeur : Saint-Mandé : Institut national de l'information géographique et forestière - IGN Année de publication : 2022 Importance : 34 p. Note générale : bibliographie Langues : Français (fre) Descripteur : [Vedettes matières IGN] Acquisition d'image(s) et de donnée(s) [Termes IGN] caméra numérique [Termes IGN] étalonnage géométrique [Termes IGN] étalonnage radiométrique [Termes IGN] image hémisphérique [Termes IGN] MicMac Résumé : (auteur) [introduction] [...] Nous avons développé un imageur hémisphérique de luminance incidente basé sur une caméra légère fish-eye. La particularité de cet imageur est sa légèreté et donc sa mobilité, ce qui est pratique pour mesurer l’hémisphère de luminance incidente des différentes surfaces (sol et façade) dans l’environnement. Ce rapport a pour objectif de documenter la procédure de calibration radiométrique et géométrique réalisée, depuis la description théorique jusqu’aux considérations pratiques. La phase de validation est aussi présentée. Note de contenu : 1 Introduction 2 Description des instruments 3 Calibration de bruit d'obscurité 4 Calibration radiométrique 5 Calibration géométrique Numéro de notice : 17734 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE Nature : Rapport nature-HAL : Rapport DOI : sans Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100625

Landslide evolution pattern revealed by multi-temporal DSMs obtained from historical aerial images / Michele Santangelo (2022)  

Public Titre : Landslide evolution pattern revealed by multi-temporal DSMs obtained from historical aerial images Type de document : Article/Communication Auteurs : Michele Santangelo, Auteur ; Lulin Zhang , Auteur ; Ewelina Rupnik , Auteur ; Marc Pierrot-Deseilligny , Auteur ; Mauro Cardinali, Auteur Editeur : International Society for Photogrammetry and Remote Sensing ISPRS Année de publication : 2022 Collection : International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, ISSN 1682-1750 num. 43-B2 Projets : 3-projet - voir note / Conférence : ISPRS 2022, XXIV ISPRS international congress, Imaging today, foreseeing tomorrow 06/06/2022 11/06/2022 Nice France OA ISPRS Archives Importance : pp 1085 - 1092 Format : 21 x 30 cm Note générale : bibliographie The research is supported by the Civil Protection of the Apulia region, in the framework of the project ‘Integrated assessment of geo-hydrological instability phenomena in the Apulia region, interpretative models and definition of rainfall thresholds for landslide triggering’ funded by the P.O.R. Puglia 2014-2020, Asse V - Azione 5.1. [Project identification number: B82F16003840006] Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] analyse comparative [Termes IGN] chaîne de traitement [Termes IGN] effondrement de terrain [Termes IGN] image ancienne [Termes IGN] MicMac [Termes IGN] modèle numérique de surface [Termes IGN] photographie aérienne à axe vertical [Termes IGN] Pouilles (Italie) Résumé : (auteur) Numéro de notice : C2022-017 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Thématique : IMAGERIE/INFORMATIQUE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.5194/isprs-archives-XLIII-B2-2022-1085-20 Date de publication en ligne : 30/05/2022 En ligne : https://doi.org/10.5194/isprs-archives-XLIII-B2-2022-1085-20 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100843

Feature matching for multi-epoch historical aerial images: A new pipeline feature detection pipeline in open-source MicMac / Lulin Zhang in Blog de la RFPT, sans n° ([17/11/2021])  

Public [article]  inBlog de la RFPT > sans n° [17/11/2021] Titre : Feature matching for multi-epoch historical aerial images: A new pipeline feature detection pipeline in open-source MicMac Type de document : Article/Communication Auteurs : Lulin Zhang , Auteur ; Ewelina Rupnik , Auteur ; Marc Pierrot-Deseilligny , Auteur Année de publication : 2021 Note générale : Bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] appariement de formes [Termes IGN] chaîne de traitement [Termes IGN] corrélation à l'aide de traits caractéristiques [Termes IGN] détection de changement [Termes IGN] données multitemporelles [Termes IGN] image aérienne [Termes IGN] image ancienne [Termes IGN] image RVB [Termes IGN] MicMac [Termes IGN] modèle numérique de surface Résumé : (Auteur) [Introduction] ... We propose a fully automatic approach to computing robust inter-epoch feature correspondences. Our method consists of two steps: a rough co-registration by finding feature correspondences between DSMs (Digital Surface Model) derived within single epochs, and a precise feature matching on original RGB images. Our main contributions include: - Rough-to-precise matching strategy that helps to drastically reduce ambiguity. In particular, we use the depth information to roughly co-register our epochs. The 3D landscape is globally stable over time and provides sufficient correspondences through time. Once co-registered, we levarage the 3D a priori to narrow down the search space in precise matching. - Upscaling of the learning based feature matching algorithms to high resolution imagery. To do that, we introduced an image tiling scheme. In the following we present the methodology and some experiments. If you are interested in using our method, please refer to the source code of MicMac Github 4, as well as 2 jupyter tutorials 5 6. We also provide an introduction video 7, slides 8 and project website 9. The datasets used in our publication 3 will be soon published in an open-access repository. Numéro de notice : A2021-840 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE Nature : Article nature-HAL : ArtSansCL DOI : sans Date de publication en ligne : 17/11/2021 En ligne : https://rfpt-sfpt.github.io/blog/feature%20matching/historical%20images/multi-ep [...] Format de la ressource électronique : URL Article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99042 [article]

Feature matching for multi-epoch historical aerial images / Lulin Zhang in ISPRS Journal of photogrammetry and remote sensing, Vol 182 (December 2021)    

Public [article]  inISPRS Journal of photogrammetry and remote sensing > Vol 182 (December 2021) . - pp 176 - 189 Titre : Feature matching for multi-epoch historical aerial images Type de document : Article/Communication Auteurs : Lulin Zhang , Auteur ; Ewelina Rupnik , Auteur ; Marc Pierrot-Deseilligny , Auteur Année de publication : 2021 Article en page(s) : pp 176 - 189 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Photogrammétrie numérique [Termes IGN] appariement de données localisées [Termes IGN] chaîne de traitement [Termes IGN] géoréférencement indirect [Termes IGN] image ancienne [Termes IGN] image multitemporelle [Termes IGN] image RVB [Termes IGN] méthode robuste [Termes IGN] MicMac [Termes IGN] modèle numérique de surface [Termes IGN] orientation relative [Termes IGN] point d'appui [Termes IGN] transformation de Helmert Résumé : (auteur) Historical imagery is characterized by high spatial resolution and stereoscopic acquisitions, providing a valuable resource for recovering 3D land-cover information. Accurate geo-referencing of diachronic historical images by means of self-calibration remains a bottleneck because of the difficulty to find sufficient amount of feature correspondences under evolving landscapes. In this research, we present a fully automatic approach to detecting feature correspondences between historical images taken at different times (i.e., inter-epoch), without auxiliary data required. Based on relative orientations computed within the same epoch (i.e., intra-epoch), we obtain DSMs (Digital Surface Model) and incorporate them in a rough-to-precise matching. The method consists of: (1) an inter-epoch DSMs matching to roughly co-register the orientations and DSMs (i.e, the 3D Helmert transformation), followed by (2) a precise inter-epoch feature matching using the original RGB images. The innate ambiguity of the latter is largely alleviated by narrowing down the search space using the co-registered data. With the inter-epoch feature correspondences, we refine the image orientations and quantitatively evaluate the results (1) with DoD (Difference of DSMs), (2) with ground check points, and (3) by quantifying ground displacement due to an earthquake. We demonstrate that our method: (1) can automatically georeference diachronic historical images; (2) can effectively mitigate systematic errors induced by poorly estimated camera parameters; (3) is robust to drastic scene changes. Compared to the state-of-the-art, our method improves the image georeferencing accuracy by a factor of 2. The proposed methods are implemented in MicMac, a free, open-source photogrammetric software. Numéro de notice : A2021-781 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2021.10.008 Date de publication en ligne : 01/11/2021 En ligne : https://doi.org/10.1016/j.isprsjprs.2021.10.008 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98933 [article]

Réservation

Réserver ce document

Exemplaires (3)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
081-2021121	SL	Revue	Centre de documentation	Revues en salle	Disponible
081-2021123	DEP-RECP	Revue	LaSTIG	Dépôt en unité	Exclu du prêt
081-2021122	DEP-RECF	Revue	Nancy	Dépôt en unité	Exclu du prêt

Documents numériques

peut être téléchargé Feature matching for multi-epoch historical aerial images - pdf auteur Adobe Acrobat PDF

Les journées de la Recherche IGN 2021 / Anonyme in Géomatique expert, n° 135 (septembre 2021)

Permalink

Digital camera calibration for cultural heritage documentation: the case study of a mass digitization project of religious monuments in Cyprus / Evagoras Evagorou in European journal of remote sensing, vol 54 sup 1 (2021)  

Permalink

Amélioration et adaptation du protocole de mesure d’empreintes d’abrasion par photogrammétrie / Hiba Sayeh (2021)  

Permalink

Analyse de la dynamique d’embroussaillement des pelouses calcaires par traitement d’images / Théo Mesure (2021) 

Permalink

Étude sur la réalisation d’un levé d’intérieur par photogrammétrie via un smartphone / Maxence Augé (2021)  

Permalink

Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot (2021)  

Permalink

Optimisation et développement des solutions photogrammétriques pour la réalisation des relevés de façade au sein du cabinet ELLIPSE Géomètres-Experts / Guillaume Jeannin (2021)  

Permalink

Panoptic segmentation of satellite image time series with convolutional temporal attention networks / Vivien Sainte Fare Garnot (2021)  

Permalink

Soil erosion / António Vieira (2021)  

Permalink

Supplementary material for: Panoptic segmentation of satellite image time series with convolutional temporal attention networks / Vivien Sainte Fare Garnot (2021) 

Permalink