Centre de documentation
scientifique

Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot in ISPRS Journal of photogrammetry and remote sensing, vol 187 (May 2022)  

Public [article]  inISPRS Journal of photogrammetry and remote sensing > vol 187 (May 2022) . - pp 294 - 305 Titre : Multi-modal temporal attention models for crop mapping from satellite time series Type de document : Article/Communication Auteurs : Vivien Sainte Fare Garnot , Auteur ; Loïc Landrieu , Auteur ; Nesrine Chehata , Auteur Année de publication : 2022 Projets : 3-projet - voir note / Article en page(s) : pp 294 - 305 Note générale : bibliographie This work was partly supported by ASP, the French Payment Agency. Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image mixte [Termes IGN] attention (apprentissage automatique) [Termes IGN] bande C [Termes IGN] carte agricole [Termes IGN] fusion d'images [Termes IGN] image Sentinel-MSI [Termes IGN] image Sentinel-SAR [Termes IGN] parcelle agricole [Termes IGN] Pastis [Termes IGN] segmentation d'image [Termes IGN] série temporelle [Termes IGN] surface cultivée Résumé : (auteur) Optical and radar satellite time series are synergetic: optical images contain rich spectral information, while C-band radar captures useful geometrical information and is immune to cloud cover. Motivated by the recent success of temporal attention-based methods across multiple crop mapping tasks, we propose to investigate how these models can be adapted to operate on several modalities. We implement and evaluate multiple fusion schemes, including a novel approach and simple adjustments to the training procedure, significantly improving performance and efficiency with little added complexity. We show that most fusion schemes have advantages and drawbacks, making them relevant for specific settings. We then evaluate the benefit of multimodality across several tasks: parcel classification, pixel-based segmentation, and panoptic parcel segmentation. We show that by leveraging both optical and radar time series, multimodal temporal attention-based models can outmatch single-modality models in terms of performance and resilience to cloud cover. To conduct these experiments, we augment the PASTIS dataset (Garnot and Landrieu, 2021a) with spatially aligned radar image time series. The resulting dataset, PASTIS-R, constitutes the first large-scale, multimodal, and open-access satellite time series dataset with semantic and instance annotations. (Dataset available at: https://zenodo.org/record/5735646) Numéro de notice : A2022-157 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Autre URL associée : vers ArXiv Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2022.03.012 Date de publication en ligne : 24/03/2022 En ligne : https://doi.org/10.1016/j.isprsjprs.2022.03.012 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100365 [article]

Voir aussi

• Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot (2021)  

Exemplaires(3)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
081-2022051	SL	Revue	Centre de documentation	Revues en salle	Disponible
081-2022053	DEP-RECP	Revue	LASTIG	Dépôt en unité	Exclu du prêt
081-2022052	DEP-RECF	Revue	Nancy	Dépôt en unité	Exclu du prêt

Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot (2021)  

Public Titre : Multi-modal temporal attention models for crop mapping from satellite time series Type de document : Article/Communication Auteurs : Vivien Sainte Fare Garnot , Auteur ; Loïc Landrieu , Auteur ; Nesrine Chehata , Auteur Editeur : Saint-Mandé : Institut national de l'information géographique et forestière - IGN (2012-) Année de publication : 2021 Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image mixte [Termes IGN] base de données d'images [Termes IGN] carte agricole [Termes IGN] image optique [Termes IGN] image radar [Termes IGN] Pastis [Termes IGN] segmentation d'image Résumé : (auteur) Optical and radar satellite time series are synergetic: optical images contain rich spectral information, while C-band radar captures useful geometrical information and is immune to cloud cover. Motivated by the recent success of temporal attention-based methods across multiple crop mapping tasks, we propose to investigate how these models can be adapted to operate on several modalities. We implement and evaluate multiple fusion schemes, including a novel approach and simple adjustments to the training procedure, significantly improving performance and efficiency with little added complexity. We show that most fusion schemes have advantages and drawbacks, making them relevant for specific settings. We then evaluate the benefit of multimodality across several tasks: parcel classification, pixel-based segmentation, and panoptic parcel segmentation. We show that by leveraging both optical and radar time series, multimodal temporal attention-based models can outmatch single-modality models in terms of performance and resilience to cloud cover. To conduct these experiments, we augment the PASTIS dataset with spatially aligned radar image time series. The resulting dataset, PASTIS-R, constitutes the first large-scale, multimodal, and open-access satellite time series dataset with semantic and instance annotations. Numéro de notice : P2021-005 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE Nature : Preprint nature-HAL : Préprint DOI : sans Date de publication en ligne : 14/12/2021 En ligne : https://arxiv.org/abs/2112.07558v1 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99392

Voir aussi

• Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot in ISPRS Journal of photogrammetry and remote sensing, vol 187 (May 2022)  

Panoptic segmentation of satellite image time series with convolutional temporal attention networks / Vivien Sainte Fare Garnot (2021)  

Public Titre : Panoptic segmentation of satellite image time series with convolutional temporal attention networks Type de document : Article/Communication Auteurs : Vivien Sainte Fare Garnot , Auteur ; Loïc Landrieu , Auteur Editeur : Ithaca [New York - Etats-Unis] : ArXiv - Université Cornell Année de publication : 2021 Projets : 1-Pas de projet / Conférence : ICCV 2021, IEEE/CVF International Conference on Computer Vision 11/10/2021 17/10/2021 programme Importance : 17 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] contour [Termes IGN] Pastis [Termes IGN] Perceptron multicouche [Termes IGN] segmentation d'image [Termes IGN] segmentation sémantique [Termes IGN] série temporelle Résumé : (auteur) Unprecedented access to multi-temporal satellite imagery has opened new perspectives for a variety of Earth observation tasks. Among them, pixel-precise panoptic segmentation of agricultural parcels has major economic and environmental implications. While researchers have explored this problem for single images, we argue that the complex temporal patterns of crop phenology are better addressed with temporal sequences of images. In this paper, we present the first end-to-end, single-stage method for panoptic segmentation of Satellite Image Time Series (SITS). This module can be combined with our novel image sequence encoding network which relies on temporal self- attention to extract rich and adaptive multi-scale spatio- temporal features. We also introduce PASTIS, the first open- access SITS dataset with panoptic annotations. We demonstrate the superiority of our encoder for semantic segmentation against multiple competing architectures, and set up the first state-of-the-art of panoptic segmentation of SITS. Our implementation and PASTIS are publicly available. Numéro de notice : C2021-029 Affiliation des auteurs : UGE-LASTIG (2020- ) Autre URL associée : vers ArXiv Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.48550/arXiv.2107.07933 En ligne : https://doi.org/10.1109/ICCV48922.2021.00483 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98978

Voir aussi

• Supplementary material for: Panoptic segmentation of satellite image time series with convolutional temporal attention networks / Vivien Sainte Fare Garnot (2021) 

Supplementary material for: Panoptic segmentation of satellite image time series with convolutional temporal attention networks / Vivien Sainte Fare Garnot (2021) 

Public Titre : Supplementary material for: Panoptic segmentation of satellite image time series with convolutional temporal attention networks Type de document : Article/Communication Auteurs : Vivien Sainte Fare Garnot , Auteur ; Loïc Landrieu , Auteur Editeur : New York : Institute of Electrical and Electronics Engineers IEEE Année de publication : 2021 Conférence : ICCV 2021, IEEE/CVF International Conference on Computer Vision 11/10/2021 17/10/2021 programme Importance : pp 1 - 8 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] contour [Termes IGN] Pastis [Termes IGN] Perceptron multicouche [Termes IGN] segmentation d'image [Termes IGN] segmentation sémantique [Termes IGN] série temporelle Résumé : (auteur) In this appendix, we provide additional information on the PASTIS dataset and our exact model configuration. We also provide complementary qualitative experimental results. Numéro de notice : C2021-024 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE Nature : Communication nature-HAL : ComSansActesPubliés-Unpublished DOI : sans Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98728

Voir aussi

• Panoptic segmentation of satellite image time series with convolutional temporal attention networks / Vivien Sainte Fare Garnot (2021)  

Documents numériques

en open access Supplementary material for: Panoptic... - pdf auteur- Adobe Acrobat PDF

Étude préalable aux relevés architecturaux par photogrammétrie de l’Alexandrie du XIXe et XXe [19e et 20e] siècle / Mehdi Daakir (2012) 

Public Titre : Étude préalable aux relevés architecturaux par photogrammétrie de l’Alexandrie du XIXe et XXe [19e et 20e] siècle Type de document : Mémoire Auteurs : Mehdi Daakir , Auteur Editeur : Champs-sur-Marne : Ecole nationale des sciences géographiques ENSG Année de publication : 2012 Importance : 47 p. Format : 21 x 30 cm Note générale : Bibliographie Rapport de Projet Pluridisciplinaire, 2ème année du Cycle des Ingénieurs diplômés de l’ENSG Langues : Français (fre) Descripteur : [Vedettes matières IGN] Photogrammétrie terrestre [Termes IGN] architecture [Termes IGN] données localisées 3D [Termes IGN] façade [Termes IGN] image terrestre [Termes IGN] modélisation 3D [Termes IGN] orthoimage couleur [Termes IGN] Pastis [Termes IGN] patrimoine archéologique [Termes IGN] patrimoine culturel [Termes IGN] point de fuite [Termes IGN] redressement d'image [Termes IGN] semis de points Index. décimale : PROJET Mémoires : Rapports de projet - stage des ingénieurs de 2e année Résumé : (Auteur) L'étude du bâti remarquable d'Alexandrie est une étape nécessaire pour sa préservation et sa mise en valeur. Le Centre d'Études Alexandrines fait appel notamment aux techniques de relevés photogrammétriques afin de documenter ce patrimoine du centre ville. Un protocole d'acquisition et une chaîne de traitement ont été élaborés au cours de mon stage. Ils sont présentés dans ce rapport en retenant le cas des façades principales des bâtiments sélectionnés, et cela, tout en faisant état des contraintes du terrain. Note de contenu : Introduction 1 - Présentation générale 1-1 - Le Centre d'Études Alexandrines 1-2 - « La photogrammétrie au service des archéologues et des architectes » 1-3 - Contexte urbain et architectural d'Alexandrie 2 - État de l'art des relevés en photogrammétrie architecturale 2-1 - Techniques de relevés 2-2 - Exemple d'un chantier de photogrammétrie architecturale : la Mosquée de Sanaa 2-3 - Le relevé à grande échelle 2-4 - Bilan 3 - Reconnaissance terrain et premiers tests 3-1 - Classification des bâtiments 3-2 - Chaîne de traitement a) Contraintes d'acquisition b) Règles de prise de vue c) Calibration de l'appareil d) Traitement des données : la chaîne PASTIS-APERO-MICMAC 3-3 - Exemples de façades relevées a) La villa Cicurel b) Le bâtiment Victor Erlanger 3-4 - Produits photogrammétriques a) Les photos : calcul des points de fuites b) Le redressement c) Le nuage de points 3D d) L'ortho-image e) Modèle 3D filaire 3-5 - Cas de figures plus complexes a) - Le Métropole Hôtel b) - Bâtiment rue Fouad 4 - Transfert de compétences 4-1 - Redressement de la mosaïque nilotique de Shallalat 4-2 - Modèle 3D d'un sondage de fouille archéologique 5 - Premières solutions avant le SIG Conclusion Numéro de notice : 14541 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Mémoire de projet pluridisciplinaire Organisme de stage : Centre d’Études Alexandrines Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=50496

Exemplaires(1)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
14541-01	PROJET	Livre	Centre de documentation	Travaux d'élèves	Disponible

Documents numériques

peut être téléchargé 14541_mem_pp_2012_rapport_stage_daakir.pdf Adobe Acrobat PDF

Génération automatique de nuages de points d'édifices à partir de photographies / A. Godet (2010) 

Permalink