Détail de l'auteur
Auteur Vivien Sainte Fare Garnot
Commentaire :
PhD student at LaSTIG, STRUDEL team, from Oct 2018 to Dec 2021, supervised by Sébastien Giordano & Clément Mallet
Autorités liées :
idHAL :
vivien-sainte-fare-garnot
autre URL :
ORCID :
Scopus :
DBLP URL :
|
Documents disponibles écrits par cet auteur (9)
Ajouter le résultat dans votre panier
Visionner les documents numériques
Affiner la recherche Interroger des sources externes
Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot in ISPRS Journal of photogrammetry and remote sensing, vol 187 (May 2022)
[article]
Titre : Multi-modal temporal attention models for crop mapping from satellite time series Type de document : Article/Communication Auteurs : Vivien Sainte Fare Garnot , Auteur ; Loïc Landrieu , Auteur ; Nesrine Chehata , Auteur Année de publication : 2022 Projets : 3-projet - voir note / Article en page(s) : pp 294 - 305 Note générale : bibliographie
This work was partly supported by ASP, the French Payment Agency.Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image mixte
[Termes IGN] attention (apprentissage automatique)
[Termes IGN] bande C
[Termes IGN] carte agricole
[Termes IGN] fusion d'images
[Termes IGN] image Sentinel-MSI
[Termes IGN] image Sentinel-SAR
[Termes IGN] parcelle agricole
[Termes IGN] Pastis
[Termes IGN] segmentation d'image
[Termes IGN] série temporelle
[Termes IGN] surface cultivéeRésumé : (auteur) Optical and radar satellite time series are synergetic: optical images contain rich spectral information, while C-band radar captures useful geometrical information and is immune to cloud cover. Motivated by the recent success of temporal attention-based methods across multiple crop mapping tasks, we propose to investigate how these models can be adapted to operate on several modalities. We implement and evaluate multiple fusion schemes, including a novel approach and simple adjustments to the training procedure, significantly improving performance and efficiency with little added complexity. We show that most fusion schemes have advantages and drawbacks, making them relevant for specific settings. We then evaluate the benefit of multimodality across several tasks: parcel classification, pixel-based segmentation, and panoptic parcel segmentation. We show that by leveraging both optical and radar time series, multimodal temporal attention-based models can outmatch single-modality models in terms of performance and resilience to cloud cover. To conduct these experiments, we augment the PASTIS dataset (Garnot and Landrieu, 2021a) with spatially aligned radar image time series. The resulting dataset, PASTIS-R, constitutes the first large-scale, multimodal, and open-access satellite time series dataset with semantic and instance annotations. (Dataset available at: https://zenodo.org/record/5735646) Numéro de notice : A2022-157 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Autre URL associée : vers ArXiv Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2022.03.012 Date de publication en ligne : 24/03/2022 En ligne : https://doi.org/10.1016/j.isprsjprs.2022.03.012 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100365
in ISPRS Journal of photogrammetry and remote sensing > vol 187 (May 2022) . - pp 294 - 305[article]Voir aussiExemplaires(3)
Code-barres Cote Support Localisation Section Disponibilité 081-2022051 SL Revue Centre de documentation Revues en salle Disponible 081-2022053 DEP-RECP Revue LASTIG Dépôt en unité Exclu du prêt 081-2022052 DEP-RECF Revue Nancy Dépôt en unité Exclu du prêt Learning spatio-temporal representations of satellite time series for large-scale crop mapping / Vivien Sainte Fare Garnot (2022)
Titre : Learning spatio-temporal representations of satellite time series for large-scale crop mapping Type de document : Thèse/HDR Auteurs : Vivien Sainte Fare Garnot , Auteur ; Clément Mallet , Directeur de thèse ; Nesrine Chehata , Directeur de thèse ; Loïc Landrieu , Encadrant Editeur : Champs-sur-Marne [France] : Université Gustave Eiffel Année de publication : 2022 Note générale : bibliographie
Thèse de doctorat de l’Université Gustave Eiffel, École doctorale n° 532, Mathématiques, Science, et Technologie de l’Information et de la Communication (MSTIC), Spécialité de doctorat : Signal, Image, et AutomatiqueLangues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique
[Termes IGN] apprentissage profond
[Termes IGN] attention (apprentissage automatique)
[Termes IGN] carte agricole
[Termes IGN] fusion de données
[Termes IGN] image multibande
[Termes IGN] image multitemporelle
[Termes IGN] image satellite
[Termes IGN] parcelle agricole
[Termes IGN] segmentation sémantique
[Termes IGN] série temporelleMots-clés libres : segmentation panotique mécanisme d'auto-attention encodage spatio-temporel Index. décimale : THESE Thèses et HDR Résumé : (auteur) L’analyse et le suivi de l’activité agricole d’un territoire nécessitent la production de cartes agricoles précises. Ces cartes identifient les bordures de chaque parcelle ainsi que le type de culture. Ces informations sont précieuses pour une variété d’acteurs et ont des applications allant de la prévision de la production alimentaire à l’allocation de subventions ou à la gestion environnementale. Alors que les premières cartes agricoles nécessitaient un travail de terrain fastidieux, l’essor de l’analyse automatisée des données de télédétection a ouvert la voie à des cartographies à grande échelle. Dans cette thèse, nous nous intéressons à la cartographie agricole à partir de séries temporelles d’images satellites multispectrales. Dans la plupart des travaux de la dernière décennie, ce problème est abordé à l’aide de modèles d’apprentissage automatique entraînés sur des descripteurs conçus par des experts. Cependant, dans la littérature de vision par ordinateur (VO) et du traitement automatique de la langue (TAL), l’entrainement de modèles d’apprentissage profond à apprendre des représentations à partir des données brutes a constitué un changement de paradigme menant à des performances sans précédent sur une variété de problèmes. De même, l’application de ces modèles d’apprentissage profond aux données de télédétection a considérablement amélioré l’état de l’art pour la cartographie agricole ainsi que d’autres tâches de télédétection. Dans cette thèse, nous soutenons que les méthodes actuelles issues des littérature VO et TAL ignorent certaines des spécificités des données de télédétection et ne devraient pas être appliquées directement. Au contraire, nous prônons le développement de méthodes adaptées, exploitant les structures spatiales, spectrales et temporelles spécifiques des séries temporelles d’images satellites. Nous caractérisons la cartographie agricole successivement comme une classification à la parcelle, une segmentation sémantique et une segmentation panoptique. Pour chacune de ces tâches, nous développons une nouvelle architecture d’apprentissage profond adaptée aux particularités de la tâche et inspirée des avancées récentes de l’apprentissage profond. Nous montrons que nos méthodes établissent un nouvel état de l’art tout en étant plus efficaces que les approches concurrentes. Plus précisément, nous présentons (i) le Pixel-Set Encoder, un encodeur spatial efficace, (ii) le Temporal Attention Encoder (TAE), un encodeur temporel utilisant la self-attention, (iii) le U-net avec TAE, une variation du TAE pour les problèmes de segmentation, et (iv) Parcel-as-Point, un module de segmentation d’instance conçu pour la segmentation panoptique des parcelles. Nous étudions également comment exploiter des séries temporelles multimodales combinant des informations optiques et radar. Nous améliorons ainsi les performances de nos modèles ainsi que leur robustesse aux nuages. Enfin, nous considérons l’arbre hiérarchique qui décrit les relations sémantiques entre les types de culture. Nous présentons une méthode pour inclure cette structure dans le processus d’apprentissage. Sur la classification des cultures ainsi que d’autres problèmes de classification, notre méthode réduit le taux d’erreurs entre les classes sémantiquement éloignées. En plus de ces méthodes, nous introduisons PASTIS, le premier jeu de données en accès libre de séries temporelles d’images satellites multimodales avec des annotations panoptiques de parcelles agricoles. Nous espérons que ce jeu de données, ainsi que les résultats prometteurs présentés dans cette thèse encourageront d’autres travaux de recherche et aideront à produire des cartes agricoles toujours plus précises. Note de contenu : 0- Introduction
1- Spatial and temporal encoding for parcel-based classification
2- Pixel-based segmentation methods
3- Leveraging multiple modalities
4- Leveraging the class hierarchy
5- ConclusionNuméro de notice : 17694 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Note de thèse : thèse de doctorat : Signal, Image, et Automatique : Gustave Eiffel : 2022 Organisme de stage : LASTIG (IGN) nature-HAL : Thèse DOI : sans Date de publication en ligne : 13/01/2022 En ligne : https://hal.science/tel-03524429v1 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99366 Leveraging class hierarchies with metric-guided prototype learning / Vivien Sainte Fare Garnot (2021)
Titre : Leveraging class hierarchies with metric-guided prototype learning Type de document : Article/Communication Auteurs : Vivien Sainte Fare Garnot , Auteur ; Loïc Landrieu , Auteur Editeur : Ithaca [New York - Etats-Unis] : ArXiv - Université Cornell Année de publication : 2021 Projets : 1-Pas de projet / Conférence : BMVC 2021, 32nd British Machine Vision Conference 22/11/2021 25/11/2021 online Royaume-Uni OA Proceedings Importance : 31 p. Note générale : bibliographie
préprint déposé sur ArXivLangues : Anglais (eng) Descripteur : [Vedettes matières IGN] Intelligence artificielle
[Termes IGN] apprentissage automatique
[Termes IGN] classification
[Termes IGN] matrice d'erreur
[Termes IGN] prototype
[Termes IGN] segmentation sémantiqueRésumé : (auteur) Not all errors are created equal. This is especially true for many key machine learning applications. In the case of classification tasks, the severity of errors can be summarized under the form of a cost matrix, which assesses the gravity of confusing each pair of classes. When the target classes are organized into a hierarchical structure, this matrix defines a metric. We propose to integrate this metric in a new and versatile classification layer in order to model the disparity of errors. Our method relies on jointly learning a feature-extracting network and a set of class representations, or prototypes, which incorporate the error metric into their relative arrangement in the embedding space. Our approach allows for consistent improvement of the severity of the network's errors with regard to the cost matrix. Furthermore, when the induced metric contains insight on the data structure, our approach improves the overall precision as well. Experiments on four different public datasets -- from agricultural time series classification to depth image semantic segmentation -- validate our approach. Numéro de notice : C2021-027 Affiliation des auteurs : UGE-LASTIG (2020- ) Autre URL associée : vers ArXiv Thématique : IMAGERIE/INFORMATIQUE Nature : Poster nature-HAL : Poster-avec-CL DOI : 10.48550/arXiv.2007.03047 En ligne : https://www.bmvc2021-virtualconference.com/assets/papers/0084.pdf Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98983 Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot (2021)
Titre : Multi-modal temporal attention models for crop mapping from satellite time series Type de document : Article/Communication Auteurs : Vivien Sainte Fare Garnot , Auteur ; Loïc Landrieu , Auteur ; Nesrine Chehata , Auteur Editeur : Saint-Mandé : Institut national de l'information géographique et forestière - IGN (2012-) Année de publication : 2021 Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image mixte
[Termes IGN] base de données d'images
[Termes IGN] carte agricole
[Termes IGN] image optique
[Termes IGN] image radar
[Termes IGN] Pastis
[Termes IGN] segmentation d'imageRésumé : (auteur) Optical and radar satellite time series are synergetic: optical images contain rich spectral information, while C-band radar captures useful geometrical information and is immune to cloud cover. Motivated by the recent success of temporal attention-based methods across multiple crop mapping tasks, we propose to investigate how these models can be adapted to operate on several modalities. We implement and evaluate multiple fusion schemes, including a novel approach and simple adjustments to the training procedure, significantly improving performance and efficiency with little added complexity. We show that most fusion schemes have advantages and drawbacks, making them relevant for specific settings. We then evaluate the benefit of multimodality across several tasks: parcel classification, pixel-based segmentation, and panoptic parcel segmentation. We show that by leveraging both optical and radar time series, multimodal temporal attention-based models can outmatch single-modality models in terms of performance and resilience to cloud cover. To conduct these experiments, we augment the PASTIS dataset with spatially aligned radar image time series. The resulting dataset, PASTIS-R, constitutes the first large-scale, multimodal, and open-access satellite time series dataset with semantic and instance annotations. Numéro de notice : P2021-005 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE Nature : Preprint nature-HAL : Préprint DOI : sans Date de publication en ligne : 14/12/2021 En ligne : https://arxiv.org/abs/2112.07558v1 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99392 Panoptic segmentation of satellite image time series with convolutional temporal attention networks / Vivien Sainte Fare Garnot (2021)
Titre : Panoptic segmentation of satellite image time series with convolutional temporal attention networks Type de document : Article/Communication Auteurs : Vivien Sainte Fare Garnot , Auteur ; Loïc Landrieu , Auteur Editeur : Ithaca [New York - Etats-Unis] : ArXiv - Université Cornell Année de publication : 2021 Projets : 1-Pas de projet / Conférence : ICCV 2021, IEEE/CVF International Conference on Computer Vision 11/10/2021 17/10/2021 online Royaume-Uni programme Importance : 17 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique
[Termes IGN] classification par réseau neuronal convolutif
[Termes IGN] contour
[Termes IGN] Pastis
[Termes IGN] Perceptron multicouche
[Termes IGN] segmentation d'image
[Termes IGN] segmentation sémantique
[Termes IGN] série temporelleRésumé : (auteur) Unprecedented access to multi-temporal satellite imagery has opened new perspectives for a variety of Earth observation tasks. Among them, pixel-precise panoptic segmentation of agricultural parcels has major economic and environmental implications. While researchers have explored this problem for single images, we argue that the complex temporal patterns of crop phenology are better addressed with temporal sequences of images. In this paper, we present the first end-to-end, single-stage method for panoptic segmentation of Satellite Image Time Series (SITS). This module can be combined with our novel image sequence encoding network which relies on temporal self- attention to extract rich and adaptive multi-scale spatio- temporal features. We also introduce PASTIS, the first open- access SITS dataset with panoptic annotations. We demonstrate the superiority of our encoder for semantic segmentation against multiple competing architectures, and set up the first state-of-the-art of panoptic segmentation of SITS. Our implementation and PASTIS are publicly available. Numéro de notice : C2021-029 Affiliation des auteurs : UGE-LASTIG (2020- ) Autre URL associée : vers ArXiv Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.48550/arXiv.2107.07933 En ligne : https://doi.org/10.1109/ICCV48922.2021.00483 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98978 Supplementary material for: Panoptic segmentation of satellite image time series with convolutional temporal attention networks / Vivien Sainte Fare Garnot (2021)PermalinkLightweight temporal self-attention for classifying satellite images time series / Vivien Sainte Fare Garnot (2020)PermalinkSatellite image time series classification with pixel-set encoders and temporal self-attention / Vivien Sainte Fare Garnot (2020)PermalinkTime-space tradeoff in deep learning models for crop classification on satellite multi-spectral image time series / Vivien Sainte Fare Garnot (2019)Permalink