Centre dedocumentation
scientifique

Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot in ISPRS Journal of photogrammetry and remote sensing, vol 187 (May 2022)  

Public [article]  inISPRS Journal of photogrammetry and remote sensing > vol 187 (May 2022) . - pp 294 - 305 Titre : Multi-modal temporal attention models for crop mapping from satellite time series Type de document : Article/Communication Auteurs : Vivien Sainte Fare Garnot , Auteur ; Loïc Landrieu , Auteur ; Nesrine Chehata , Auteur Année de publication : 2022 Projets : 3-projet - voir note / Article en page(s) : pp 294 - 305 Note générale : bibliographie This work was partly supported by ASP, the French Payment Agency. Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image mixte [Termes IGN] attention (apprentissage automatique) [Termes IGN] bande C [Termes IGN] carte agricole [Termes IGN] fusion d'images [Termes IGN] image Sentinel-MSI [Termes IGN] image Sentinel-SAR [Termes IGN] parcelle agricole [Termes IGN] Pastis [Termes IGN] segmentation d'image [Termes IGN] série temporelle [Termes IGN] surface cultivée Résumé : (auteur) Optical and radar satellite time series are synergetic: optical images contain rich spectral information, while C-band radar captures useful geometrical information and is immune to cloud cover. Motivated by the recent success of temporal attention-based methods across multiple crop mapping tasks, we propose to investigate how these models can be adapted to operate on several modalities. We implement and evaluate multiple fusion schemes, including a novel approach and simple adjustments to the training procedure, significantly improving performance and efficiency with little added complexity. We show that most fusion schemes have advantages and drawbacks, making them relevant for specific settings. We then evaluate the benefit of multimodality across several tasks: parcel classification, pixel-based segmentation, and panoptic parcel segmentation. We show that by leveraging both optical and radar time series, multimodal temporal attention-based models can outmatch single-modality models in terms of performance and resilience to cloud cover. To conduct these experiments, we augment the PASTIS dataset (Garnot and Landrieu, 2021a) with spatially aligned radar image time series. The resulting dataset, PASTIS-R, constitutes the first large-scale, multimodal, and open-access satellite time series dataset with semantic and instance annotations. (Dataset available at: https://zenodo.org/record/5735646) Numéro de notice : A2022-157 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Autre URL associée : vers ArXiv Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2022.03.012 Date de publication en ligne : 24/03/2022 En ligne : https://doi.org/10.1016/j.isprsjprs.2022.03.012 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100365 [article]

Voir aussi

• Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot (2021)  

Réservation

Réserver ce document

Exemplaires (3)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
081-2022051	SL	Revue	Centre de documentation	Revues en salle	Disponible
081-2022053	DEP-RECP	Revue	LaSTIG	Dépôt en unité	Exclu du prêt
081-2022052	DEP-RECF	Revue	Nancy	Dépôt en unité	Exclu du prêt

Learning spatio-temporal representations of satellite time series for large-scale crop mapping / Vivien Sainte Fare Garnot (2022)  

Public Titre : Learning spatio-temporal representations of satellite time series for large-scale crop mapping Type de document : Thèse/HDR Auteurs : Vivien Sainte Fare Garnot , Auteur ; Clément Mallet , Directeur de thèse ; Nesrine Chehata , Directeur de thèse ; Loïc Landrieu , Encadrant Editeur : Saint-Mandé : Institut national de l'information géographique et forestière - IGN Année de publication : 2022 Autre Editeur : Champs-sur-Marne [France] : Université Gustave Eiffel Note générale : bibliographie Thèse de doctorat de l’Université Gustave Eiffel, École doctorale n° 532, Mathématiques, Science, et Technologie de l’Information et de la Communication (MSTIC), Spécialité de doctorat : Signal, Image, et Automatique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] apprentissage profond [Termes IGN] carte agricole [Termes IGN] fusion de données [Termes IGN] image multibande [Termes IGN] image multitemporelle [Termes IGN] image satellite [Termes IGN] parcelle agricole [Termes IGN] segmentation sémantique [Termes IGN] série temporelle Mots-clés libres : segmentation panotique, mécanisme d'auto-attention, encodage spatio-temporel Résumé : (auteur) L’analyse et le suivi de l’activité agricole d’un territoire nécessitent la production de cartes agricoles précises. Ces cartes identifient les bordures de chaque parcelle ainsi que le type de culture. Ces informations sont précieuses pour une variété d’acteurs et ont des applications allant de la prévision de la production alimentaire à l’allocation de subventions ou à la gestion environnementale. Alors que les premières cartes agricoles nécessitaient un travail de terrain fastidieux, l’essor de l’analyse automatisée des données de télédétection a ouvert la voie à des cartographies à grande échelle. Dans cette thèse, nous nous intéressons à la cartographie agricole à partir de séries temporelles d’images satellites multispectrales. Dans la plupart des travaux de la dernière décennie, ce problème est abordé à l’aide de modèles d’apprentissage automatique entraînés sur des descripteurs conçus par des experts. Cependant, dans la littérature de vision par ordinateur (VO) et du traitement automatique de la langue (TAL), l’entrainement de modèles d’apprentissage profond à apprendre des représentations à partir des données brutes a constitué un changement de paradigme menant à des performances sans précédent sur une variété de problèmes. De même, l’application de ces modèles d’apprentissage profond aux données de télédétection a considérablement amélioré l’état de l’art pour la cartographie agricole ainsi que d’autres tâches de télédétection. Dans cette thèse, nous soutenons que les méthodes actuelles issues des littérature VO et TAL ignorent certaines des spécificités des données de télédétection et ne devraient pas être appliquées directement. Au contraire, nous prônons le développement de méthodes adaptées, exploitant les structures spatiales, spectrales et temporelles spécifiques des séries temporelles d’images satellites. Nous caractérisons la cartographie agricole successivement comme une classification à la parcelle, une segmentation sémantique et une segmentation panoptique. Pour chacune de ces tâches, nous développons une nouvelle architecture d’apprentissage profond adaptée aux particularités de la tâche et inspirée des avancées récentes de l’apprentissage profond. Nous montrons que nos méthodes établissent un nouvel état de l’art tout en étant plus efficaces que les approches concurrentes. Plus précisément, nous présentons (i) le Pixel-Set Encoder, un encodeur spatial efficace, (ii) le Temporal Attention Encoder (TAE), un encodeur temporel utilisant la self-attention, (iii) le U-net avec TAE, une variation du TAE pour les problèmes de segmentation, et (iv) Parcel-as-Point, un module de segmentation d’instance conçu pour la segmentation panoptique des parcelles. Nous étudions également comment exploiter des séries temporelles multimodales combinant des informations optiques et radar. Nous améliorons ainsi les performances de nos modèles ainsi que leur robustesse aux nuages. Enfin, nous considérons l’arbre hiérarchique qui décrit les relations sémantiques entre les types de culture. Nous présentons une méthode pour inclure cette structure dans le processus d’apprentissage. Sur la classification des cultures ainsi que d’autres problèmes de classification, notre méthode réduit le taux d’erreurs entre les classes sémantiquement éloignées. En plus de ces méthodes, nous introduisons PASTIS, le premier jeu de données en accès libre de séries temporelles d’images satellites multimodales avec des annotations panoptiques de parcelles agricoles. Nous espérons que ce jeu de données, ainsi que les résultats prometteurs présentés dans cette thèse encourageront d’autres travaux de recherche et aideront à produire des cartes agricoles toujours plus précises. Note de contenu : 0- Introduction 1- Spatial and temporal encoding for parcel-based classification 2- Pixel-based segmentation methods 3- Leveraging multiple modalities 4- Leveraging the class hierarchy 5- Conclusion Numéro de notice : 17694 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Note de thèse : thèse de doctorat : Signal, Image, et Automatique : Gustave Eiffel : 2021 Organisme de stage : LASTIG (IGN) nature-HAL : Thèse DOI : sans Date de publication en ligne : 13/01/2022 En ligne : https://hal.archives-ouvertes.fr/IGN-ENSG/tel-03524429v1 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99366

Crop rotation modeling for deep learning-based parcel classification from satellite time series / Félix Quinton in Remote sensing, vol 13 n° 22 (November-2 2021)  

Public [article]  inRemote sensing > vol 13 n° 22 (November-2 2021) . - n° 4599 Titre : Crop rotation modeling for deep learning-based parcel classification from satellite time series Type de document : Article/Communication Auteurs : Félix Quinton , Auteur ; Loïc Landrieu , Auteur Année de publication : 2021 Projets : 3-projet - voir note / Article en page(s) : n° 4599 Note générale : bibliographie This research was funded by the French Payment Agency ASP. Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] apprentissage profond [Termes IGN] carte agricole [Termes IGN] données étiquetées d'entrainement [Termes IGN] image Sentinel-MSI [Termes IGN] parcelle agricole [Termes IGN] rotation de culture [Termes IGN] série temporelle Résumé : (auteur) While annual crop rotations play a crucial role for agricultural optimization, they have been largely ignored for automated crop type mapping. In this paper, we take advantage of the increasing quantity of annotated satellite data to propose to model simultaneously the inter- and intra-annual agricultural dynamics of yearly parcel classification with a deep learning approach. Along with simple training adjustments, our model provides an improvement of over 6.3% mIoU over the current state-of-the-art of crop classification, and a reduction of over 21% of the error rate. Furthermore, we release the first large-scale multi-year agricultural dataset with over 300,000 annotated parcels. Numéro de notice : A2021-934 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.3390/rs13224599 Date de publication en ligne : 16/11/2021 En ligne : https://doi.org/10.3390/rs13224599 Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99539 [article]

Agricultural land partitioning model based on irrigation efficiency using a multi‐objective artificial bee colony algorithm / Mehrdad Bijandi in Transactions in GIS, Vol 25 n° 1 (February 2021)  

Public [article]  inTransactions in GIS > Vol 25 n° 1 (February 2021) . - pp 551 - 574 Titre : Agricultural land partitioning model based on irrigation efficiency using a multi‐objective artificial bee colony algorithm Type de document : Article/Communication Auteurs : Mehrdad Bijandi, Auteur ; Mohammad Karimi, Auteur ; Bahman Farhadi Bansouleh, Auteur ; Wim van der Knaap, Auteur Année de publication : 2021 Article en page(s) : pp 551 - 574 Note générale : Bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Analyse spatiale [Termes IGN] données topographiques [Termes IGN] irrigation [Termes IGN] optimisation par colonie de fourmis [Termes IGN] parcelle agricole [Termes IGN] planification [Termes IGN] remembrement agricole [Termes IGN] surface cultivée [Termes IGN] utilisation du sol Résumé : (Auteur) In the process of agricultural land consolidation, the land parcels are optimally redesigned and rearranged in such a way that the dimensions of the resulting parcels are proportional to agricultural criteria such as irrigation discharge, soil texture, and cropping pattern. Besides these criteria, spatial factors like slope, road accessibility, volume of earthwork, and geometrical factors such as size and shape of parcels are also included in the design process of agricultural land partitioning. In this study, a land partitioning model was proposed using a multi‐objective artificial bee colony algorithm (MOABC‐LP) taking into consideration the mentioned factors. Initially, a feasible dimension range of parcels in a block was calculated based on irrigation efficiency. Two partitioning layouts were defined according to the topography and geometry of blocks. The proposed method was applied to a real study area and the results suggest that the land partitioning plan obtained by the MOABC‐LP model, in comparison with a designer's plan, not only makes the shape and size of parcels more compatible with the topographical and agricultural conditions of each block, but also reduces their cut‐and‐fill ratio. Numéro de notice : A2021-210 Affiliation des auteurs : non IGN Thématique : GEOMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1111/tgis.12702 Date de publication en ligne : 27/10/2020 En ligne : https://doi.org/10.1111/tgis.12702 Format de la ressource électronique : URL Article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=97159 [article]

Apport de la télédétection pour la simulation spatialisée des composantes du bilan carbone des cultures et des effets d'atténuation biogéochimiques et biogéophysiques des cultures intermédiaires / Gaétan Pique (2021)  

Public Titre : Apport de la télédétection pour la simulation spatialisée des composantes du bilan carbone des cultures et des effets d'atténuation biogéochimiques et biogéophysiques des cultures intermédiaires Type de document : Thèse/HDR Auteurs : Gaétan Pique, Auteur ; Eric Ceschia, Directeur de thèse ; Rémy Fieuzal, Directeur de thèse Editeur : Toulouse : Université de Toulouse 3 Paul Sabatier Année de publication : 2021 Importance : 279 p. Format : 21 x 30 cm Note générale : bibliographie Thèse en vue de l'obtention du Doctorat de l'Université Toulouse 3 - Paul Sabatier, Spécialité Surfaces et interfaces continentales, Hydrologie Langues : Français (fre) Descripteur : [Vedettes matières IGN] Applications de télédétection [Termes IGN] albedo [Termes IGN] bilan du carbone [Termes IGN] blé (céréale) [Termes IGN] changement climatique [Termes IGN] dioxyde de carbone [Termes IGN] eau douce [Termes IGN] image Landsat-8 [Termes IGN] image Sentinel-MSI [Termes IGN] image SPOT [Termes IGN] indice de végétation [Termes IGN] maïs (céréale) [Termes IGN] modèle de simulation [Termes IGN] parcelle agricole [Termes IGN] puits de carbone [Termes IGN] surface cultivée [Termes IGN] tournesol Index. décimale : THESE Thèses et HDR Résumé : (auteur) Les changements climatiques et la croissance démographique de la population mondiale amènent aujourd'hui le monde agricole à s'adapter pour faire face à ces deux enjeux majeurs. Si les surfaces agricoles, qui représentent près d'un tiers des terres émergées, contribuent largement aux émissions mondiales de gaz à effet de serre, elles offrent également la possibilité de mettre en place des leviers d'atténuation des changements climatiques. Dans ce contexte, ces travaux de thèse ont vocation à enrichir nos connaissances sur le fonctionnement des surfaces agricoles, à fournir des outils d'évaluation de la contribution des surfaces cultivées aux évolutions du climat, et à quantifier les effets biogéochimiques (stockage de C) et biogéophysiques (effet albédo) d'atténuation des changements climatiques via la mise en œuvre de cultures intermédiaires. Pour répondre à ces objectifs, deux approches de modélisation ont été développées au cours de ces travaux. Le premier volet de cette thèse s'est intéressé à développer une approche de modélisation spatialisée, permettant de fournir des estimations des productions (biomasses et rendements), des flux de CO2 et d'eau, ces variables servant à la quantification des bilans de carbone et d'eau pour les parcelles de grandes cultures. À cette fin, le modèle agro-météorologique SAFYE-CO2 assimilant des produits satellites d'indice de végétation à hautes résolutions spatiale et temporelle a été développé et appliqué à différentes cultures (blé, maïs et tournesol) et végétations d'intercultures (repousses spontanées, mauvaises herbes, cultures intermédiaires). Cette approche a pu être validée sur un réseau de parcelles du Sud-Ouest de la France, en tirant parti d'un grand nombre d'images satellites et de données de validation sur la zone de l'Observatoire Spatial Régional. Elle a notamment permis d'estimer avec précision les productions de blé, de tournesol et de maïs, ainsi que les flux de CO2 et d'eau sur les cultures de blé et de tournesol. La végétation, pouvant se développer sur les parcelles pendant les périodes d'interculture, a également été prise en compte afin d'améliorer l'estimation des flux de CO2 et d'eau. Cela a notamment permis de quantifier l'impact des cultures intermédiaires sur les composantes du bilan C des parcelles allouées aux grandes cultures sur la zone d'étude. Le second volet visait à développer un modèle d'introduction de cultures intermédiaires à l'échelle européenne, afin d'estimer le forçage radiatif induit par la modification de l'albédo de surface engendré par cette pratique. Grâce à des produits albédo moyenne résolution (1/20°), développés par le CNRM (et en collaboration avec ce laboratoire), cette approche de modélisation a permis de fournir des estimations de l'effet albédo relatifs aux cultures intermédiaires. Plusieurs scenarii d'introduction ont été simulés pour rendre compte de l'impact de certains facteurs, tels que la neige ou la pluie. Ils ont permis d'alerter sur le potentiel impact négatif de l'assombrissement du sol, induit à long terme (via l'enrichissement des sols en matière organique) par les cultures intermédiaires sur le forçage radiatif des surfaces cultivées. Enfin, comme tout changement de pratique agricole induit des effets biogéochimiques et biogéophysiques sur le climat, une analyse de ces effets couplés a été menée grâce à l'utilisation combinée de ces deux approches de modélisation. Note de contenu : Introduction générale 1- Simulation spatialisée des bilans de C sur grandes cultures 2- Intégration d’un module de bilan hydrique à SAFY-CO2 3- Estimation de l’effet albédo des cultures intermédiaires 4- Impacts de l’occupation du sol pendant l’interculture sur les flux de CO2, d’eau et sur l’albédo 5- Analyse des effets albédo à court et long termes des cultures intermédiaires 6- Discussion Conclusion générale Numéro de notice : 28317 Affiliation des auteurs : non IGN Thématique : FORET/IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Surfaces et interfaces continentales, Hydrologie : Toulouse 3 : 2021 Organisme de stage : CESBIO DOI : sans En ligne : https://tel.archives-ouvertes.fr/tel-03325160/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98241

Assessing the interest of a multi-modal gap-filling strategy for monitoring changes in grassland parcels / Anatol Garioud (2021)  

Permalink

Télédétection et intégration de connaissances via la modélisation spatiale pour une cartographie plus cohérente des systèmes agricoles complexes / Arthur Crespin-Boucaud (2021)  

Permalink

Small‐area patch‐merging method accounting for both local constraints and the overall area balance / Chengming Li in Transactions in GIS, Vol 24 n° 4 (August 2020)  

Permalink

Improved crop classification with rotation knowledge using Sentinel-1 and -2 time series / Sébastien Giordano in Photogrammetric Engineering & Remote Sensing, PERS, vol 86 n° 7 (July 2020)  

Permalink

Satellite image time series classification with pixel-set encoders and temporal self-attention / Vivien Sainte Fare Garnot (2020)    

Permalink

Journées de la recherche 2019 / Anonyme in Géomatique expert, n° 127 (avril - mai 2019)

Permalink

De l'agrandissement des exploitations agricoles à la transformation des paysages de bocage : analyse comparative des recompositions foncières et paysagères en Normandie / Thibault Preux (2019)  

Permalink

Impact of oblique UAV imagery on canopy models / Anouk Schleich (2019) 

Permalink

Monitoring crops water needs at high spatio-temporal resolution by synergy of optical / thermal and radar observations / Abdelhakim Amazirh (2019)  

Permalink

Land parcel management system in Poland and a case study of EU member states / Agnieszka Trystuła in Geodetski vestnik, vol 62 n° 4 (December 2018 - February 2019)  

Permalink