| Titre : |
Learning spatio-temporal representations of satellite time series for large-scale crop mapping |
| Type de document : |
Thèse/HDR |
| Auteurs : |
Vivien Sainte Fare Garnot  , Auteur ; Clément Mallet , Directeur de thèse ; Nesrine Chehata , Directeur de thèse ; Loïc Landrieu , Encadrant |
| Editeur : |
Champs-sur-Marne [France] : Université Gustave Eiffel |
| Année de publication : |
2022 |
| Note générale : |
bibliographie
Thèse de doctorat de l’Université Gustave Eiffel, École doctorale n° 532, Mathématiques, Science, et Technologie de l’Information et de la Communication (MSTIC), Spécialité de doctorat : Signal, Image, et Automatique |
| Langues : |
Anglais (eng) |
| Descripteur : |
[Vedettes matières IGN] Traitement d'image optique
[Termes IGN] apprentissage profond
[Termes IGN] attention (apprentissage automatique)
[Termes IGN] carte agricole
[Termes IGN] fusion de données
[Termes IGN] image multibande
[Termes IGN] image multitemporelle
[Termes IGN] image satellite
[Termes IGN] parcelle agricole
[Termes IGN] segmentation sémantique
[Termes IGN] série temporelle
|
| Mots-clés libres : |
segmentation panotique mécanisme d'auto-attention encodage spatio-temporel |
| Index. décimale : |
THESE Thèses et HDR |
| Résumé : |
(auteur) L’analyse et le suivi de l’activité agricole d’un territoire nécessitent la production de cartes agricoles précises. Ces cartes identifient les bordures de chaque parcelle ainsi que le type de culture. Ces informations sont précieuses pour une variété d’acteurs et ont des applications allant de la prévision de la production alimentaire à l’allocation de subventions ou à la gestion environnementale. Alors que les premières cartes agricoles nécessitaient un travail de terrain fastidieux, l’essor de l’analyse automatisée des données de télédétection a ouvert la voie à des cartographies à grande échelle. Dans cette thèse, nous nous intéressons à la cartographie agricole à partir de séries temporelles d’images satellites multispectrales. Dans la plupart des travaux de la dernière décennie, ce problème est abordé à l’aide de modèles d’apprentissage automatique entraînés sur des descripteurs conçus par des experts. Cependant, dans la littérature de vision par ordinateur (VO) et du traitement automatique de la langue (TAL), l’entrainement de modèles d’apprentissage profond à apprendre des représentations à partir des données brutes a constitué un changement de paradigme menant à des performances sans précédent sur une variété de problèmes. De même, l’application de ces modèles d’apprentissage profond aux données de télédétection a considérablement amélioré l’état de l’art pour la cartographie agricole ainsi que d’autres tâches de télédétection. Dans cette thèse, nous soutenons que les méthodes actuelles issues des littérature VO et TAL ignorent certaines des spécificités des données de télédétection et ne devraient pas être appliquées directement. Au contraire, nous prônons le développement de méthodes adaptées, exploitant les structures spatiales, spectrales et temporelles spécifiques des séries temporelles d’images satellites. Nous caractérisons la cartographie agricole successivement comme une classification à la parcelle, une segmentation sémantique et une segmentation panoptique. Pour chacune de ces tâches, nous développons une nouvelle architecture d’apprentissage profond adaptée aux particularités de la tâche et inspirée des avancées récentes de l’apprentissage profond. Nous montrons que nos méthodes établissent un nouvel état de l’art tout en étant plus efficaces que les approches concurrentes. Plus précisément, nous présentons (i) le Pixel-Set Encoder, un encodeur spatial efficace, (ii) le Temporal Attention Encoder (TAE), un encodeur temporel utilisant la self-attention, (iii) le U-net avec TAE, une variation du TAE pour les problèmes de segmentation, et (iv) Parcel-as-Point, un module de segmentation d’instance conçu pour la segmentation panoptique des parcelles. Nous étudions également comment exploiter des séries temporelles multimodales combinant des informations optiques et radar. Nous améliorons ainsi les performances de nos modèles ainsi que leur robustesse aux nuages. Enfin, nous considérons l’arbre hiérarchique qui décrit les relations sémantiques entre les types de culture. Nous présentons une méthode pour inclure cette structure dans le processus d’apprentissage. Sur la classification des cultures ainsi que d’autres problèmes de classification, notre méthode réduit le taux d’erreurs entre les classes sémantiquement éloignées. En plus de ces méthodes, nous introduisons PASTIS, le premier jeu de données en accès libre de séries temporelles d’images satellites multimodales avec des annotations panoptiques de parcelles agricoles. Nous espérons que ce jeu de données, ainsi que les résultats prometteurs présentés dans cette thèse encourageront d’autres travaux de recherche et aideront à produire des cartes agricoles toujours plus précises. |
| Note de contenu : |
0- Introduction
1- Spatial and temporal encoding for parcel-based classification
2- Pixel-based segmentation methods
3- Leveraging multiple modalities
4- Leveraging the class hierarchy
5- Conclusion |
| Numéro de notice : |
17694 |
| Affiliation des auteurs : |
UGE-LASTIG (2020- ) |
| Thématique : |
IMAGERIE/INFORMATIQUE |
| Nature : |
Thèse française |
| Note de thèse : |
thèse de doctorat : Signal, Image, et Automatique : Gustave Eiffel : 2022 |
| Organisme de stage : |
LASTIG (IGN) |
| nature-HAL : |
Thèse |
| DOI : |
sans |
| Date de publication en ligne : |
13/01/2022 |
| En ligne : |
https://hal.science/tel-03524429v1 |
| Format de la ressource électronique : |
URL |
| Permalink : |
https://documentation.ensg.eu/index.php?lvl=notice_display&id=99366 |
|  |
Learning spatio-temporal representations of satellite time series for large-scale crop mapping (2022)
