Centre dedocumentation
scientifique

Preface: The 2022 edition of the XXIVth ISPRS congress / Loïc Landrieu in ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol V-3-2022 (2022 edition)  

Public [article]  inISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences > vol V-3-2022 (2022 edition) . - 5 p. Titre : Preface: The 2022 edition of the XXIVth ISPRS congress Type de document : Article/Communication Auteurs : Loïc Landrieu , Auteur ; Ewelina Rupnik , Auteur ; Sander J. Oude Elberink, Auteur ; Clément Mallet , Auteur ; Nicolas Paparoditis , Auteur Année de publication : 2022 Article en page(s) : 5 p. Langues : Anglais (eng) Numéro de notice : A2022-339 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.5194/isprs-annals-V-3-2022-1-2022 Date de publication en ligne : 17/05/2022 En ligne : https://doi.org/10.5194/isprs-annals-V-3-2022-1-2022 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100721 [article]

Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot in ISPRS Journal of photogrammetry and remote sensing, vol 187 (May 2022)  

Public [article]  inISPRS Journal of photogrammetry and remote sensing > vol 187 (May 2022) . - pp 294 - 305 Titre : Multi-modal temporal attention models for crop mapping from satellite time series Type de document : Article/Communication Auteurs : Vivien Sainte Fare Garnot , Auteur ; Loïc Landrieu , Auteur ; Nesrine Chehata , Auteur Année de publication : 2022 Projets : 3-projet - voir note / Article en page(s) : pp 294 - 305 Note générale : bibliographie This work was partly supported by ASP, the French Payment Agency. Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image mixte [Termes IGN] attention (apprentissage automatique) [Termes IGN] bande C [Termes IGN] carte agricole [Termes IGN] fusion d'images [Termes IGN] image Sentinel-MSI [Termes IGN] image Sentinel-SAR [Termes IGN] parcelle agricole [Termes IGN] Pastis [Termes IGN] segmentation d'image [Termes IGN] série temporelle [Termes IGN] surface cultivée Résumé : (auteur) Optical and radar satellite time series are synergetic: optical images contain rich spectral information, while C-band radar captures useful geometrical information and is immune to cloud cover. Motivated by the recent success of temporal attention-based methods across multiple crop mapping tasks, we propose to investigate how these models can be adapted to operate on several modalities. We implement and evaluate multiple fusion schemes, including a novel approach and simple adjustments to the training procedure, significantly improving performance and efficiency with little added complexity. We show that most fusion schemes have advantages and drawbacks, making them relevant for specific settings. We then evaluate the benefit of multimodality across several tasks: parcel classification, pixel-based segmentation, and panoptic parcel segmentation. We show that by leveraging both optical and radar time series, multimodal temporal attention-based models can outmatch single-modality models in terms of performance and resilience to cloud cover. To conduct these experiments, we augment the PASTIS dataset (Garnot and Landrieu, 2021a) with spatially aligned radar image time series. The resulting dataset, PASTIS-R, constitutes the first large-scale, multimodal, and open-access satellite time series dataset with semantic and instance annotations. (Dataset available at: https://zenodo.org/record/5735646) Numéro de notice : A2022-157 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Autre URL associée : vers ArXiv Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2022.03.012 Date de publication en ligne : 24/03/2022 En ligne : https://doi.org/10.1016/j.isprsjprs.2022.03.012 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100365 [article]

Voir aussi

• Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot (2021)  

Réservation

Réserver ce document

Exemplaires (3)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
081-2022051	SL	Revue	Centre de documentation	Revues en salle	Disponible
081-2022053	DEP-RECP	Revue	LaSTIG	Dépôt en unité	Exclu du prêt
081-2022052	DEP-RECF	Revue	Nancy	Dépôt en unité	Exclu du prêt

Deep surface reconstruction from point clouds with visibility information / Raphaël Sulzer (2022)  

Public Titre : Deep surface reconstruction from point clouds with visibility information Type de document : Article/Communication Auteurs : Raphaël Sulzer , Auteur ; Loïc Landrieu , Auteur ; Alexandre Boulch, Auteur ; Renaud Marlet, Auteur ; Bruno Vallet , Auteur Editeur : Ithaca [New York - Etats-Unis] : ArXiv - Université Cornell Année de publication : 2022 Projets : BIOM / Vallet, Bruno Importance : 13 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] apprentissage profond [Termes IGN] reconstruction d'objet [Termes IGN] semis de points [Termes IGN] visibilité Résumé : (auteur) Most current neural networks for reconstructing surfaces from point clouds ignore sensor poses and only operate on raw point locations. Sensor visibility, however, holds meaningful information regarding space occupancy and surface orientation. In this paper, we present two simple ways to augment raw point clouds with visibility information, so it can directly be leveraged by surface reconstruction networks with minimal adaptation. Our proposed modifications consistently improve the accuracy of generated surfaces as well as the generalization ability of the networks to unseen shape domains. Numéro de notice : P2022-002 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Autre URL associée : vers HAL Thématique : IMAGERIE Nature : Preprint nature-HAL : Préprint DOI : sans Date de publication en ligne : 03/02/2022 En ligne : https://arxiv.org/abs/2202.01810v1 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99811

Learning multi-view aggregation in the wild for large-scale 3D semantic segmentation / Damien Robert (2022)  

Public Titre : Learning multi-view aggregation in the wild for large-scale 3D semantic segmentation Type de document : Article/Communication Auteurs : Damien Robert, Auteur ; Bruno Vallet , Auteur ; Loïc Landrieu , Auteur Editeur : Ithaca [New York - Etats-Unis] : ArXiv - Université Cornell Année de publication : 2022 Conférence : CVPR 2022 19/06/2022 24/06/2022 New Orleans Louisiane - Etats-Unis Importance : 17 p. Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications photogrammétriques [Termes IGN] chaîne de traitement [Termes IGN] données localisées 2D [Termes IGN] données localisées 3D [Termes IGN] données massives [Termes IGN] pixel [Termes IGN] segmentation sémantique [Termes IGN] semis de points Résumé : (auteur) Recent works on 3D semantic segmentation propose to exploit the synergy between images and point clouds by processing each modality with a dedicated network and projecting learned 2D features onto 3D points. Merging large-scale point clouds and images raises several challenges, such as constructing a mapping between points and pixels, and aggregating features between multiple views. Current methods require mesh reconstruction or specialized sensors to recover occlusions, and use heuristics to select and aggregate available images. In contrast, we propose an end-to-end trainable multi-view aggregation model leveraging the viewing conditions of 3D points to merge features from images taken at arbitrary positions. Our method can combine standard 2D and 3D networks and outperforms both 3D models operating on colorized point clouds and hybrid 2D/3D networks without requiring colorization, meshing, or true depth maps. We set a new state-of-the-art for large-scale indoor/ outdoor semantic segmentation on S3DIS (74.7 mIoU 6-Fold) and on KITTI360 (58.3 mIoU). Our full pipeline is accessible at https: //github.com/drprojects/DeepViewAgg, and only requires raw 3D scans and a set of images and poses. Numéro de notice : C2022-006 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE/INFORMATIQUE Nature : Preprint nature-HAL : Préprint DOI : sans Date de publication en ligne : 15/04/2022 En ligne : https://doi.org/10.48550/arXiv.2204.07548 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100490

Learning spatio-temporal representations of satellite time series for large-scale crop mapping / Vivien Sainte Fare Garnot (2022)  

Public Titre : Learning spatio-temporal representations of satellite time series for large-scale crop mapping Type de document : Thèse/HDR Auteurs : Vivien Sainte Fare Garnot , Auteur ; Clément Mallet , Directeur de thèse ; Nesrine Chehata , Directeur de thèse ; Loïc Landrieu , Encadrant Editeur : Saint-Mandé : Institut national de l'information géographique et forestière - IGN Année de publication : 2022 Autre Editeur : Champs-sur-Marne [France] : Université Gustave Eiffel Note générale : bibliographie Thèse de doctorat de l’Université Gustave Eiffel, École doctorale n° 532, Mathématiques, Science, et Technologie de l’Information et de la Communication (MSTIC), Spécialité de doctorat : Signal, Image, et Automatique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] apprentissage profond [Termes IGN] carte agricole [Termes IGN] fusion de données [Termes IGN] image multibande [Termes IGN] image multitemporelle [Termes IGN] image satellite [Termes IGN] parcelle agricole [Termes IGN] segmentation sémantique [Termes IGN] série temporelle Mots-clés libres : segmentation panotique, mécanisme d'auto-attention, encodage spatio-temporel Résumé : (auteur) L’analyse et le suivi de l’activité agricole d’un territoire nécessitent la production de cartes agricoles précises. Ces cartes identifient les bordures de chaque parcelle ainsi que le type de culture. Ces informations sont précieuses pour une variété d’acteurs et ont des applications allant de la prévision de la production alimentaire à l’allocation de subventions ou à la gestion environnementale. Alors que les premières cartes agricoles nécessitaient un travail de terrain fastidieux, l’essor de l’analyse automatisée des données de télédétection a ouvert la voie à des cartographies à grande échelle. Dans cette thèse, nous nous intéressons à la cartographie agricole à partir de séries temporelles d’images satellites multispectrales. Dans la plupart des travaux de la dernière décennie, ce problème est abordé à l’aide de modèles d’apprentissage automatique entraînés sur des descripteurs conçus par des experts. Cependant, dans la littérature de vision par ordinateur (VO) et du traitement automatique de la langue (TAL), l’entrainement de modèles d’apprentissage profond à apprendre des représentations à partir des données brutes a constitué un changement de paradigme menant à des performances sans précédent sur une variété de problèmes. De même, l’application de ces modèles d’apprentissage profond aux données de télédétection a considérablement amélioré l’état de l’art pour la cartographie agricole ainsi que d’autres tâches de télédétection. Dans cette thèse, nous soutenons que les méthodes actuelles issues des littérature VO et TAL ignorent certaines des spécificités des données de télédétection et ne devraient pas être appliquées directement. Au contraire, nous prônons le développement de méthodes adaptées, exploitant les structures spatiales, spectrales et temporelles spécifiques des séries temporelles d’images satellites. Nous caractérisons la cartographie agricole successivement comme une classification à la parcelle, une segmentation sémantique et une segmentation panoptique. Pour chacune de ces tâches, nous développons une nouvelle architecture d’apprentissage profond adaptée aux particularités de la tâche et inspirée des avancées récentes de l’apprentissage profond. Nous montrons que nos méthodes établissent un nouvel état de l’art tout en étant plus efficaces que les approches concurrentes. Plus précisément, nous présentons (i) le Pixel-Set Encoder, un encodeur spatial efficace, (ii) le Temporal Attention Encoder (TAE), un encodeur temporel utilisant la self-attention, (iii) le U-net avec TAE, une variation du TAE pour les problèmes de segmentation, et (iv) Parcel-as-Point, un module de segmentation d’instance conçu pour la segmentation panoptique des parcelles. Nous étudions également comment exploiter des séries temporelles multimodales combinant des informations optiques et radar. Nous améliorons ainsi les performances de nos modèles ainsi que leur robustesse aux nuages. Enfin, nous considérons l’arbre hiérarchique qui décrit les relations sémantiques entre les types de culture. Nous présentons une méthode pour inclure cette structure dans le processus d’apprentissage. Sur la classification des cultures ainsi que d’autres problèmes de classification, notre méthode réduit le taux d’erreurs entre les classes sémantiquement éloignées. En plus de ces méthodes, nous introduisons PASTIS, le premier jeu de données en accès libre de séries temporelles d’images satellites multimodales avec des annotations panoptiques de parcelles agricoles. Nous espérons que ce jeu de données, ainsi que les résultats prometteurs présentés dans cette thèse encourageront d’autres travaux de recherche et aideront à produire des cartes agricoles toujours plus précises. Note de contenu : 0- Introduction 1- Spatial and temporal encoding for parcel-based classification 2- Pixel-based segmentation methods 3- Leveraging multiple modalities 4- Leveraging the class hierarchy 5- Conclusion Numéro de notice : 17694 Affiliation des auteurs : UGE-LASTIG (2020- ) Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Note de thèse : thèse de doctorat : Signal, Image, et Automatique : Gustave Eiffel : 2021 Organisme de stage : LASTIG (IGN) nature-HAL : Thèse DOI : sans Date de publication en ligne : 13/01/2022 En ligne : https://hal.archives-ouvertes.fr/IGN-ENSG/tel-03524429v1 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99366

Multi-layer modeling of dense vegetation from aerial LiDAR scans / Ekaterina Kalinicheva (2022)  

Permalink

Crop rotation modeling for deep learning-based parcel classification from satellite time series / Félix Quinton in Remote sensing, vol 13 n° 22 (November-2 2021)  

Permalink

Scalable surface reconstruction with Delaunay-Graph neural networks / Raphaël Sulzer in Computer graphics forum, vol 40 n° 5 (2021)  

Permalink

Multi-modal learning in photogrammetry and remote sensing / Michael Ying Yang in ISPRS Journal of photogrammetry and remote sensing, vol 176 (June 2021)  

Permalink

Deep learning pour les données 3D en télédétection / Loïc Landrieu (2021)

Permalink

Leveraging class hierarchies with metric-guided prototype learning / Vivien Sainte Fare Garnot (2021)  

Permalink

Multi-modal temporal attention models for crop mapping from satellite time series / Vivien Sainte Fare Garnot (2021)  

Permalink

Panoptic segmentation of satellite image time series with convolutional temporal attention networks / Vivien Sainte Fare Garnot (2021)  

Permalink

Representing shape collections with alignment-aware linear models / Romain Loiseau (2021)  

Permalink

Supplementary material for: Panoptic segmentation of satellite image time series with convolutional temporal attention networks / Vivien Sainte Fare Garnot (2021) 

Permalink