Centre dedocumentation
scientifique

Apprentissage profond pour l'imagerie SAR : du débruitage à l'interprétation de scène / Emanuele Dalsasso (2022)  

Public Titre : Apprentissage profond pour l'imagerie SAR : du débruitage à l'interprétation de scène Titre original : Deep Learning for SAR Imagery: from denoising to scene understanding Type de document : Thèse/HDR Auteurs : Emanuele Dalsasso, Auteur ; Florence Tupin, Directeur de thèse ; Loïc Denis, Directeur de thèse Editeur : Paris [France] : Télécom ParisTech Année de publication : 2022 Autre Editeur : Paris : Institut Polytechnique de Paris Importance : 165 p. Note générale : bibliographie Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image radar et applications [Termes IGN] apprentissage profond [Termes IGN] chatoiement [Termes IGN] image radar moirée Index. décimale : THESE Thèses et HDR Résumé : (auteur) Le Radar à Synthèse d’Ouverture (RSO, aussi appelé SAR en anglais) permet d’acquérir des données pour l’observation de la Terre de jour comme de nuit, quelles que soient les conditions météorologiques. Grâce notamment au programme Copernicus de l’Agence Spatiale Européenne, nous disposons aujourd’hui d’un grand nombre de données distribuées librement. Cependant, l’exploitation de données satellitaires radar est limitée par la présence de très fortes fluctuations du signal rétrodiffusé par la scène imagée. En effet, les images SAR sont entachées par un phénomène intrinsèque aux systèmes d’imagerie cohérente : le chatoiement, communément appelé speckle. Dans cette thèse, nous visons à faciliter l’interprétation des images SAR grâce au développement de techniques de réduction de speckle. Les approches existantes reposent sur le modèle de Goodman, décrivant le speckle comme un bruit multiplicatif et spatialement non corrélé. Dans le domaine de la vision par ordinateur, les méthodes de débruitage s’appuyant sur un réseau neuronal convolutif (approches d’apprentissage profond) ont permis des grandes avancées et représentent aujourd’hui l’état de l’art. Nous proposons donc d’utiliser les techniques de débruitage basées sur les algorithmes d’apprentissage profond pour la réduction de speckle dans les images SAR (méthodes de despeckling). Premièrement, nous étudions l’adaptation des techniques dites supervisées, c.à.d. visant à minimiser l’écart, selon un certain critère, entre l’estimation fournie par le réseau et une image de référence, dite vérité terrain. Nous proposons la création d’une base de données d’images de référence en moyennant des piles d’images multi-temporelles acquises sur la même zone. Des paires d’images pour entraîner un réseau peuvent être générées en synthétisant du speckle selon le modèle de Goodman. Cependant, dans les images réelles le speckle est spatialement corrélé. La corrélation peut être typiquement réduite par un sous-échantillonnage d’un facteur 2, mais cela engendre une perte de résolution. Au vu des limites des approches supervisées, inspirés par la méthode auto-supervisée noise2noise, nous proposons d’apprendre un réseau directement sur des données réelles. Le principe des méthodes de débruitage auto-supervisées est le suivant : si un signal contient une composante déterministe et une composante aléatoire, un réseau entraîné à prédire une nouvelle réalisation de ce signal à partir d’une première réalisation indépendante ne pourra prédire que la composante déterministe, c.à.d. la scène sous-jacente, supprimant ainsi le speckle. Dans la méthode que nous développons, SAR2SAR, nous utilisons des séries multi-temporelles sous hypothèse de speckle temporellement décorrélé pour obtenir des réalisations indépendantes. Les changements sont compensés en recourant à une stratégie d’entraînement itérative. Le réseau SAR2SAR est donc entraîné sur des images dont le speckle est corrélé spatialement et peut être par conséquent appliqué directement sur les images radar, donnant des performances de très bonne qualité en termes de préservation de la résolution spatiale. L’apprentissage de SAR2SAR reste cependant lourd : la stratégie se déroule en plusieurs étapes pour compenser les changements et un jeu de données contenant des piles d’images doit être constitué. Avec l’approche MERLIN, nous relâchons ces contraintes en proposant une méthode d’apprentissage auto-supervisée mono-image. En effet dans les images SAR complexes, les partie réelles et imaginaires sont mutuellement indépendantes et elles peuvent être naturellement utilisées pour apprendre un réseau de manière auto-supervisée. Nous montrons la simplicité de mise en œuvre d’un tel cadre en entraînant un réseau pour trois modalités d’acquisitions, présentant des différences en termes de résolution spatiale, de textures et de corrélation spatiale du speckle. Numéro de notice : 17717 Affiliation des auteurs : non IGN Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Note de thèse : thèse : Signal, Images, Automatique et robotique : Institut Polytechnique de Paris : 2022 Organisme de stage : Laboratoire Traitement et Communication de l'Information LTCI DOI : sans Date de publication en ligne : 12/05/2022 En ligne : https://theses.hal.science/tel-03666646 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100034

Deep learning for radar data exploitation of autonomous vehicle / Arthur Ouaknine (2022)  

Public Titre : Deep learning for radar data exploitation of autonomous vehicle Type de document : Thèse/HDR Auteurs : Arthur Ouaknine, Auteur ; Florence Tupin, Directeur de thèse ; Patrick Pérez, Directeur de thèse ; Alasdair Newson, Directeur de thèse Editeur : Paris : Institut Polytechnique de Paris Année de publication : 2022 Importance : 195 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse pour obtenir le grade de Docteur de l’Institut Polytechnique de Paris, Spécialité Signal, Images, Automatique et robotique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications de télédétection [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] données radar [Termes IGN] fusion de données multisource [Termes IGN] réseau neuronal convolutif [Termes IGN] scène urbaine [Termes IGN] segmentation sémantique [Termes IGN] semis de points [Termes IGN] véhicule sans pilote Index. décimale : THESE Thèses et HDR Résumé : (Auteur) La conduite autonome exige une compréhension détaillée de scènes de conduite complexes. La redondance et la complémentarité des capteurs du véhicule permettent une compréhension précise et robuste de l'environnement, augmentant ainsi le niveau de performance et de sécurité. Cette thèse se concentre sur le RADAR automobile, qui est un capteur actif à faible coût mesurant les propriétés des objets environnants, y compris leur vitesse relative, et qui a l'avantage de ne pas être affecté par des conditions météorologiques défavorables.Avec les progrès rapides de l'apprentissage profond et la disponibilité d'ensembles de données publiques sur la conduite, la capacité de perception des systèmes de conduite basés sur la vision (par exemple, la détection d'objets ou la prédiction de trajectoire) s'est considérablement améliorée. Le capteur RADAR est rarement utilisé pour la compréhension de scène en raison de sa faible résolution angulaire, de la taille, du bruit et de la complexité des données brutes RADAR ainsi que du manque d'ensembles de données disponibles. Cette thèse propose une étude approfondie de la compréhension de scènes RADAR, de la construction d'un jeu de données annotées à la conception d'architectures d'apprentissage profond adaptées.Tout d'abord, cette thèse détaille des approches permettant de remédier au manque de données. Une simulation simple ainsi que des méthodes génératives pour créer des données annotées seront présentées. Elle décrit également le jeu de données CARRADA, composé de données synchronisées de caméra et de RADAR avec une méthode semi-automatique générant des annotations sur les représentations RADAR.%Aujourd'hui, le jeu de données CARRADA est le seul jeu de données fournissant des données RADAR brutes annotées pour des tâches de détection d'objets et de segmentation sémantique.Cette thèse présente ensuite un ensemble d'architectures d'apprentissage profond avec leurs fonctions de perte associées pour la segmentation sémantique RADAR.Elle décrit également une méthode permettant d'ouvrir la recherche sur la fusion des capteurs LiDAR et RADAR pour la compréhension de scènes.Enfin, cette thèse expose une contribution collaborative, le jeu de données RADIal avec RADAR haute définition (HD), LiDAR et caméra synchronisés. Une architecture d'apprentissage profond est également proposée pour estimer le pipeline de traitement du signal RADAR tout en effectuant simultanément un apprentissage multitâche pour la détection d'objets et la segmentation de l'espace libre de conduite. Note de contenu : 1. Introduction 1.1 Context 1.2 Motivations 1.3 Contributions and outlines 2. Background 2.1 RADAR theory 2.2 Recordings and signal processing 2.3 Artificial neural networks 2.4 Convolutional neural network 2.5 Recurrent neural network 2.6 Deep learning 3. Related work 3.1 Diverse applications 3.2 Automotive RADAR datasets 3.3 RADAR object detection 3.4 RADAR semantic segmentation 3.5 Sensor fusion 3.6 Conclusions 4. Proposed automotive RADAR datasets 4.1 RADAR simulation 4.2 RADAR data generation 4.3 CARRADA dataset 4.4 Conclusions 5. RADAR scene understanding 5.1 Multi-view RADAR semantic segmentation 5.2 Sensor fusion 5.3 Conclusions 6. High-definition RADAR 6.1 Motivations 6.2 RADIal dataset 6.3 Proposed method 6.4 Experiments and Results 6.5 Conclusions and discussions 7 Conclusion 125 7.1 Contributions 7.2 Future work Numéro de notice : 26803 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de doctorat : Signal, Images, Automatique et robotique : Palaiseau : 2022 Organisme de stage : Télécom Paris nature-HAL : Thèse DOI : sans Date de publication en ligne : 11/03/2022 En ligne : https://tel.hal.science/tel-03606384 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100125

Use of multi-temporal and multi-sensor data for continental water body extraction in the context of the SWOT mission / Nicolas Gasnier (2022)  

Public Titre : Use of multi-temporal and multi-sensor data for continental water body extraction in the context of the SWOT mission Type de document : Thèse/HDR Auteurs : Nicolas Gasnier, Auteur ; Florence Tupin, Directeur de thèse ; Loïc Denis, Directeur de thèse Editeur : Paris : Institut Polytechnique de Paris Année de publication : 2022 Importance : 213 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse de doctorat présentée à l’Institut Polytechnique de Paris, spécialité Images Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image radar et applications [Termes IGN] base de données localisées [Termes IGN] détection d'objet [Termes IGN] détection de changement [Termes IGN] données hydrographiques [Termes IGN] hauteurs de mer [Termes IGN] image multitemporelle [Termes IGN] image radar moirée [Termes IGN] image Sentinel-SAR [Termes IGN] image SWOT [Termes IGN] lac [Termes IGN] rivière [Termes IGN] série temporelle [Termes IGN] télédétection en hyperfréquence Index. décimale : THESE Thèses et HDR Résumé : (Auteur) Spaceborne remote sensing provides hydrologists and decision-makers with data that are essential for understanding the water cycle and managing the associated resources and risks. The SWOT satellite, which is a collaboration between the French (CNES) and American (NASA, JPL) space agencies, is scheduled for launch in 2022 and will measure the height of lakes, rivers, and oceans with high spatial resolution. It will complement existing sensors, such as the SAR and optical constellations Sentinel-1 and 2, and in situ measurements. SWOT represents a technological breakthrough as it is the first satellite to carry a near-nadir swath altimeter. The estimation of water levels is done by interferometry on the SAR images acquired by SWOT. Detecting water in these images is therefore an essential step in processing SWOT data, but it can be very difficult, especially with low signal-to-noise ratios, or in the presence of unusual radiometries. In this thesis, we seek to develop new methods to make water detection more robust. To this end, we focus on the use of exogenous data to guide detection, the combination of multi-temporal and multi-sensor data and denoising approaches. The first proposed method exploits information from the river database used by SWOT (derived from GRWL) to detect narrow rivers in the image in a way that is robust to both noise in the image, potential errors in the database, and temporal changes. This method relies on a new linear structure detector, a least-cost path algorithm, and a new Conditional Random Field segmentation method that combines data attachment and regularization terms adapted to the problem. We also proposed a method derived from GrabCut that uses an a priori polygon containing a lake to detect it on a SAR image or a time series of SAR images. Within this framework, we also studied the use of a multi-temporal and multi-sensor combination between Sentinel-1 SAR and Sentinel-2 optical images. Finally, as part of a preliminary study on denoising methods applied to water detection, we studied the statistical properties of the geometric temporal mean and proposed an adaptation of the variational method MuLoG to denoise it. Note de contenu : 1. Introduction 1.1 Context 1.2 Contributions 1.3 Organization of the manuscript I BACKGROUND ON SAR REMOTE SENSING AND WATER SURFACE MONITORING WITH SAR IMAGES 2. SAR images 2.1 Physics and statistics of SAR images 2.2 The SWOT mission 2.3 Sentinel-1 3. SAR water detection and hydrological prior 3.1 Water detection in SAR images 3.2 SWOT processing and products 3.3 Prior water masks and databases 4. Methodological background 4.1 Markov random fields 4.2 Variational methods for image denoising PROPOSED APPROACHES 5. Guided extraction of narrow rivers on SAR images using an exogenous river database 5.1 Introduction 5.2 Proposed river segmentation pipeline 5.3 Experimental results 5.4 Conclusion 6. Adaptation of the GrabCut method to SAR images: lake detection from a priori polygon 6.1 Single-date GrabCut method for lake detection from a priori polygon 6.2 Multitemporal and multi-sensor adaptations of the method 6.3 2D+T GrabCut of SAR images with temporal regularization for lake detection within an a priori mask 6.4 Joint 2D+T segmentation of SAR and optical images 7. Denoising of the temporal geometric mean 7.1 Introduction 7.2 Statistics of the temporal geometric mean of SAR intensities 7.3 Denoising method 7.4 Experiments 7.5 Application to change detection 7.6 Application to ratio-based denoising of single SAR images within a time series 7.7 Conclusion 8 Conclusion and perspectives Numéro de notice : 26762 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Images : Palaiseau : 2022 Organisme de stage : Télécom Paris nature-HAL : Thèse DOI : sans Date de publication en ligne : 17/02/2022 En ligne : https://tel.hal.science/tel-03578831/ Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99823

Low level feature detection in SAR images / Chenguang Liu (2020)  

Public Titre : Low level feature detection in SAR images Type de document : Thèse/HDR Auteurs : Chenguang Liu, Auteur ; Florence Tupin, Directeur de thèse ; Yann Gousseau, Directeur de thèse Editeur : Paris [France] : Télécom ParisTech Année de publication : 2020 Importance : 138 p. Format : 21 x 30 cm Note générale : bibliographie Thèse de doctorat de l’Institut Polytechnique de Paris préparée à Télécom Paris, Spécialité de doctorat : Signal, Images, Automatique et robotique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image radar et applications [Termes IGN] apprentissage profond [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] détection de contours [Termes IGN] gradient [Termes IGN] image radar moirée [Termes IGN] modèle de Markov [Termes IGN] segment de droite Index. décimale : THESE Thèses et HDR Résumé : (auteur) In this thesis we develop low level feature detectors for Synthetic Aperture Radar (SAR) images to facilitate the joint use of SAR and optical data. Line segments and edges are very important low level features in images which can be used for many applications like image analysis, image registration and object detection. Contrarily to the availability of many efficient low level feature detectors dedicated to optical images, there are very few efficient line segment detector and edge detector for SAR images mostly because of the strong multiplicative noise. In this thesis we develop a generic line segment detector and an efficient edge detector for SAR images.The proposed line segment detector which is named as LSDSAR, is based on a Markovian a contrario model and the Helmholtz principle, where line segments are validated according to their meaningfulness. More specifically, a line segment is validated if its expected number of occurences in a random image under the hypothesis of the Markovian a contrario model is small. Contrarily to the usual a contrario approaches, the Markovian a contrario model allows strong filtering in the gradient computation step, since dependencies between local orientations of neighbouring pixels are permitted thanks to the use of a first order Markov chain. The proposed Markovian a contrario model based line segment detector LSDSAR benefit from the accuracy and efficiency of the new definition of the background model, indeed, many true line segments in SAR images are detected with a control of the number of false detections. Moreover, very little parameter tuning is required in the practical applications of LSDSAR. The second work of this thesis is that we propose a deep learning based edge detector for SAR images. The contributions of the proposed edge detector are two fold: 1) under the hypothesis that both optical images and real SAR images can be divided into piecewise constant areas, we propose to simulate a SAR dataset using optical dataset; 2) we propose to train a classical CNN (convolutional neural network) edge detector, HED, directly on the graident fields of images. This, by using an adequate method to compute the gradient, enables SAR images at test time to have statistics similar to the training set as inputs to the network. More precisely, the gradient distribution for all homogeneous areas are the same and the gradient distribution for two homogeneous areas across boundaries depends only on the ratio of their mean intensity values. The proposed method, GRHED, significantly improves the state-of-the-art, especially in very noisy cases such as 1-look images. Note de contenu : 1- Context 2- SAR basics, statistics of SAR images and data used in this thesis I Line segment detection in SAR images 3- Introduction 4- LSD, a line segment detector with false detection control 5- LSDSAR, a generic line segment detector for SAR images 6- Experiments II Edge detection in SAR images using CNNs 7- Introduction 8- Presentation of the HED method and of the training dataset 9- GRHED, introducing a hand-crafted layer before the usual CNNs 10- Experiments 11- Summary of the thesis Numéro de notice : 25878 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Spécialité : Signal, Images, Automatique et robotique : Paris : 2020 nature-HAL : Thèse DOI : sans En ligne : https://tel.archives-ouvertes.fr/tel-02861903/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95689

Introducing spatial regularization in SAR tomography reconstruction / Clément Rambour in IEEE Transactions on geoscience and remote sensing, vol 57 n° 11 (November 2019)  

Public [article]  inIEEE Transactions on geoscience and remote sensing > vol 57 n° 11 (November 2019) . - pp 8600 - 8617 Titre : Introducing spatial regularization in SAR tomography reconstruction Type de document : Article/Communication Auteurs : Clément Rambour, Auteur ; Loïc Denis, Auteur ; Florence Tupin, Auteur ; Hélène Oriot, Auteur Année de publication : 2019 Article en page(s) : pp 8600 - 8617 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image radar et applications [Termes IGN] acquisition comprimée [Termes IGN] analyse spectrale [Termes IGN] écho radar [Termes IGN] fractionnement [Termes IGN] image à très haute résolution [Termes IGN] image radar moirée [Termes IGN] image TerraSAR-X [Termes IGN] mécanique de Lagrange [Termes IGN] reconstruction 3D du bâti [Termes IGN] scène urbaine [Termes IGN] TerraSAR-X [Termes IGN] tomographie radar Résumé : (auteur) The resolution achieved by current synthetic aperture radar (SAR) sensors provides a detailed visualization of urban areas. Spaceborne sensors such as TerraSAR-X can be used to analyze large areas at a very high resolution. In addition, repeated passes of the satellite give access to temporal and interferometric information on the scene. Because of the complex 3-D structure of urban surfaces, scatterers located at different heights (ground, building facade, and roof) produce radar echoes that often get mixed within the same radar cells. These echoes must be numerically unmixed in order to get a fine understanding of the radar images. This unmixing is at the core of SAR tomography. SAR tomography reconstruction is generally performed in two steps: 1) reconstruction of the so-called tomogram by vertical focusing, at each radar resolution cell, to extract the complex amplitudes (a 1-D processing) and 2) transformation from radar geometry to ground geometry and extraction of significant scatterers. We propose to perform the tomographic inversion directly in ground geometry in order to enforce spatial regularity in 3-D space. This inversion requires solving a large-scale nonconvex optimization problem. We describe an iterative method based on variable splitting and the augmented Lagrangian technique. Spatial regularizations can easily be included in this generic scheme. We illustrate, on simulated data and a TerraSAR-X tomographic data set, the potential of this approach to produce 3-D reconstructions of urban surfaces. Numéro de notice : A2019-596 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1109/TGRS.2019.2921756 Date de publication en ligne : 04/07/2019 En ligne : https://doi.org/10.1109/TGRS.2019.2921756 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=94588 [article]

Multitemporal SAR images denoising and change detection : applications to Sentinel-1 data / Weiying Zhao (2019)  

Permalink

NL-SAR : a unified nonlocal framework for resolution-preserving (Pol) (In) SAR denoising / Charles-Alban Deledalle in IEEE Transactions on geoscience and remote sensing, vol 53 n° 4 (April 2015)  

Permalink

Imagerie de télédétection / Florence Tupin (2014)

Permalink

Imagerie de télédétection, ch 9. Mesures de l’élévation / Michel Roux (2014)

Permalink

Remote sensing imagery / Florence Tupin (2014)  

Permalink

Remote sensing imagery, ch 9. Elevation measurements / Michel Roux (2014)  

Permalink

Quality evaluation of 3D city building models with automatic error diagnosis / Jean-Christophe Michelin (2013)  

Permalink

Champs de Markov sur graphes pour le traitement des images radar / Florence Tupin (2007)

Permalink

Un premier pas vers l'extraction de MNS urbains en interférometrie RSO à haute résolution par fusion de détecteurs / C. Tison in Revue Française de Photogrammétrie et de Télédétection, n° 176 (Décembre 2004)

Permalink

Detection of building outlines based on the fusion of SAR and optical features / Florence Tupin in ISPRS Journal of photogrammetry and remote sensing, vol 58 n° 1-2 (June - December 2003)  

Permalink