Centre dedocumentation
scientifique

Deep learning for radar data exploitation of autonomous vehicle / Arthur Ouaknine (2022)  

Public Titre : Deep learning for radar data exploitation of autonomous vehicle Type de document : Thèse/HDR Auteurs : Arthur Ouaknine, Auteur ; Florence Tupin, Directeur de thèse ; Patrick Pérez, Directeur de thèse ; Alasdair Newson, Directeur de thèse Editeur : Paris : Institut Polytechnique de Paris Année de publication : 2022 Importance : 195 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse pour obtenir le grade de Docteur de l’Institut Polytechnique de Paris, Spécialité Signal, Images, Automatique et robotique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications de télédétection [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] données radar [Termes IGN] fusion de données multisource [Termes IGN] réseau neuronal convolutif [Termes IGN] scène urbaine [Termes IGN] segmentation sémantique [Termes IGN] semis de points [Termes IGN] véhicule sans pilote Index. décimale : THESE Thèses et HDR Résumé : (Auteur) La conduite autonome exige une compréhension détaillée de scènes de conduite complexes. La redondance et la complémentarité des capteurs du véhicule permettent une compréhension précise et robuste de l'environnement, augmentant ainsi le niveau de performance et de sécurité. Cette thèse se concentre sur le RADAR automobile, qui est un capteur actif à faible coût mesurant les propriétés des objets environnants, y compris leur vitesse relative, et qui a l'avantage de ne pas être affecté par des conditions météorologiques défavorables.Avec les progrès rapides de l'apprentissage profond et la disponibilité d'ensembles de données publiques sur la conduite, la capacité de perception des systèmes de conduite basés sur la vision (par exemple, la détection d'objets ou la prédiction de trajectoire) s'est considérablement améliorée. Le capteur RADAR est rarement utilisé pour la compréhension de scène en raison de sa faible résolution angulaire, de la taille, du bruit et de la complexité des données brutes RADAR ainsi que du manque d'ensembles de données disponibles. Cette thèse propose une étude approfondie de la compréhension de scènes RADAR, de la construction d'un jeu de données annotées à la conception d'architectures d'apprentissage profond adaptées.Tout d'abord, cette thèse détaille des approches permettant de remédier au manque de données. Une simulation simple ainsi que des méthodes génératives pour créer des données annotées seront présentées. Elle décrit également le jeu de données CARRADA, composé de données synchronisées de caméra et de RADAR avec une méthode semi-automatique générant des annotations sur les représentations RADAR.%Aujourd'hui, le jeu de données CARRADA est le seul jeu de données fournissant des données RADAR brutes annotées pour des tâches de détection d'objets et de segmentation sémantique.Cette thèse présente ensuite un ensemble d'architectures d'apprentissage profond avec leurs fonctions de perte associées pour la segmentation sémantique RADAR.Elle décrit également une méthode permettant d'ouvrir la recherche sur la fusion des capteurs LiDAR et RADAR pour la compréhension de scènes.Enfin, cette thèse expose une contribution collaborative, le jeu de données RADIal avec RADAR haute définition (HD), LiDAR et caméra synchronisés. Une architecture d'apprentissage profond est également proposée pour estimer le pipeline de traitement du signal RADAR tout en effectuant simultanément un apprentissage multitâche pour la détection d'objets et la segmentation de l'espace libre de conduite. Note de contenu : 1. Introduction 1.1 Context 1.2 Motivations 1.3 Contributions and outlines 2. Background 2.1 RADAR theory 2.2 Recordings and signal processing 2.3 Artificial neural networks 2.4 Convolutional neural network 2.5 Recurrent neural network 2.6 Deep learning 3. Related work 3.1 Diverse applications 3.2 Automotive RADAR datasets 3.3 RADAR object detection 3.4 RADAR semantic segmentation 3.5 Sensor fusion 3.6 Conclusions 4. Proposed automotive RADAR datasets 4.1 RADAR simulation 4.2 RADAR data generation 4.3 CARRADA dataset 4.4 Conclusions 5. RADAR scene understanding 5.1 Multi-view RADAR semantic segmentation 5.2 Sensor fusion 5.3 Conclusions 6. High-definition RADAR 6.1 Motivations 6.2 RADIal dataset 6.3 Proposed method 6.4 Experiments and Results 6.5 Conclusions and discussions 7 Conclusion 125 7.1 Contributions 7.2 Future work Numéro de notice : 26803 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de doctorat : Signal, Images, Automatique et robotique : Palaiseau : 2022 Organisme de stage : Télécom Paris nature-HAL : Thèse DOI : sans Date de publication en ligne : 11/03/2022 En ligne : https://tel.archives-ouvertes.fr/tel-03606384/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100125

Use of multi-temporal and multi-sensor data for continental water body extraction in the context of the SWOT mission / Nicolas Gasnier (2022)  

Public Titre : Use of multi-temporal and multi-sensor data for continental water body extraction in the context of the SWOT mission Type de document : Thèse/HDR Auteurs : Nicolas Gasnier, Auteur ; Florence Tupin, Directeur de thèse ; Loïc Denis, Directeur de thèse Editeur : Paris : Institut Polytechnique de Paris Année de publication : 2022 Importance : 213 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse de doctorat présentée à l’Institut Polytechnique de Paris, spécialité Images Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image radar et applications [Termes IGN] base de données localisées [Termes IGN] détection d'objet [Termes IGN] détection de changement [Termes IGN] données hydrographiques [Termes IGN] hauteurs de mer [Termes IGN] image multitemporelle [Termes IGN] image radar moirée [Termes IGN] image Sentinel-SAR [Termes IGN] image SWOT [Termes IGN] lac [Termes IGN] rivière [Termes IGN] série temporelle [Termes IGN] télédétection en hyperfréquence Index. décimale : THESE Thèses et HDR Résumé : (Auteur) Spaceborne remote sensing provides hydrologists and decision-makers with data that are essential for understanding the water cycle and managing the associated resources and risks. The SWOT satellite, which is a collaboration between the French (CNES) and American (NASA, JPL) space agencies, is scheduled for launch in 2022 and will measure the height of lakes, rivers, and oceans with high spatial resolution. It will complement existing sensors, such as the SAR and optical constellations Sentinel-1 and 2, and in situ measurements. SWOT represents a technological breakthrough as it is the first satellite to carry a near-nadir swath altimeter. The estimation of water levels is done by interferometry on the SAR images acquired by SWOT. Detecting water in these images is therefore an essential step in processing SWOT data, but it can be very difficult, especially with low signal-to-noise ratios, or in the presence of unusual radiometries. In this thesis, we seek to develop new methods to make water detection more robust. To this end, we focus on the use of exogenous data to guide detection, the combination of multi-temporal and multi-sensor data and denoising approaches. The first proposed method exploits information from the river database used by SWOT (derived from GRWL) to detect narrow rivers in the image in a way that is robust to both noise in the image, potential errors in the database, and temporal changes. This method relies on a new linear structure detector, a least-cost path algorithm, and a new Conditional Random Field segmentation method that combines data attachment and regularization terms adapted to the problem. We also proposed a method derived from GrabCut that uses an a priori polygon containing a lake to detect it on a SAR image or a time series of SAR images. Within this framework, we also studied the use of a multi-temporal and multi-sensor combination between Sentinel-1 SAR and Sentinel-2 optical images. Finally, as part of a preliminary study on denoising methods applied to water detection, we studied the statistical properties of the geometric temporal mean and proposed an adaptation of the variational method MuLoG to denoise it. Note de contenu : 1. Introduction 1.1 Context 1.2 Contributions 1.3 Organization of the manuscript I BACKGROUND ON SAR REMOTE SENSING AND WATER SURFACE MONITORING WITH SAR IMAGES 2. SAR images 2.1 Physics and statistics of SAR images 2.2 The SWOT mission 2.3 Sentinel-1 3. SAR water detection and hydrological prior 3.1 Water detection in SAR images 3.2 SWOT processing and products 3.3 Prior water masks and databases 4. Methodological background 4.1 Markov random fields 4.2 Variational methods for image denoising PROPOSED APPROACHES 5. Guided extraction of narrow rivers on SAR images using an exogenous river database 5.1 Introduction 5.2 Proposed river segmentation pipeline 5.3 Experimental results 5.4 Conclusion 6. Adaptation of the GrabCut method to SAR images: lake detection from a priori polygon 6.1 Single-date GrabCut method for lake detection from a priori polygon 6.2 Multitemporal and multi-sensor adaptations of the method 6.3 2D+T GrabCut of SAR images with temporal regularization for lake detection within an a priori mask 6.4 Joint 2D+T segmentation of SAR and optical images 7. Denoising of the temporal geometric mean 7.1 Introduction 7.2 Statistics of the temporal geometric mean of SAR intensities 7.3 Denoising method 7.4 Experiments 7.5 Application to change detection 7.6 Application to ratio-based denoising of single SAR images within a time series 7.7 Conclusion 8 Conclusion and perspectives Numéro de notice : 26762 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Images : Palaiseau : 2022 Organisme de stage : Télécom Paris nature-HAL : Thèse DOI : sans Date de publication en ligne : 17/02/2022 En ligne : https://tel.archives-ouvertes.fr/tel-03578831/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99823

Low level feature detection in SAR images / Chenguang Liu (2020)  

Public Titre : Low level feature detection in SAR images Type de document : Thèse/HDR Auteurs : Chenguang Liu, Auteur ; Florence Tupin, Directeur de thèse ; Yann Gousseau, Directeur de thèse Editeur : Paris [France] : Télécom ParisTech Année de publication : 2020 Importance : 138 p. Format : 21 x 30 cm Note générale : bibliographie Thèse de doctorat de l’Institut Polytechnique de Paris préparée à Télécom Paris, Spécialité de doctorat : Signal, Images, Automatique et robotique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image radar et applications [Termes IGN] apprentissage profond [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] détection de contours [Termes IGN] gradient [Termes IGN] image radar moirée [Termes IGN] modèle de Markov [Termes IGN] segment de droite Résumé : (auteur) In this thesis we develop low level feature detectors for Synthetic Aperture Radar (SAR) images to facilitate the joint use of SAR and optical data. Line segments and edges are very important low level features in images which can be used for many applications like image analysis, image registration and object detection. Contrarily to the availability of many efficient low level feature detectors dedicated to optical images, there are very few efficient line segment detector and edge detector for SAR images mostly because of the strong multiplicative noise. In this thesis we develop a generic line segment detector and an efficient edge detector for SAR images.The proposed line segment detector which is named as LSDSAR, is based on a Markovian a contrario model and the Helmholtz principle, where line segments are validated according to their meaningfulness. More specifically, a line segment is validated if its expected number of occurences in a random image under the hypothesis of the Markovian a contrario model is small. Contrarily to the usual a contrario approaches, the Markovian a contrario model allows strong filtering in the gradient computation step, since dependencies between local orientations of neighbouring pixels are permitted thanks to the use of a first order Markov chain. The proposed Markovian a contrario model based line segment detector LSDSAR benefit from the accuracy and efficiency of the new definition of the background model, indeed, many true line segments in SAR images are detected with a control of the number of false detections. Moreover, very little parameter tuning is required in the practical applications of LSDSAR. The second work of this thesis is that we propose a deep learning based edge detector for SAR images. The contributions of the proposed edge detector are two fold: 1) under the hypothesis that both optical images and real SAR images can be divided into piecewise constant areas, we propose to simulate a SAR dataset using optical dataset; 2) we propose to train a classical CNN (convolutional neural network) edge detector, HED, directly on the graident fields of images. This, by using an adequate method to compute the gradient, enables SAR images at test time to have statistics similar to the training set as inputs to the network. More precisely, the gradient distribution for all homogeneous areas are the same and the gradient distribution for two homogeneous areas across boundaries depends only on the ratio of their mean intensity values. The proposed method, GRHED, significantly improves the state-of-the-art, especially in very noisy cases such as 1-look images. Note de contenu : 1- Context 2- SAR basics, statistics of SAR images and data used in this thesis I Line segment detection in SAR images 3- Introduction 4- LSD, a line segment detector with false detection control 5- LSDSAR, a generic line segment detector for SAR images 6- Experiments II Edge detection in SAR images using CNNs 7- Introduction 8- Presentation of the HED method and of the training dataset 9- GRHED, introducing a hand-crafted layer before the usual CNNs 10- Experiments 11- Summary of the thesis Numéro de notice : 25878 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Spécialité : Signal, Images, Automatique et robotique : Paris : 2020 nature-HAL : Thèse DOI : sans En ligne : https://tel.archives-ouvertes.fr/tel-02861903/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95689

Introducing spatial regularization in SAR tomography reconstruction / Clément Rambour in IEEE Transactions on geoscience and remote sensing, vol 57 n° 11 (November 2019)  

Public [article]  inIEEE Transactions on geoscience and remote sensing > vol 57 n° 11 (November 2019) . - pp 8600 - 8617 Titre : Introducing spatial regularization in SAR tomography reconstruction Type de document : Article/Communication Auteurs : Clément Rambour, Auteur ; Loïc Denis, Auteur ; Florence Tupin, Auteur ; Hélène Oriot, Auteur Année de publication : 2019 Article en page(s) : pp 8600 - 8617 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image radar et applications [Termes IGN] acquisition comprimée [Termes IGN] analyse spectrale [Termes IGN] écho radar [Termes IGN] fractionnement [Termes IGN] image à très haute résolution [Termes IGN] image radar moirée [Termes IGN] image TerraSAR-X [Termes IGN] mécanique de Lagrange [Termes IGN] reconstruction 3D du bâti [Termes IGN] scène urbaine [Termes IGN] TerraSAR-X [Termes IGN] tomographie radar Résumé : (auteur) The resolution achieved by current synthetic aperture radar (SAR) sensors provides a detailed visualization of urban areas. Spaceborne sensors such as TerraSAR-X can be used to analyze large areas at a very high resolution. In addition, repeated passes of the satellite give access to temporal and interferometric information on the scene. Because of the complex 3-D structure of urban surfaces, scatterers located at different heights (ground, building facade, and roof) produce radar echoes that often get mixed within the same radar cells. These echoes must be numerically unmixed in order to get a fine understanding of the radar images. This unmixing is at the core of SAR tomography. SAR tomography reconstruction is generally performed in two steps: 1) reconstruction of the so-called tomogram by vertical focusing, at each radar resolution cell, to extract the complex amplitudes (a 1-D processing) and 2) transformation from radar geometry to ground geometry and extraction of significant scatterers. We propose to perform the tomographic inversion directly in ground geometry in order to enforce spatial regularity in 3-D space. This inversion requires solving a large-scale nonconvex optimization problem. We describe an iterative method based on variable splitting and the augmented Lagrangian technique. Spatial regularizations can easily be included in this generic scheme. We illustrate, on simulated data and a TerraSAR-X tomographic data set, the potential of this approach to produce 3-D reconstructions of urban surfaces. Numéro de notice : A2019-596 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1109/TGRS.2019.2921756 Date de publication en ligne : 04/07/2019 En ligne : https://doi.org/10.1109/TGRS.2019.2921756 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=94588 [article]

Multitemporal SAR images denoising and change detection : applications to Sentinel-1 data / Weiying Zhao (2019)  

Public Titre : Multitemporal SAR images denoising and change detection : applications to Sentinel-1 data Type de document : Thèse/HDR Auteurs : Weiying Zhao, Auteur ; Florence Tupin, Directeur de thèse Editeur : Bures-sur-Yvette : Université Paris-Saclay Année de publication : 2019 Autre Editeur : Paris [France] : Télécom ParisTech Importance : 181 p. Format : 21 x 30 cm Note générale : bibliographie Thèse de doctorat de l'Université Paris-Saclay préparée à Telecom ParisTech, Specialité de doctorat : traitement du signal et des images Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image radar et applications [Termes IGN] analyse diachronique [Termes IGN] apprentissage profond [Termes IGN] détection de changement [Termes IGN] filtrage du bruit [Termes IGN] filtrage temporel [Termes IGN] filtre adaptatif [Termes IGN] filtre de déchatoiement [Termes IGN] image radar moirée [Termes IGN] image Sentinel-SAR [Termes IGN] radar à antenne synthétique Résumé : (auteur) The inherent speckle which is attached to any coherent imaging system affects the analysis and interpretation of synthetic aperture radar (SAR) images. To take advantage of well-registered multi-temporal SAR images, we improve the adaptive nonlocal temporal filter with state-of-the-art adaptive denoising methods and propose a patch based adaptive temporal filter. To address the bias problem of the denoising results, we propose a fast and efficient multitemporal despeckling method. The key idea of the proposed approach is the use of the ratio image, provided by the ratio between an image and the temporal mean of the stack. This ratio image is easier to denoise than a single image thanks to its improved stationarity. Besides, temporally stable thin structures are well-preserved thanks to the multi-temporal mean. Without reference image, we propose to use a patch-based auto-covariance residual evaluation method to examine the residual image and look for possible remaining structural contents. With speckle reduction images, we propose to use simplified generalized likelihood ratio method to detect the change area, change magnitude and change times in long series of well-registered images. Based on spectral clustering, we apply the simplified generalized likelihood ratio to detect the time series change types. Then, jet colormap and HSV colorization may be used to vividly visualize the detection results. These methods have been successfully applied to monitor farmland area, urban area, harbor region, and flooding area changes. Note de contenu : Introduction I- Basics of SAR and used data II- Multitemporal denoising III- Multi-temporal images change detection Conclusion and perspective Numéro de notice : 25845 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Traitement du signal et des images : Telecom ParisTech : 2019 Organisme de stage : Telecom ParisTech nature-HAL : Thèse DOI : sans En ligne : https://pastel.archives-ouvertes.fr/tel-02095817/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95253

NL-SAR : a unified nonlocal framework for resolution-preserving (Pol) (In) SAR denoising / Charles-Alban Deledalle in IEEE Transactions on geoscience and remote sensing, vol 53 n° 4 (April 2015)  

Permalink

Imagerie de télédétection / Florence Tupin (2014)

Permalink

Imagerie de télédétection, ch 9. Mesures de l’élévation / Michel Roux (2014)

Permalink

Remote sensing imagery / Florence Tupin (2014)  

Permalink

Remote sensing imagery, ch 9. Elevation measurements / Michel Roux (2014)  

Permalink

Quality evaluation of 3D city building models with automatic error diagnosis / Jean-Christophe Michelin (2013)  

Permalink

Champs de Markov sur graphes pour le traitement des images radar / Florence Tupin (2007)

Permalink

Un premier pas vers l'extraction de MNS urbains en interférometrie RSO à haute résolution par fusion de détecteurs / C. Tison in Revue Française de Photogrammétrie et de Télédétection, n° 176 (Décembre 2004)

Permalink

Detection of building outlines based on the fusion of SAR and optical features / Florence Tupin in ISPRS Journal of photogrammetry and remote sensing, vol 58 n° 1-2 (June - December 2003)  

Permalink

Méthode de correction des effets troposphériques en interferométrie différentielle multi date / F. Chaabane in Bulletin [Société Française de Photogrammétrie et Télédétection], n° 170 (Avril 2003)

Permalink