Centre dedocumentation
scientifique

Refractive two-view reconstruction for underwater 3D vision / François Chadebecq in International journal of computer vision, vol 128 n° 5 (May 2020)  

Public [article]  inInternational journal of computer vision > vol 128 n° 5 (May 2020) . - pp 1101 - 1117 Titre : Refractive two-view reconstruction for underwater 3D vision Type de document : Article/Communication Auteurs : François Chadebecq, Auteur ; Francisco Vasconcelos, Auteur ; René Lacher, Auteur ; et al., Auteur Année de publication : 2020 Article en page(s) : pp 1101 - 1117 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Acquisition d'image(s) et de donnée(s) [Termes IGN] correction d'image [Termes IGN] estimation de pose [Termes IGN] étalonnage d'instrument [Termes IGN] image sous-marine [Termes IGN] reconstruction 3D [Termes IGN] réfraction de l'eau [Termes IGN] structure-from-motion [Termes IGN] temps de pose [Termes IGN] vision stéréoscopique Résumé : (auteur) Recovering 3D geometry from cameras in underwater applications involves the Refractive Structure-from-Motion problem where the non-linear distortion of light induced by a change of medium density invalidates the single viewpoint assumption. The pinhole-plus-distortion camera projection model suffers from a systematic geometric bias since refractive distortion depends on object distance. This leads to inaccurate camera pose and 3D shape estimation. To account for refraction, it is possible to use the axial camera model or to explicitly consider one or multiple parallel refractive interfaces whose orientations and positions with respect to the camera can be calibrated. Although it has been demonstrated that the refractive camera model is well-suited for underwater imaging, Refractive Structure-from-Motion remains particularly difficult to use in practice when considering the seldom studied case of a camera with a flat refractive interface. Our method applies to the case of underwater imaging systems whose entrance lens is in direct contact with the external medium. By adopting the refractive camera model, we provide a succinct derivation and expression for the refractive fundamental matrix and use this as the basis for a novel two-view reconstruction method for underwater imaging. For validation we use synthetic data to show the numerical properties of our method and we provide results on real data to demonstrate its practical application within laboratory settings and for medical applications in fluid-immersed endoscopy. We demonstrate our approach outperforms classic two-view Structure-from-Motion method relying on the pinhole-plus-distortion camera model. Numéro de notice : A2020-508 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11263-019-01218-9 Date de publication en ligne : 18/11/2019 En ligne : https://doi.org/10.1007/s11263-019-01218-9 Format de la ressource électronique : url article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=96972 [article]

Learning stereo reconstruction with deep neural networks / Stepan Tulyakov (2020)  

Public Titre : Learning stereo reconstruction with deep neural networks Type de document : Thèse/HDR Auteurs : Stepan Tulyakov, Auteur ; François Fleuret, Directeur de thèse ; Anton Ivanov, Directeur de thèse Editeur : Lausanne : Ecole Polytechnique Fédérale de Lausanne EPFL Année de publication : 2020 Importance : 139 p. Format : 21 x 30 cm Note générale : bibliographie Thèse présentée à l'Ecole Polytechnique Fédérale de Lausanne pour l’obtention du grade de Docteur ès Sciences Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] apprentissage profond [Termes IGN] classification semi-dirigée [Termes IGN] contrainte géométrique [Termes IGN] couple stéréoscopique [Termes IGN] entropie [Termes IGN] estimateur [Termes IGN] étalonnage géométrique [Termes IGN] modèle stéréoscopique [Termes IGN] profondeur [Termes IGN] réalité de terrain [Termes IGN] reconstruction 3D [Termes IGN] reconstruction d'image [Termes IGN] vision par ordinateur [Termes IGN] vision stéréoscopique Résumé : (auteur) Stereo reconstruction is a problem of recovering a 3d structure of a scene from a pair of images of the scene, acquired from different viewpoints. It has been investigated for decades and many successful methods were developed. The main drawback of these methods, is that they typically utilize a single depth cue, such as parallax, defocus blur or shading, and thus are not as robust as a human visual system that simultaneously relies on a range of monocular and binocular cues. This is mainly because it is hard to manually design a model, accounting for multiple depth cues. In this work, we address this problem by focusing on deep learning-based stereo methods that can discover a model for multiple depth cues directly from training data with ground truth depth. The complexity of deep learning-based methods, however, requires very large training sets with ground truth depth, which is often hard or costly to collect. Furthermore, even when training data is available it is often contaminated with noise, which reduces the effectiveness of supervised learning. In this work, in Chapter 3 we show that it is possible to alleviate this problem by using weakly supervised learning, that utilizes geometric constraints of the problem instead of ground truth depth. Besides the large training set requirement, deep stereo methods are not as application-friendlyas traditional methods. They have a large memory footprint and their disparity range is fixed at training time. For some applications, such as satellite stereo i magery, these are serious problems since satellite images are very large, often reaching tens of megapixels, and have a variable baseline, depending on a time difference between stereo images acquisition. In this work, in Chapter 4 we address these problems by introducing a novel network architecture with a bottleneck, capable of processing large images and utilizing more context, and an estimator that makes the network less sensitive to stereo matching ambiguities and applicable to any disparity range without re-training. Because deep learning-based methods discover depth cues directly from training data, they can be adapted to new data modalities without large modifications. In this work, in Chapter 5 we show that our method, developed for a conventional frame-based camera, can be used with a novel event-based camera, that has a higher dynamic range, smaller latency, and low power consumption. Instead of sampling intensity of all pixels with a fixed frequency, this camera asynchronously reports events of significant pixel intensity changes. To adopt our method to this new data modality, we propose a novel event sequence embedding module, that firstly aggregates information locally, across time, using a novel fully-connected layer for an irregularly sampled continuous domain, and then across discrete spatial domain. One interesting application of stereo is a reconstruction of a planet’s surface topography from satellite stereo images. In this work, in Chapter 6 we describe a geometric calibration method, as well as mosaicing and stereo reconstruction tools that we developed in the framework of the doctoral project for Color and Stereo Surface Imaging System onboard of ESA’s Trace Gas Orbiter, orbiting Mars. For the calibration, we propose a novel method, relying on starfield images because large focal lengths and complex optical distortion of the instrument forbid using standard methods. Scientific and practical results of this work are widely used by a scientific community. Note de contenu : 1- Introduction 2- Background 3- Weakly supervised learning of deep patch-matching cost 4- Applications-friendly deep stereo 5- Dense deep event-based stereo 6- Calibration of a satellite stereo system 7- Conclusions Numéro de notice : 25795 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse étrangère Note de thèse : Thèse de Doctorat : Sciences : Lausanne : 2020 En ligne : https://infoscience.epfl.ch/record/275342?ln=fr Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95025

Context pyramidal network for stereo matching regularized by disparity gradients / Junhua Kang in ISPRS Journal of photogrammetry and remote sensing, vol 157 (November 2019)  

Public [article]  inISPRS Journal of photogrammetry and remote sensing > vol 157 (November 2019) . - pp 201 - 215 Titre : Context pyramidal network for stereo matching regularized by disparity gradients Type de document : Article/Communication Auteurs : Junhua Kang, Auteur ; Lin Chen, Auteur ; Fei Deng, Auteur ; Christian Heipke, Auteur Année de publication : 2019 Article en page(s) : pp 201 - 215 Note générale : Bibliographie Langues : Anglais (eng) Descripteur : [Termes IGN] appariement d'images [Termes IGN] appariement de formes [Termes IGN] apprentissage profond [Termes IGN] chaîne de traitement [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] extraction de traits caractéristiques [Termes IGN] gradient [Termes IGN] vision par ordinateur [Termes IGN] vision stéréoscopique Résumé : (Auteur) Also after many years of research, stereo matching remains to be a challenging task in photogrammetry and computer vision. Recent work has achieved great progress by formulating dense stereo matching as a pixel-wise learning task to be resolved with a deep convolutional neural network (CNN). However, most estimation methods, including traditional and deep learning approaches, still have difficulty to handle real-world challenging scenarios, especially those including large depth discontinuity and low texture areas. To tackle these problems, we investigate a recently proposed end-to-end disparity learning network, DispNet (Mayer et al., 2015), and improve it to yield better results in these problematic areas. The improvements consist of three major contributions. First, we use dilated convolutions to develop a context pyramidal feature extraction module. A dilated convolution expands the receptive field of view when extracting features, and aggregates more contextual information, which allows our network to be more robust in weakly textured areas. Second, we construct the matching cost volume with patch-based correlation to handle larger disparities. We also modify the basic encoder-decoder module to regress detailed disparity images with full resolution. Third, instead of using post-processing steps to impose smoothness in the presence of depth discontinuities, we incorporate disparity gradient information as a gradient regularizer into the loss function to preserve local structure details in large depth discontinuity areas. We evaluate our model in terms of end-point-error on several challenging stereo datasets including Scene Flow, Sintel and KITTI. Experimental results demonstrate that our model decreases the estimation error compared with DispNet on most datasets (e.g. we obtain an improvement of 46% on Sintel) and estimates better structure-preserving disparity maps. Moreover, our proposal also achieves competitive performance compared to other methods. Numéro de notice : A2019-496 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2019.09.012 Date de publication en ligne : 27/09/2019 En ligne : https://doi.org/10.1016/j.isprsjprs.2019.09.012 Format de la ressource électronique : URL Article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=93729 [article]

Réservation

Réserver ce document

Exemplaires (3)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
081-2019111	RAB	Revue	Centre de documentation	En réserve 3L	Disponible
081-2019113	DEP-RECP	Revue	LaSTIG	Dépôt en unité	Exclu du prêt
081-2019112	DEP-RECF	Revue	Nancy	Dépôt en unité	Exclu du prêt

Towards visual urban scene understanding for autonomous vehicle path tracking using GPS positioning data / Citlalli Gamez Serna (2019)  

Public Titre : Towards visual urban scene understanding for autonomous vehicle path tracking using GPS positioning data Type de document : Thèse/HDR Auteurs : Citlalli Gamez Serna, Auteur ; Yassine Ruichek, Directeur de thèse Editeur : Dijon : Université Bourgogne Franche-Comté UBFC Année de publication : 2019 Importance : 178 p. Format : 21 x 30 cm Note générale : bibliographie Thèse de Doctorat de l'Université Bourgogne Franche-Comté préparée à l'Université de Technologie de Belfort-Montbéliard, Informatique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Intelligence artificielle [Termes IGN] apprentissage profond [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] compréhension de l'image [Termes IGN] instance [Termes IGN] milieu urbain [Termes IGN] récepteur GPS [Termes IGN] scène urbaine [Termes IGN] segmentation sémantique [Termes IGN] signalisation routière [Termes IGN] système de transport intelligent [Termes IGN] trajectoire [Termes IGN] véhicule sans pilote [Termes IGN] vision [Termes IGN] vision par ordinateur [Termes IGN] vision stéréoscopique [Termes IGN] vitesse Résumé : (auteur) This PhD thesis focuses on developing a path tracking approach based on visual perception and localization in urban environments. The proposed approach comprises two systems. The first one concerns environment perception. This task is carried out using deep learning techniques to automatically extract 2D visual features and use them to learn in order to distinguish the different objects in the driving scenarios. Three deep learning techniques are adopted: semantic segmentation to assign each image pixel to a class, instance segmentation to identify separated instances of the same class and, image classification to further recognize the specific labels of the instances. Here our system segments 15 object classes and performs traffic sign recognition. The second system refers to path tracking. In order to follow a path, the equipped vehicle first travels and records the route with a stereo vision system and a GPS receiver (learning step). The proposed system analyses off-line the GPS path and identifies exactly the locations of dangerous (sharp) curves and speed limits. Later after the vehicle is able to localize itself, the vehicle control module together with our speed negotiation algorithm, takes into account the information extracted and computes the ideal speed to execute. Through experimental results of both systems, we prove that, the first one is capable to detect and recognize precisely objects of interest in urban scenarios, while the path tracking one reduces significantly the lateral errors between the learned and traveled path. We argue that the fusion of both systems will ameliorate the tracking approach for preventing accidents or implementing autonomous driving. Note de contenu : I- Context and problems 1- Introduction II- Contribution 2- Proposed datasets 3- Traffic sign classification 4- Visual perception system for urban environments 5- Dynamic speed adaptation system for path tracking based on curvature information and speed limits III- Conclusions and future works 6- Conclusions and future works Numéro de notice : 25967 Affiliation des auteurs : non IGN Thématique : INFORMATIQUE Nature : Thèse française Note de thèse : Thèse de Doctorat : Informatique : UDBF : 2019 Organisme de stage : CIAD Dijon nature-HAL : Thèse DOI : sans En ligne : https://tel.archives-ouvertes.fr/tel-02160966/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=96587

Vision stéréoscopique temps-réel pour la navigation autonome d'un robot en environnement dynamique / Maxime Derome (2017)  

Public Titre : Vision stéréoscopique temps-réel pour la navigation autonome d'un robot en environnement dynamique Type de document : Thèse/HDR Auteurs : Maxime Derome, Auteur ; Guy Le Besnerais, Directeur de thèse Editeur : Paris-Orsay : Université de Paris 11 Paris-Sud Centre d'Orsay Année de publication : 2017 Importance : 162 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse de doctorat de l'Université Paris-Saclay préparée à l’Université Paris-Sud, École doctorale n°580 Sciences et technologies de l’information et de la communication (STIC) Spécialité de doctorat : Mathématiques et informatique Langues : Français (fre) Descripteur : [Vedettes matières IGN] Photogrammétrie numérique [Termes IGN] appariement d'images [Termes IGN] détection d'objet [Termes IGN] estimation de pose [Termes IGN] estimation par noyau [Termes IGN] estimation statistique [Termes IGN] objet mobile [Termes IGN] odomètre [Termes IGN] propagation d'erreur [Termes IGN] robotique [Termes IGN] temps réel [Termes IGN] trajectoire [Termes IGN] vision par ordinateur [Termes IGN] vision stéréoscopique Résumé : (auteur) L’objectif de la thèse est de concevoir un système de perception stéréoscopique embarqué, permettant une navigation robotique autonome en présence d’objets mobiles. Pour pouvoir naviguer en environnement inconnu et en présence d’objets mobiles quelconques, nous avons adopté une approche purement géométrique reposant sur l’estimation de la disparité stéréo, du flot optique et du flot de scène. Pour assurer une couverture maximale du champ visuel, nous avons employé des méthodes d'estimation denses qui traitent chaque pixel de l'image. Enfin, puisque les algorithmes utilisés doivent s’exécuter en embarqué sur un robot, nous nous sommes efforcé de sélectionner ou concevoir des algorithmes rapides, pour nuire au minimum à la réactivité du système. Cette thèse présente plusieurs contributions. Nous avons proposé une nouvelle approche pour l’estimation du flot de scène, en combinant des algorithmes d’odométrie visuelle, d’appariement stéréo et de flot optique. Son implémentation sur GPU permet une estimation du flot de scène à cadence vidéo sur les images du dataset KITTI. Une méthode de détection dense d’objets mobiles a aussi été proposée, en modélisant statistiquement et en propageant toutes les erreurs de mesures. Enfin, nous avons validé expérimentalement sur un petit robot terrestre ces algorithmes de perception, en les couplant à un module de commande prédictive. L’expérience montre que le système de perception proposé est suffisamment rapide pour permettre au robot de détecter un objet mobile et d’adapter à la volée sa trajectoire afin d’éviter une collision. Note de contenu : Introduction 1 - Perception 3D à Partir d'un Banc Stéréoscopique 2 - Estimations Temporelles : Odométrie Stéréo, Flot Optique, Flot de scène 3 - Détection Dense d'Objets Mobiles à Partir d'un Banc Stéréo en déplacement 4 - Programmation sur GPU d'Algorithmes Temps-Réel et Application à la Navigation Autonome en Robotique Conclusion Numéro de notice : 21575 Affiliation des auteurs : non IGN Thématique : IMAGERIE/INFORMATIQUE/MATHEMATIQUE Nature : Thèse française Note de thèse : Thèse de doctorat : Mathématiques et informatique : Université Paris-Saclay : 2017 nature-HAL : Thèse DOI : sans En ligne : http://www.theses.fr/2017SACLS156 Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=90578

Image matching using SIFT features and relaxation labeling technique—A constraint initializing method for dense stereo matching / Jyoti Joglekar in IEEE Transactions on geoscience and remote sensing, vol 52 n° 9 Tome 1 (September 2014)

Permalink

Etablissement de vérités terrain en vision stéréoscopique / Maryam Marih (2014) 

Permalink

Développement de systèmes de mesure basés sur la stéréovision dédiés aux feux en propagation / L. Rossi in Revue Française de Photogrammétrie et de Télédétection, n° 201 (Janvier 2013)

Permalink

Mise en oeuvre d'une chaîne de calcul de production de nuages de points denses / Emmanuel Habets (2012) 

Permalink

Experimentation of structured light and stereo vision for underwater 3D reconstruction / F. Bruno in ISPRS Journal of photogrammetry and remote sensing, vol 66 n° 4 (July - August 2011)

Permalink

Forum de photogrammétrie / Anonyme in Géomatique expert, n° 61 (01/03/2008)

Permalink

Visual thinking for design / Colin Ware (2008)

Permalink

Précis de télédétection, 4. Volume 4 Méthodes de photointerprétation et d'interprétation d'image / Léo Provencher (2007)

Permalink

Photogrammétrie et muséologie : les sèvres du musée de Rouen / S. Varea in XYZ, n° 108 (septembre - novembre 2006)

Permalink

Réalisation d'un système de stéréovision mobile routier / N. Janvier in XYZ, n° 108 (septembre - novembre 2006)

Permalink