Centre dedocumentation
scientifique

Investigating the role of image retrieval for visual localization / Martin Humenberger in International journal of computer vision, vol 130 n° 7 (July 2022)  

Public [article]  inInternational journal of computer vision > vol 130 n° 7 (July 2022) . - 1811 - 1836 Titre : Investigating the role of image retrieval for visual localization Type de document : Article/Communication Auteurs : Martin Humenberger, Auteur ; Yohann Cabon, Auteur ; Noé Pion, Auteur ; et al., Auteur Année de publication : 2022 Article en page(s) : 1811 - 1836 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] analyse visuelle [Termes IGN] base de données d'images [Termes IGN] estimation de pose [Termes IGN] flou [Termes IGN] localisation basée image [Termes IGN] localisation basée vision [Termes IGN] point de repère [Termes IGN] précision de localisation [Termes IGN] Ransac (algorithme) [Termes IGN] réalité de terrain [Termes IGN] structure-from-motion [Termes IGN] vision par ordinateur Résumé : (auteur) Visual localization, i.e., camera pose estimation in a known scene, is a core component of technologies such as autonomous driving and augmented reality. State-of-the-art localization approaches often rely on image retrieval techniques for one of two purposes: (1) provide an approximate pose estimate or (2) determine which parts of the scene are potentially visible in a given query image. It is common practice to use state-of-the-art image retrieval algorithms for both of them. These algorithms are often trained for the goal of retrieving the same landmark under a large range of viewpoint changes which often differs from the requirements of visual localization. In order to investigate the consequences for visual localization, this paper focuses on understanding the role of image retrieval for multiple visual localization paradigms. First, we introduce a novel benchmark setup and compare state-of-the-art retrieval representations on multiple datasets using localization performance as metric. Second, we investigate several definitions of “ground truth” for image retrieval. Using these definitions as upper bounds for the visual localization paradigms, we show that there is still significant room for improvement. Third, using these tools and in-depth analysis, we show that retrieval performance on classical landmark retrieval or place recognition tasks correlates only for some but not all paradigms to localization performance. Finally, we analyze the effects of blur and dynamic scenes in the images. We conclude that there is a need for retrieval approaches specifically designed for localization paradigms. Our benchmark and evaluation protocols are available at https://github.com/naver/kapture-localization. Numéro de notice : A2022-538 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article DOI : 10.1007/s11263-022-01615-7 Date de publication en ligne : 25/05/2022 En ligne : https://doi.org/10.1007/s11263-022-01615-7 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=101070 [article]

Improving image description with auxiliary modality for visual localization in challenging conditions / Nathan Piasco in International journal of computer vision, vol 29 n° 1 (January 2021)  

Public [article]  inInternational journal of computer vision > vol 29 n° 1 (January 2021) . - pp 185 - 202 Titre : Improving image description with auxiliary modality for visual localization in challenging conditions Type de document : Article/Communication Auteurs : Nathan Piasco , Auteur ; Désiré Sidibé, Auteur ; Valérie Gouet-Brunet , Auteur ; Cédric Demonceaux, Auteur Année de publication : 2021 Projets : PLaTINUM / Gouet-Brunet, Valérie Article en page(s) : pp 185 - 202 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] descripteur [Termes IGN] localisation basée image [Termes IGN] localisation basée vision Résumé : (auteur) Image indexing for lifelong localization is a key component for a large panel of applications, including robot navigation, autonomous driving or cultural heritage valorization. The principal difficulty in long-term localization arises from the dynamic changes that affect outdoor environments. In this work, we propose a new approach for outdoor large scale image-based localization that can deal with challenging scenarios like cross-season, cross-weather and day/night localization. The key component of our method is a new learned global image descriptor, that can effectively benefit from scene geometry information during training. At test time, our system is capable of inferring the depth map related to the query image and use it to increase localization accuracy. We show through extensive evaluation that our method can improve localization performances, especially in challenging scenarios when the visual appearance of the scene has changed. Our method is able to leverage both visual and geometric clues from monocular images to create discriminative descriptors for cross-season localization and effective matching of images acquired at different time periods. Our method can also use weakly annotated data to localize night images across a reference dataset of daytime images. Finally we extended our method to reflectance modality and we compare multi-modal descriptors respectively based on geometry, material reflectance and a combination of both. Numéro de notice : A2021-132 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Autre URL associée : vers HAL Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11263-020-01363-6 Date de publication en ligne : 28/08/2020 En ligne : https://doi.org/10.1007/s11263-020-01363-6 Format de la ressource électronique : url article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=96971 [article]

Vision-based localization with discriminative features from heterogeneous visual data / Nathan Piasco (2019)  

Public Titre : Vision-based localization with discriminative features from heterogeneous visual data Type de document : Thèse/HDR Auteurs : Nathan Piasco , Auteur ; Valérie Gouet-Brunet , Directeur de thèse ; Cédric Demonceaux, Directeur de thèse Editeur : Dijon : Université Bourgogne Franche-Comté UBFC Année de publication : 2019 Importance : 174 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse présentée à l'école doctorale n° 37 de l'Université de Dijon pour l'obtention du Doctorat en instrumentation et informatique de l'image Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] algorithme ICP [Termes IGN] carte de profondeur [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] données hétérogènes [Termes IGN] estimation de pose [Termes IGN] fonction de transfert de modulation [Termes IGN] localisation basée image [Termes IGN] localisation basée vision [Termes IGN] recherche d'image basée sur le contenu [Termes IGN] vision monoculaire Index. décimale : THESE Thèses et HDR Résumé : (Auteur) Visual-based Localization (VBL) consists in retrieving the location of a visual image within a known space. VBL is involved in several present-day practical applications, such as indoor and outdoor navigation, 3D reconstruction, etc. The main challenge in VBL comes from the fact that the visual input to localize could have been taken at a different time than the reference database. Visual changes may occur on the observed environment during this period of time, especially for outdoor localization. Recent approaches use complementary information in order to address these visually challenging localization scenarios, like geometric information or semantic information. However geometric or semantic information are not always available or can be costly to obtain. In order to get free of any extra modalities used to solve challenging localization scenarios, we propose to use a modality transfer model capable of reproducing the underlying scene geometry from a monocular image. At first, we cast the localization problem as a Content-based Image Retrieval (CBIR) problem and we train a CNN image descriptor with radiometry to dense geometry transfer as side training objective. Once trained, our system can be used on monocular images only to construct an expressive descriptor for localization in challenging conditions. Secondly, we introduce a new relocalization pipeline to improve the localization given by our initial localization step. In a same manner as our global image descriptor, the relocalization is aided by the geometric information learned during an offline stage. The extra geometric information is used to constrain the final pose estimation of the query. Through comprehensive experiments, we demonstrate the effectiveness of our proposals for both indoor and outdoor localization. Note de contenu : 1. Introduction 1.1 Long-term mapping 1.2 pLaTINUM project 1.3 Visual-based Localization with heterogeneous data 2. Review of Visual-Based Localization methods 2.1 Data Representation 2.2 VBL methods 2.3 Data with Dissimilar Appearances 2.4 Data heterogeneity 2.5 Discussion 2.6 Conclusion 3 Side modality learning for localization 3.1 Related work 3.2 Model architectures and training 3.3 Implementation details 3.4 Long-term localization 3.5 Night to day localization scenarios 3.6 Laser reflectance as side information 3.7 Conclusion 4. Pose refinement with learned depth map 4.1 Method 4.2 Relative pose estimation 4.3 Preliminary results 4.4 Indoor localization 4.5 Unsupervised training and outdoor localization 4.6 Discussion 4.7 Conclusion 5. Conclusion 5.1 Summary of the thesis 5.2 Scientific contributions 5.3 Future Research A Network architectures A.1 Global image descriptor network A.2 Multitask pose refinement network Numéro de notice : 26415 Affiliation des auteurs : LASTIG MATIS (2012-2019) Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Instrumentation et informatique de l'image : Dijon : 2019 Organisme de stage : LaSTIG (IGN) nature-HAL : Thèse DOI : sans Date de publication en ligne : 13/11/2020 En ligne : https://hal.science/tel-03003651/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=96302

Adéquation algorithme architecture pour la localisation basée image sur système embarqué / David Vandergucht (2018)    

Public Titre : Adéquation algorithme architecture pour la localisation basée image sur système embarqué Type de document : Article/Communication Auteurs : David Vandergucht, Auteur ; Mehdi Darouich, Auteur ; Valérie Gouet-Brunet , Auteur ; Thibaut Vercueil, Auteur ; Laurent Schneider, Auteur ; Thomas Peyret, Auteur ; Benoit Tain, Auteur ; Maria Lepecq, Auteur Editeur : Saint-Mandé : Institut national de l'information géographique et forestière - IGN (2012-) Année de publication : 2018 Projets : THINGS2D0 / Gouet-Brunet, Valérie Conférence : CFPT 2018, Conférence Française de Photogrammétrie et de Télédétection 25/06/2018 28/06/2018 Champs-sur-Marne France Open Access Proceedings Importance : 3 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Français (fre) Descripteur : [Vedettes matières IGN] Navigation et positionnement [Termes IGN] chaîne de traitement [Termes IGN] estimation de pose [Termes IGN] localisation basée image [Termes IGN] méthode robuste [Termes IGN] navigation pédestre [Termes IGN] réalité augmentée Résumé : (auteur) Dans cet article, nous présentons l’adaptation sur système embarqué d’une chaîne de traitements dédiée à la localisation basée image pour l’aide à la navigation pédestre par réalité augmentée. L’étape d’estimation de la pose du capteur d’acquisition de l’image est une étape clé et sensible, en termes de qualité de la pose attendue comme en complexité et temps d’estimation de cette pose. Nous décrivons l’approche d’estimation de pose et la solution hardware choisies, ainsi que leurs adaptations en vue d’une adéquation optimale entre algorithme et architecture. Des expériences en conditions réalistes de navigation pédestre, où les mouvements sont complexes, montrent la robustesse et l’efficacité de la solution proposée, qui est prometteuse pour une future application sur système léger impliquant l’estimation précise de la pose. Numéro de notice : C2018-005 Affiliation des auteurs : LASTIG MATIS+Ext (2012-2019) Thématique : IMAGERIE Nature : Poster nature-HAL : Poster-avec-CL DOI : sans Date de publication en ligne : 28/06/2018 En ligne : https://rfiap2018.ign.fr/programmeCFPT Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=90333

Documents numériques

en open access Adéquation algorithme architecture ... - pdf éditeur Adobe Acrobat PDF

Recherche multi-descripteurs dans les fonds photographiques numérisés / Neelanjan Bhowmik (2017)  

Public Titre : Recherche multi-descripteurs dans les fonds photographiques numérisés Titre original : Multi-descriptor retrieval in digitalized photographs collections Type de document : Thèse/HDR Auteurs : Neelanjan Bhowmik , Auteur ; Valérie Gouet-Brunet , Directeur de thèse Editeur : Champs/Marne : Université Paris-Est Année de publication : 2017 Importance : 266 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes IGN] base de données d'images [Termes IGN] collection [Termes IGN] descripteur [Termes IGN] détection d'objet [Termes IGN] estimation de pose [Termes IGN] exploration de données [Termes IGN] extraction de traits caractéristiques [Termes IGN] index [Termes IGN] localisation basée image [Termes IGN] modèle de simulation [Termes IGN] patrimoine culturel [Termes IGN] point d'intérêt [Termes IGN] recherche d'image basée sur le contenu [Termes IGN] reconnaissance d'objets [Termes IGN] régression linéaire Index. décimale : THESE Thèses et HDR Résumé : (auteur) La recherche d’images par contenu (CBIR) est une discipline de l’informatique qui vise à structurer automatiquement les collections d’images selon des critères visuels. Les fonctionnalités proposées couvrent notamment l’accès efficace aux images dans une grande base de données d’images ou l’identification de leur contenu par des outils de détection et de reconnaissance d’objets. Ils ont un impact sur une large gamme de domaines qui manipulent ce genre de données, telles que le multimedia, la culture, la sécurité, la santé, la recherche scientifique, etc. Indexer une image à partir de son contenu visuel nécessite d’abord de produire un résumé visuel de ce contenu pour un usage donné, qui sera l’index de cette image dans la collection. En matière de descripteurs d’images, la littérature est désormais très riche : plusieurs familles de descripteurs existent, et dans chaque famille, de nombreuses approches cohabitent. Bon nombre de descripteurs ne décrivant pas la même information et n’ayant pas les mêmes propriétés d’invariance, il peut être pertinent de les combiner de manière à mieux décrire le contenu de l’image. Cette combinaison peut être mise en oeuvre de différentes manières, selon les descripteurs considérés et le but recherché. Dans cette thèse, nous nous concentrons sur la famille des descripteurs locaux, avec pour application la recherche d’images ou d’objets par l’exemple dans une collection d’images. Leurs bonnes propriétés les rendent très populaires pour la recherche, la reconnaissance et la catégorisation d'objets et de scènes. Deux directions de recherche sont étudiées : Combinaison de caractéristiques pour la recherche d’images par l’exemple : Le coeur de la thèse repose sur la proposition d’un modèle pour combiner des descripteurs de bas niveau et génériques afin d’obtenir un descripteur plus riche et adapté à un cas d’utilisation donné tout en conservant la généricité afin d’indexer différents types de contenus visuels. L’application considérée étant la recherche par l’exemple, une autre difficulté majeure est la complexité de la proposition, qui doit correspondre à des temps de récupération réduits, même avec de grands ensembles de données. Pour atteindre ces objectifs, nous proposons une approche basée sur la fusion d'index inversés, ce qui permet de mieux représenter le contenu tout en étant associé à une méthode d’accès efficace. Complémentarité des descripteurs : Nous nous concentrons sur l’évaluation de la complémentarité des descripteurs locaux existant en proposant des critères statistiques d’analyse de leur répartition spatiale dans l'image. Ce travail permet de mettre en évidence une synergie entre certaines de ces techniques lorsqu’elles sont jugées suffisamment complémentaires. Les critères spatiaux sont exploités dans un modèle de prédiction à base de régression linéaire, qui a l'avantage de permettre la sélection de combinaisons de descripteurs optimale pour la base considérée mais surtout pour chaque image de cette base. L'approche est évaluée avec le moteur de recherche multi-index, où il montre sa pertinence et met aussi en lumière le fait que la combinaison optimale de descripteurs peut varier d'une image à l'autre. En outre, nous exploitons les deux propositions précédentes pour traiter le problème de la recherche d'images inter-domaines, correspondant notamment à des vues multi-source et multi-date. Deux applications sont explorées dans cette thèse. La recherche d’images inter-domaines est appliquée aux collections photographiques culturelles numérisées d’un musée, où elle démontre son efficacité pour l’exploration et la valorisation de ces contenus à différents niveaux, depuis leur archivage jusqu’à leur exposition ou ex situ. Ensuite, nous explorons l’application de la localisation basée image entre domaines, où la pose d’une image est estimée à partir d’images géoréférencées, en retrouvant des images géolocalisées visuellement similaires à la requête. Numéro de notice : 17573 Affiliation des auteurs : LASTIG MATIS (2012-2019) Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Organisme de stage : MATIS (IGN) ; Nicéphore Cité nature-HAL : Thèse DOI : sans En ligne : https://tel.hal.science/tel-01759559 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=91963