Centre de documentation
scientifique

Investigating the role of image retrieval for visual localization / Martin Humenberger in International journal of computer vision, vol 130 n° 7 (July 2022)  

Public [article]  inInternational journal of computer vision > vol 130 n° 7 (July 2022) . - 1811 - 1836 Titre : Investigating the role of image retrieval for visual localization Type de document : Article/Communication Auteurs : Martin Humenberger, Auteur ; Yohann Cabon, Auteur ; Noé Pion, Auteur ; et al., Auteur Année de publication : 2022 Article en page(s) : 1811 - 1836 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] analyse visuelle [Termes IGN] base de données d'images [Termes IGN] estimation de pose [Termes IGN] flou [Termes IGN] localisation basée image [Termes IGN] localisation basée vision [Termes IGN] point de repère [Termes IGN] précision de localisation [Termes IGN] Ransac (algorithme) [Termes IGN] réalité de terrain [Termes IGN] structure-from-motion [Termes IGN] vision par ordinateur Résumé : (auteur) Visual localization, i.e., camera pose estimation in a known scene, is a core component of technologies such as autonomous driving and augmented reality. State-of-the-art localization approaches often rely on image retrieval techniques for one of two purposes: (1) provide an approximate pose estimate or (2) determine which parts of the scene are potentially visible in a given query image. It is common practice to use state-of-the-art image retrieval algorithms for both of them. These algorithms are often trained for the goal of retrieving the same landmark under a large range of viewpoint changes which often differs from the requirements of visual localization. In order to investigate the consequences for visual localization, this paper focuses on understanding the role of image retrieval for multiple visual localization paradigms. First, we introduce a novel benchmark setup and compare state-of-the-art retrieval representations on multiple datasets using localization performance as metric. Second, we investigate several definitions of “ground truth” for image retrieval. Using these definitions as upper bounds for the visual localization paradigms, we show that there is still significant room for improvement. Third, using these tools and in-depth analysis, we show that retrieval performance on classical landmark retrieval or place recognition tasks correlates only for some but not all paradigms to localization performance. Finally, we analyze the effects of blur and dynamic scenes in the images. We conclude that there is a need for retrieval approaches specifically designed for localization paradigms. Our benchmark and evaluation protocols are available at https://github.com/naver/kapture-localization. Numéro de notice : A2022-538 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article DOI : 10.1007/s11263-022-01615-7 Date de publication en ligne : 25/05/2022 En ligne : https://doi.org/10.1007/s11263-022-01615-7 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=101070 [article]

Summarizing large scale 3D mesh for urban navigation / Imeen Ben Salah in Robotics and autonomous systems, vol 152 (June 2022)  

Public [article]  inRobotics and autonomous systems > vol 152 (June 2022) . - n° 104037 Titre : Summarizing large scale 3D mesh for urban navigation Type de document : Article/Communication Auteurs : Imeen Ben Salah, Auteur ; Sébastien Kramm, Auteur ; Cédric Demonceaux, Auteur ; et al., Auteur Année de publication : 2022 Article en page(s) : n° 104037 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] algorithme ICP [Termes IGN] carte en 3D [Termes IGN] données lidar [Termes IGN] entropie [Termes IGN] image hémisphérique [Termes IGN] image RVB [Termes IGN] information sémantique [Termes IGN] localisation basée vision [Termes IGN] maillage [Termes IGN] navigation autonome [Termes IGN] précision géométrique (imagerie) [Termes IGN] précision radiométrique [Termes IGN] profondeur [Termes IGN] Rouen [Termes IGN] saillance [Termes IGN] zone urbaine Résumé : (auteur) Cameras have become increasingly common in vehicles, smartphones, and advanced driver assistance systems. The areas of application of these cameras in the world of intelligent transportation systems are becoming more and more varied: pedestrian detection, line crossing detection, navigation, …A major area of research currently focuses on mapping that is essential for localization and navigation. However, this step generates an important problem of memory management. Indeed, the memory space required to accommodate the map of a small city is measured in tens gigabytes. In addition, several providers today are competing to produce High-Definition (HD) maps. These maps offer a rich and detailed representation of the environment for highly accurate localization. However, they require a large storage capacity and high transmission and update costs. To overcome these problems, we propose a solution to summarize this type of map by reducing the size while maintaining the relevance of the data for navigation based on vision only. The summary consists in a set of spherical images augmented by depth and semantic information and allowing to keep the same level of visibility in every directions. These spheres are used as landmarks to offer guidance information to a distant agent. They then have to guarantee, at a lower cost, a good level of precision and speed during navigation. Some experiments on real data demonstrate the feasibility for obtaining a summarized map while maintaining a localization with interesting performances. Numéro de notice : A2022-290 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article DOI : 10.1016/j.robot.2022.104037 Date de publication en ligne : 03/02/2022 En ligne : https://doi.org/10.1016/j.robot.2022.104037 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=100335 [article]

Apprentissage profond et IA pour l’amélioration de la robustesse des techniques de localisation par vision artificielle / Achref Elouni (2021)  

Public Titre : Apprentissage profond et IA pour l’amélioration de la robustesse des techniques de localisation par vision artificielle Type de document : Thèse/HDR Auteurs : Achref Elouni, Auteur ; Michel Dhome, Directeur de thèse Editeur : Clermont-Ferrand : Université Clermont Auvergne Année de publication : 2021 Importance : 121 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse pour obtenir le grade de Docteur d’Université, Spécialité Informatique Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes IGN] apprentissage profond [Termes IGN] estimation de pose [Termes IGN] état de l'art [Termes IGN] localisation basée vision [Termes IGN] méthode robuste [Termes IGN] points homologues [Termes IGN] réalité augmentée [Termes IGN] reconstruction 3D [Termes IGN] réseau neuronal convolutif [Termes IGN] segmentation sémantique Index. décimale : THESE Thèses et HDR Résumé : (Auteur) Le travail réalisé dans le cadre de ce doctorat se place dans le contexte d’un projet collaboratif ayant pour objectif la mise au point d’un casque de réalité augmenté. Afin de faire fonctionner un tel dispositif il s’avère nécessaire de calculer la position d’une caméra embarquée dans l’environnent d’intervention de l’utilisateur. Récemment, deux technologies dénommées SLAM (pour « Simultaneous Localization And Mapping ») et SfM (pour « Structure From Motion ») ont fait preuve de performances indéniables pour la reconstruction 3D d’un environnement à partir d’une collection d’images. Nous nous sommes intéressés à elles afin de résoudre le problème délicat de l’initialisation de notre dispositif ou de sa ré-initialisation en cas d’échec du suivi temps réel de la position. En effet, malgré les travaux de recherche réalisés ces dernières années, plusieurs limitations empêchent les système de localisation d’estimer une pose parfaite dans toutes les conditions. Ces conditions incluent les changements légers du contexte comme les variations de la luminosité, du point d’observation ou des modifications géométriques telles que l’ajout d’objets. Pour faire face à ces limitations et afin de proposer une solution facile à déployer,nous avons étudié la possibilité d’intégrer dans le processus de localisation des informations invariantes qui pourraient augmenter la probabilité d’avoir une pose précise. Deux types d’information invariante (sémantique et géométrique) ont été exploitées dans cette thèse pour aider le système de localisation à trouver sa position. Les solutions proposées ont été validées sur plusieurs jeux de données internes et externes (Dubrovnik, Rome, Oxford, Musée) grâce auxquels nous avons pu comparer nos résultats avec les travaux décrits dans l’état de l’art. Deux types d’images requêtes ont été étudiées dans cette thèse : celle composée d’une seule image et celle issue d’un dispositif stéréo. L’avantage d’utiliser une paire stéréo est de pouvoir trianguler des points homologues afin d’extraire leur hauteur et d’exploiter cette dernière dans le processus de localisation. L’autre approche envisagée consiste à utiliser comme invariant le label des pixels obtenu par un algorithme de segmentation sémantique basé sur un réseau de neurones convolutionnel. Dans les deux cas, les résultats obtenus montrent une amélioration sensible sur la précision des poses estimées. Note de contenu : 1. Introduction générale 1.1 Contexte 2. État de l’art 2.1 Le problème de la reconstruction 3D 2.2 Localisation visuelle basée sur l’image 2.3 Conclusion 3. Descripteur géométrique-visuel pour une localisation améliorée ba?sée sur l’image utilisant un a priori sur la verticale 3.1 Introduction 3.2 Méthode proposée 3.3 Étude expérimentale 3.4 Conclusion 4. La segmentation sémantique pour améliorer la localisation visuelle 4.1 Introduction 4.2 Méthode proposée 4.3 Étude expérimentale 4.4 Conclusion 5. La segmentation sémantique pour améliorer la recherche d’image par le contenu 5.1 Introduction 5.2 Méthode proposée 5.3 Étude expérimentale 5.4 Conclusion 6. Conclusion et Perspectives Numéro de notice : 26763 Affiliation des auteurs : non IGN Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Note de thèse : Thèse de Doctorat : Informatique : Clermont Ferrand : 2021 Organisme de stage : Institut Pascal nature-HAL : Thèse DOI : sans Date de publication en ligne : 03/02/2022 En ligne : https://tel.hal.science/tel-03554182/ Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99827

Improving image description with auxiliary modality for visual localization in challenging conditions / Nathan Piasco in International journal of computer vision, vol 29 n° 1 (January 2021)  

Public [article]  inInternational journal of computer vision > vol 29 n° 1 (January 2021) . - pp 185 - 202 Titre : Improving image description with auxiliary modality for visual localization in challenging conditions Type de document : Article/Communication Auteurs : Nathan Piasco , Auteur ; Désiré Sidibé, Auteur ; Valérie Gouet-Brunet , Auteur ; Cédric Demonceaux, Auteur Année de publication : 2021 Projets : PLaTINUM / Gouet-Brunet, Valérie Article en page(s) : pp 185 - 202 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] descripteur [Termes IGN] localisation basée image [Termes IGN] localisation basée vision Résumé : (auteur) Image indexing for lifelong localization is a key component for a large panel of applications, including robot navigation, autonomous driving or cultural heritage valorization. The principal difficulty in long-term localization arises from the dynamic changes that affect outdoor environments. In this work, we propose a new approach for outdoor large scale image-based localization that can deal with challenging scenarios like cross-season, cross-weather and day/night localization. The key component of our method is a new learned global image descriptor, that can effectively benefit from scene geometry information during training. At test time, our system is capable of inferring the depth map related to the query image and use it to increase localization accuracy. We show through extensive evaluation that our method can improve localization performances, especially in challenging scenarios when the visual appearance of the scene has changed. Our method is able to leverage both visual and geometric clues from monocular images to create discriminative descriptors for cross-season localization and effective matching of images acquired at different time periods. Our method can also use weakly annotated data to localize night images across a reference dataset of daytime images. Finally we extended our method to reflectance modality and we compare multi-modal descriptors respectively based on geometry, material reflectance and a combination of both. Numéro de notice : A2021-132 Affiliation des auteurs : UGE-LASTIG+Ext (2020- ) Autre URL associée : vers HAL Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11263-020-01363-6 Date de publication en ligne : 28/08/2020 En ligne : https://doi.org/10.1007/s11263-020-01363-6 Format de la ressource électronique : url article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=96971 [article]

A precise visual localisation method for the Chinese Chang’e‐4 Yutu‐2 rover / YouQing Ma in Photogrammetric record, vol 35 n° 169 (March 2020)  

Public [article]  inPhotogrammetric record > vol 35 n° 169 (March 2020) . - pp 10 - 39 Titre : A precise visual localisation method for the Chinese Chang’e‐4 Yutu‐2 rover Type de document : Article/Communication Auteurs : YouQing Ma, Auteur ; ShaoChuang Liu, Auteur ; Bing Sima, Auteur ; et al., Auteur Année de publication : 2020 Article en page(s) : pp 10 - 39 Note générale : Bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Technologies spatiales [Termes IGN] compensation par faisceaux [Termes IGN] compensation par moindres carrés [Termes IGN] localisation basée vision [Termes IGN] Lune [Termes IGN] mission spatiale Résumé : (Auteur) Precise localisation of the Yutu‐2 moon rover plays an important role in path planning, obstacle avoidance and navigating to target features. To provide high‐precision localisation information, a stereo bundle adjustment method using the theory of the unit quaternions is presented for the first time. To improve the precision and robustness of the proposed method, the rover's pose, from a visual odometry technique assisted by an inertial measurement unit and the rotation angles of the mast mechanism, is viewed as a pseudo‐observation. A reasonable weighting strategy and a rational geometric constraint condition of the stereo cameras is also invoked. Experimental results demonstrate that the proposed method provides more accurate localisation results than either a bundle adjustment alone or a weighted total least‐squares method. The proposed method has been successfully used in Chang'e‐4 mission operations. Numéro de notice : A2020-130 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1111/phor.12309 Date de publication en ligne : 29/03/2020 En ligne : https://doi.org/10.1111/phor.12309 Format de la ressource électronique : URL Article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=94807 [article]

Learning scene geometry for visual localization in challenging conditions / Nathan Piasco (2019)    

Permalink

Vision-based localization with discriminative features from heterogeneous visual data / Nathan Piasco (2019)  

Permalink

A survey on visual-based localization : on the benefit of heterogeneous data / Nathan Piasco in Pattern recognition, vol 74 (February 2018)  

Permalink

Apprentissage de modalités auxiliaires pour la localisation basée vision / Nathan Piasco (2018)    

Permalink

Localisation Basée Vision : de l'hétérogénéité des approches et des données / Nathan Piasco (2017)    

Permalink

Evaluation of SIFT and SURF for vision based localization / Xiaozhi Qu (2016)    

Permalink