Centre dedocumentation
scientifique

Improving image description with auxiliary modality for visual localization in challenging conditions / Nathan Piasco in International journal of computer vision, vol 128 n° inconnu ([01/09/2020])  

Public [article]  inInternational journal of computer vision > vol 128 n° inconnu [01/09/2020] Titre : Improving image description with auxiliary modality for visual localization in challenging conditions Type de document : Article/Communication Auteurs : Nathan Piasco , Auteur ; Désiré Sidibé, Auteur ; Valérie Gouet-Brunet , Auteur ; Cédric Demonceaux, Auteur Année de publication : 2020 Projets : PLaTINUM / Gouet-Brunet, Valérie Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] localisation basée image [Termes descripteurs IGN] localisation basée vision Résumé : (auteur) Image indexing for lifelong localization is a key component for a large panel of applications, including robot navigation, autonomous driving or cultural heritage valorization. The principal difficulty in long-term localization arises from the dynamic changes that affect outdoor environments. In this work, we propose a new approach for outdoor large scale image-based localization that can deal with challenging scenarios like cross-season, cross-weather and day/night localization. The key component of our method is a new learned global image descriptor, that can effectively benefit from scene geometry information during training. At test time, our system is capable of inferring the depth map related to the query image and use it to increase localization accuracy. We show through extensive evaluation that our method can improve localization performances, especially in challenging scenarios when the visual appearance of the scene has changed. Our method is able to leverage both visual and geometric clues from monocular images to create discriminative descriptors for cross-season localization and effective matching of images acquired at different time periods. Our method can also use weakly annotated data to localize night images across a reference dataset of daytime images. Finally we extended our method to reflectance modality and we compare multi-modal descriptors respectively based on geometry, material reflectance and a combination of both. Numéro de notice : A2020-508 Affiliation des auteurs : LaSTIG MATIS+Ext (2012-2019) Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11263-020-01363-6 date de publication en ligne : 28/08/2020 En ligne : https://doi.org/10.1007/s11263-020-01363-6 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95738 [article]

Semantic signatures for large-scale visual localization / Li Weng in Multimedia tools and applications, vol inconnu (2020)  

Public [article]  inMultimedia tools and applications > vol inconnu (2020) Titre : Semantic signatures for large-scale visual localization Type de document : Article/Communication Auteurs : Li Weng , Auteur ; Valérie Gouet-Brunet , Auteur ; Bahman Soheilian , Auteur Année de publication : 2020 Projets : THINGS2D0 / Gouet-Brunet, Valérie Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] appariement sémantique [Termes descripteurs IGN] étiquetage sémantique [Termes descripteurs IGN] extraction de traits caractéristiques [Termes descripteurs IGN] image numérique [Termes descripteurs IGN] information sémantique [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] zone urbaine Résumé : (auteur) Visual localization is a useful alternative to standard localization techniques. It works by utilizing cameras. In a typical scenario, features are extracted from captured images and compared with geo-referenced databases. Location information is then inferred from the matching results. Conventional schemes mainly use low-level visual features. These approaches offer good accuracy but suffer from scalability issues. In order to assist localization in large urban areas, this work explores a different path by utilizing high-level semantic information. It is found that object information in a street view can facilitate localization. A novel descriptor scheme called “semantic signature” is proposed to summarize this information. A semantic signature consists of type and angle information of visible objects at a spatial location. Several metrics and protocols are proposed for signature comparison and retrieval. They illustrate different trade-offs between accuracy and complexity. Extensive simulation results confirm the potential of the proposed scheme in large-scale applications. This paper is an extended version of a conference paper in CBMI’18. A more efficient retrieval protocol is presented with additional experiment results. Numéro de notice : A2020-367 Affiliation des auteurs : LaSTIG MATIS+Ext (2012-2019) Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11042-020-08992-6 date de publication en ligne : 07/05/2020 En ligne : https://doi.org/10.1007/s11042-020-08992-6 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95407 [article]

Cross-year multi-modal image retrieval using siamese networks / Margarita Khokhlova (2020)  

Public Titre : Cross-year multi-modal image retrieval using siamese networks Type de document : Article/Communication Auteurs : Margarita Khokhlova, Auteur ; Valérie Gouet-Brunet , Auteur ; Nathalie Abadie , Auteur ; Liming Chen, Auteur Editeur : New York : Institute of Electrical and Electronics Engineers IEEE Année de publication : 2020 Projets : Alegoria / Gouet-Brunet, Valérie Conférence : ICIP 2020, 27th IEEE International Conference on Image Processing 25/10/2020 28/10/2020 Abou Dhabi Emirats Arabes Unis Proceedings IEEE Importance : pp 2361 - 2365 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] apprentissage profond [Termes descripteurs IGN] classification par réseau neuronal convolutif [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] segmentation sémantique Résumé : (auteur) This paper introduces a multi-modal network that learns to retrieve by content vertical aerial images of French urban and rural territories taken about 15 years apart. This means it should be invariant against a big range of changes as the (nat-ural) landscape evolves over time. It leverages the original images and semantically segmented and labeled regions. The core of the method is a Siamese network that learns to extract features from corresponding image pairs across time. These descriptors are discriminative enough, such that a simple kNN classifier on top, suffices as final geo-matching criteria. The method outperformed SOTA "off-the-shelf" image descrip-tors GEM and ResNet50 on the new aerial images dataset. Numéro de notice : C2020-015 Affiliation des auteurs : LaSTIG+Ext (2020- ) Autre URL associée : vers HAL Thématique : IMAGERIE/INFORMATIQUE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1109/ICIP40778.2020.9190662 date de publication en ligne : 01/10/2020 En ligne : https://doi.org/10.1109/ICIP40778.2020.9190662 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95684

Voir aussi

• Recherche multimodale d'images aériennes multi-date à l'aide d'un réseau siamois / Margarita Khokhlova (2020)    

Recherche multimodale d'images aériennes multi-date à l'aide d'un réseau siamois / Margarita Khokhlova (2020)    

Public Titre : Recherche multimodale d'images aériennes multi-date à l'aide d'un réseau siamois Type de document : Article/Communication Auteurs : Margarita Khokhlova, Auteur ; Valérie Gouet-Brunet , Auteur ; Nathalie Abadie , Auteur ; Liming Chen, Auteur Editeur : Vannes : Université de Bretagne Sud Année de publication : 2020 Projets : 1-Pas de projet / Conférence : RFIAP 2020, Reconnaissance des Formes, Image, Apprentissage et Perception 23/06/2020 26/06/2020 Vannes France Open Access Proceedings Importance : 11 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] analyse du paysage [Termes descripteurs IGN] appariement d'images [Termes descripteurs IGN] architecture de réseau [Termes descripteurs IGN] BD ortho [Termes descripteurs IGN] BD Topo [Termes descripteurs IGN] classification barycentrique [Termes descripteurs IGN] classification par réseau neuronal convolutif [Termes descripteurs IGN] détection de changement [Termes descripteurs IGN] données multitemporelles [Termes descripteurs IGN] géolocalisation [Termes descripteurs IGN] image aérienne [Termes descripteurs IGN] image multitemporelle [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] segmentation sémantique Résumé : (auteur) Cet article présente un réseau multimodal qui met en correspondance des images aériennes de territoires urbains et ruraux français prises à environ 15 ans d'intervalle. Il devrait être invariant à un large éventail de changements, tels que l'évolution du paysage au fil des années. Il exploite les images originales et les régions sémantiquement segmentées et étiquetées. Le coeur de la méthode est un réseau siamois qui apprend à extraire des caractéristiques des paires d'images correspondantes dans le temps et des paires non correspondantes. Ces descripteurs sont suffisamment discriminants pour qu'un simple classifieur k-NN suffise comme critère de géo-correspondance final. Dans cet article, nous dé-montrons que notre descripteur siamois surpasse les autres descripteurs d'images en termes de recherche d'images par contenu à travers le temps. Numéro de notice : C2020-003 Affiliation des auteurs : LaSTIG+Ext (2020- ) Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésNat DOI : sans En ligne : https://cap-rfiap2020.sciencesconf.org/data/RFIAP_2020_paper_21.pdf Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95446

Voir aussi

• Cross-year multi-modal image retrieval using siamese networks / Margarita Khokhlova (2020)  

Documents numériques

en open access rfiap2020_21_cameraready.pdf Adobe Acrobat PDF

Saliency and Burstiness for Feature Selection in CBIR / Kamel Guissous (2020)  

Public Titre : Saliency and Burstiness for Feature Selection in CBIR Type de document : Article/Communication Auteurs : Kamel Guissous , Auteur ; Valérie Gouet-Brunet , Auteur Editeur : New York : Institute of Electrical and Electronics Engineers IEEE Année de publication : 2020 Projets : 2-Pas d'info accessible - article non ouvert / Conférence : EUVIP 2019, 8th European Workshop on Visual Information Processing 28/10/2019 31/10/2019 Rome Italie Proceedings IEEE Importance : pp 111 - 116 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes descripteurs IGN] analyse d'image orientée objet [Termes descripteurs IGN] analyse visuelle [Termes descripteurs IGN] extraction de traits caractéristiques [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] saillance [Termes descripteurs IGN] zone saillante 3D Résumé : (auteur) The paper addresses the problem of visual feature selection in content-based image retrieval (CBIR). We propose to study two strategies: the first one is using visual saliency, that selects the most salient features of the image and the second one exploits burstiness, that detects and processes the repeated visual elements in the image. To detect and describe the visual features in images, we rely on a deep local features approach based on convolutional neural network. The two strategies are evaluated for image retrieval on different datasets, according to two criteria: quality of retrieval and volume of manipulated features. Numéro de notice : C2019-027 Affiliation des auteurs : LaSTIG MATIS (2012-2019) Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1109/EUVIP47703.2019.8946126 date de publication en ligne : 02/01/2020 En ligne : https://ieeexplore.ieee.org/document/8946126 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=94521

A spatio-temporal web-application for the understanding of the formation of the Parisian metropolis / Emile Blettery (2020)  

Permalink

Challenging deep image descriptors for retrieval in heterogeneous iconographic collections / Dimitri Gominski (2019)  

Permalink

Geometric camera pose refinement with learned depth maps / Nathan Piasco (2019)  

Permalink

Learning scene geometry for visual localization in challenging conditions / Nathan Piasco (2019)    

Permalink

Multimodal scene understanding: algorithms, applications and deep learning, ch. 8. Multimodal localization for embedded systems: a survey / Imane Salhi (2019)  

Permalink

Perspective-n-learned-point: pose estimation from relative depth / Nathan Piasco (2019)    

Permalink

SUMAC 2019, 1st workshop on Structuring and Understanding of Multimedia heritAge Contents / Valérie Gouet-Brunet (2019)  

Permalink

Vision-based localization with discriminative features from heterogeneous visual data / Nathan Piasco (2019)  

Permalink

Unsupervised detection of ruptures in spatial relationships in video sequences based on log‑likelihood ratio / Abdalbassir Abou-Elailah in Pattern Analysis and Applications, vol 21 n° 3 (August 2018)  

Permalink

A survey on visual-based localization : on the benefit of heterogeneous data / Nathan Piasco in Pattern recognition, vol 74 (February 2018)  

Permalink