Centre dedocumentation
scientifique

Improving image description with auxiliary modality for visual localization in challenging conditions / Nathan Piasco in International journal of computer vision, vol 128 n° inconnu ([01/09/2020])  

Public [article]  inInternational journal of computer vision > vol 128 n° inconnu [01/09/2020] Titre : Improving image description with auxiliary modality for visual localization in challenging conditions Type de document : Article/Communication Auteurs : Nathan Piasco , Auteur ; Désiré Sidibé, Auteur ; Valérie Gouet-Brunet , Auteur ; Cédric Demonceaux, Auteur Année de publication : 2020 Projets : PLaTINUM / Gouet-Brunet, Valérie Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] localisation basée image [Termes descripteurs IGN] localisation basée vision Résumé : (auteur) Image indexing for lifelong localization is a key component for a large panel of applications, including robot navigation, autonomous driving or cultural heritage valorization. The principal difficulty in long-term localization arises from the dynamic changes that affect outdoor environments. In this work, we propose a new approach for outdoor large scale image-based localization that can deal with challenging scenarios like cross-season, cross-weather and day/night localization. The key component of our method is a new learned global image descriptor, that can effectively benefit from scene geometry information during training. At test time, our system is capable of inferring the depth map related to the query image and use it to increase localization accuracy. We show through extensive evaluation that our method can improve localization performances, especially in challenging scenarios when the visual appearance of the scene has changed. Our method is able to leverage both visual and geometric clues from monocular images to create discriminative descriptors for cross-season localization and effective matching of images acquired at different time periods. Our method can also use weakly annotated data to localize night images across a reference dataset of daytime images. Finally we extended our method to reflectance modality and we compare multi-modal descriptors respectively based on geometry, material reflectance and a combination of both. Numéro de notice : A2020-508 Affiliation des auteurs : LaSTIG+Ext (2020- ) Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11263-020-01363-6 date de publication en ligne : 28/08/2020 En ligne : https://doi.org/10.1007/s11263-020-01363-6 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95738 [article]

Semantic relatedness algorithm for keyword sets of geographic metadata / Zugang Chen in Cartography and Geographic Information Science, vol 47 n° 2 (February 2020)  

Public [article]  inCartography and Geographic Information Science > vol 47 n° 2 (February 2020) . - pp 125 - 140 Titre : Semantic relatedness algorithm for keyword sets of geographic metadata Type de document : Article/Communication Auteurs : Zugang Chen, Auteur ; Yaping Yang, Auteur Année de publication : 2020 Article en page(s) : pp 125 - 140 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Géomatique web [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] Infrastructure de données [Termes descripteurs IGN] internet interactif [Termes descripteurs IGN] métadonnées géographiques [Termes descripteurs IGN] relation sémantique [Termes descripteurs IGN] similitude sémantique [Termes descripteurs IGN] système à base de connaissances [Termes descripteurs IGN] terminologie [Termes descripteurs IGN] thesaurus Résumé : (auteur) Advances in linked geospatial data, recommender systems, and geographic information retrieval have led to urgent necessity to assess the overall semantic relatedness between keyword sets of geographic metadata. In this study, a new model is proposed for computing the semantic relatedness between arbitrary two keyword sets of geographic metadata stored in current global spatial data infrastructures. In this model, the overall semantic relatedness is derived by pairing these keywords that are found to be most relevant to each other and averaging their relatedness. To find the most relevant keywords across two keyword sets precisely, the keywords in the keyword set of geographic metadata are divided into three kinds: the thesaurus elements, the WordNet elements, and the statistical elements. The thesaurus-lexical relatedness measure (TLRM), the extended thesaurus-lexical relatedness measure (ETLRM), and the Longest Common Substring method are proposed to compute the semantic relatedness between two thesaurus elements, two WordNet elements, a thesaurus element, and a WordNet element and two statistical elements, respectively. A human data set – the geographic-metadata’s keyword set relatedness dataset, which was used to evaluate the precision of the semantic relatedness measures of keyword sets of geographic metadata, was created. The proposed method was evaluated against the human-generated relatedness judgments and was compared with the Jaccard method and Vector Space Model. The results demonstrated that the proposed method achieved a high correlation with human judgments and outperformed the existing methods. Finally, the proposed method was applied to quantitatively linked geospatial data. Numéro de notice : A2020-057 Affiliation des auteurs : non IGN Thématique : GEOMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1080/15230406.2019.1647797 date de publication en ligne : 20/09/2017 En ligne : https://doi.org/10.1080/15230406.2019.1647797 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=94573 [article]

Cross-year multi-modal image retrieval using siamese networks / Margarita Khokhlova (2020)  

Public Titre : Cross-year multi-modal image retrieval using siamese networks Type de document : Article/Communication Auteurs : Margarita Khokhlova, Auteur ; Valérie Gouet-Brunet , Auteur ; Nathalie Abadie , Auteur ; Liming Chen, Auteur Congrès : ICIP 2020, 27th IEEE International Conference on Image Processing (25 - 28 octobre 2020; Abou Dhabi, Emirats Arabes Unis) , Commanditaire Editeur : New York : Institute of Electrical and Electronics Engineers IEEE Année de publication : 2020 Projets : Alegoria / Gouet-Brunet, Valérie Importance : pp 2361 - 2365 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] apprentissage profond [Termes descripteurs IGN] classification par réseau neuronal convolutif [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] segmentation sémantique Résumé : (auteur) This paper introduces a multi-modal network that learns to retrieve by content vertical aerial images of French urban and rural territories taken about 15 years apart. This means it should be invariant against a big range of changes as the (nat-ural) landscape evolves over time. It leverages the original images and semantically segmented and labeled regions. The core of the method is a Siamese network that learns to extract features from corresponding image pairs across time. These descriptors are discriminative enough, such that a simple kNN classifier on top, suffices as final geo-matching criteria. The method outperformed SOTA "off-the-shelf" image descrip-tors GEM and ResNet50 on the new aerial images dataset. Numéro de notice : C2020-015 Affiliation des auteurs : LaSTIG+Ext (2020- ) Autre URL associée : vers HAL Thématique : IMAGERIE/INFORMATIQUE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1109/ICIP40778.2020.9190662 date de publication en ligne : 01/10/2020 En ligne : https://doi.org/10.1109/ICIP40778.2020.9190662 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95684

Challenging deep image descriptors for retrieval in heterogeneous iconographic collections / Dimitri Gominski (2019)  

Public Titre : Challenging deep image descriptors for retrieval in heterogeneous iconographic collections Type de document : Article/Communication Auteurs : Dimitri Gominski, Auteur ; Martyna Poreba , Auteur ; Valérie Gouet-Brunet , Auteur ; Liming Chen, Auteur Congrès : SUMAC 2019, 1st workshop on Structuring and Understanding of Multimedia heritAge Contents (21 octobre 2019; Nice, France) , Commanditaire Editeur : New York [Etats-Unis] : Association for computing machinery ACM Année de publication : 2019 Autre Editeur : Ithaca [New York - Etats-Unis] : ArXiv - Université Cornell Projets : Alegoria / Gouet-Brunet, Valérie Importance : pp 31 - 38 Format : 21 x 30 cm Note générale : bibliographie Preprint publié sur ArXiv https://arxiv.org/abs/1909.08866v1 Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes descripteurs IGN] analyse visuelle [Termes descripteurs IGN] apprentissage profond [Termes descripteurs IGN] base de données d'images [Termes descripteurs IGN] collection [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] données hétérogènes [Termes descripteurs IGN] exploration de données [Termes descripteurs IGN] extraction de traits caractéristiques [Termes descripteurs IGN] iconographie [Termes descripteurs IGN] image multi sources [Termes descripteurs IGN] indexation [Termes descripteurs IGN] jeu de données [Termes descripteurs IGN] recherche d'image basée sur le contenu Résumé : (auteur) This article proposes to study the behavior of recent and efficient state-of-the-art deep-learning based image descriptors for content-based image retrieval, facing a panel of complex variations appearing in heterogeneous image datasets, in particular in cultural collections that may involve multi-source, multi-date and multi-view contents. For this purpose, we introduce a novel dataset, namely Alegoria dataset, consisting of 12,952 iconographic contents representing landscapes of the French territory, and encapsultating a large range of intra-class variations of appearance which were finely labelled. Six deep features (DELF, NetVLAD, GeM, MAC, RMAC, SPoC) and a hand-crafted local descriptor (ORB) are evaluated against these variations. Their performance are discussed, with the objective of providing the reader with research directions for improving image description techniques dedicated to complex heterogeneous datasets that are now increasingly present in topical applications targeting heritage valorization. Numéro de notice : C2019-022 Affiliation des auteurs : LaSTIG (2020- ) Autre URL associée : ArXiv Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1145/3347317.3357246 date de publication en ligne : 19/09/2019 En ligne : https://doi.org/10.1145/3347317.3357246 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=93623

Voir aussi

• SUMAC 2019, 1st workshop on Structuring and Understanding of Multimedia heritAge Contents / Valérie Gouet-Brunet (2019)  

Learning scene geometry for visual localization in challenging conditions / Nathan Piasco (2019)    

Public Titre : Learning scene geometry for visual localization in challenging conditions Type de document : Article/Communication Auteurs : Nathan Piasco , Auteur ; Désiré Sidibé, Auteur ; Valérie Gouet-Brunet , Auteur ; Cédric Demonceaux, Auteur Congrès : ICRA 2019, International Conference on Robotics and Automation (20 - 24 mai 2019; Montréal, Québec - Canada) , Commanditaire Editeur : New York : Institute of Electrical and Electronics Engineers IEEE Année de publication : 2019 Projets : PLaTINUM / Gouet-Brunet, Valérie Importance : pp 9094 - 9100 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] analyse d'image orientée objet [Termes descripteurs IGN] analyse visuelle [Termes descripteurs IGN] appariement d'images [Termes descripteurs IGN] carte de profondeur [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] géométrie de l'image [Termes descripteurs IGN] image RVB [Termes descripteurs IGN] localisation basée vision [Termes descripteurs IGN] précision de localisation [Termes descripteurs IGN] prise de vue nocturne [Termes descripteurs IGN] robotique [Termes descripteurs IGN] scène urbaine [Termes descripteurs IGN] variation diurne [Termes descripteurs IGN] variation saisonnière [Termes descripteurs IGN] vision par ordinateur Résumé : (auteur) We propose a new approach for outdoor large scale image based localization that can deal with challenging scenarios like cross-season, cross-weather, day/night and longterm localization. The key component of our method is a new learned global image descriptor, that can effectively benefit from scene geometry information during training. At test time, our system is capable of inferring the depth map related to the query image and use it to increase localization accuracy. We are able to increase recall@1 performances by 2.15% on cross-weather and long-term localization scenario and by 4.24% points on a challenging winter/summer localization sequence versus state-of-the-art methods. Our method can also use weakly annotated data to localize night images across a reference dataset of daytime images. Numéro de notice : C2019-002 Affiliation des auteurs : LaSTIG+Ext (2020- ) Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1109/ICRA.2019.8794221 date de publication en ligne : 12/08/2019 En ligne : http://doi.org/10.1109/ICRA.2019.8794221 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=93774

Documents numériques

en open access Learning scene geometry... - pdf auteur Adobe Acrobat PDF

Can a machine generate humanlike language descriptions for a remote sensing image? / Zhenwei Shi in IEEE Transactions on geoscience and remote sensing, vol 55 n° 6 (June 2017)  

Permalink

Recherche multi-descripteurs dans les fonds photographiques numérisés / Neelanjan Bhowmik (2017)    

Permalink

Efficient fusion of multidimensional descriptors for image retrieval / Neelanjan Bhowmik (2014)    

Permalink