Centre dedocumentation
scientifique

Improving image description with auxiliary modality for visual localization in challenging conditions / Nathan Piasco in International journal of computer vision, vol 128 n° inconnu ([01/09/2020])  

Public [article]  inInternational journal of computer vision > vol 128 n° inconnu [01/09/2020] Titre : Improving image description with auxiliary modality for visual localization in challenging conditions Type de document : Article/Communication Auteurs : Nathan Piasco , Auteur ; Désiré Sidibé, Auteur ; Valérie Gouet-Brunet , Auteur ; Cédric Demonceaux, Auteur Année de publication : 2020 Projets : PLaTINUM / Gouet-Brunet, Valérie Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] localisation basée image [Termes descripteurs IGN] localisation basée vision Résumé : (auteur) Image indexing for lifelong localization is a key component for a large panel of applications, including robot navigation, autonomous driving or cultural heritage valorization. The principal difficulty in long-term localization arises from the dynamic changes that affect outdoor environments. In this work, we propose a new approach for outdoor large scale image-based localization that can deal with challenging scenarios like cross-season, cross-weather and day/night localization. The key component of our method is a new learned global image descriptor, that can effectively benefit from scene geometry information during training. At test time, our system is capable of inferring the depth map related to the query image and use it to increase localization accuracy. We show through extensive evaluation that our method can improve localization performances, especially in challenging scenarios when the visual appearance of the scene has changed. Our method is able to leverage both visual and geometric clues from monocular images to create discriminative descriptors for cross-season localization and effective matching of images acquired at different time periods. Our method can also use weakly annotated data to localize night images across a reference dataset of daytime images. Finally we extended our method to reflectance modality and we compare multi-modal descriptors respectively based on geometry, material reflectance and a combination of both. Numéro de notice : A2020-508 Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11263-020-01363-6 date de publication en ligne : 28/08/2020 En ligne : https://doi.org/10.1007/s11263-020-01363-6 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95738 [article]

Semantic signatures for large-scale visual localization / Li Weng in Multimedia tools and applications, vol inconnu (2020)  

Public [article]  inMultimedia tools and applications > vol inconnu (2020) Titre : Semantic signatures for large-scale visual localization Type de document : Article/Communication Auteurs : Li Weng , Auteur ; Valérie Gouet-Brunet , Auteur ; Bahman Soheilian , Auteur Année de publication : 2020 Projets : THINGS2D0 / Gouet-Brunet, Valérie Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] appariement sémantique [Termes descripteurs IGN] étiquetage sémantique [Termes descripteurs IGN] extraction de traits caractéristiques [Termes descripteurs IGN] image numérique [Termes descripteurs IGN] information sémantique [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] zone urbaine Résumé : (auteur) Visual localization is a useful alternative to standard localization techniques. It works by utilizing cameras. In a typical scenario, features are extracted from captured images and compared with geo-referenced databases. Location information is then inferred from the matching results. Conventional schemes mainly use low-level visual features. These approaches offer good accuracy but suffer from scalability issues. In order to assist localization in large urban areas, this work explores a different path by utilizing high-level semantic information. It is found that object information in a street view can facilitate localization. A novel descriptor scheme called “semantic signature” is proposed to summarize this information. A semantic signature consists of type and angle information of visible objects at a spatial location. Several metrics and protocols are proposed for signature comparison and retrieval. They illustrate different trade-offs between accuracy and complexity. Extensive simulation results confirm the potential of the proposed scheme in large-scale applications. This paper is an extended version of a conference paper in CBMI’18. A more efficient retrieval protocol is presented with additional experiment results. Numéro de notice : A2020-367 Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11042-020-08992-6 date de publication en ligne : 07/05/2020 En ligne : https://doi.org/10.1007/s11042-020-08992-6 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95407 [article]

Recherche multimodale d'images aériennes multi-date à l'aide d'un réseau siamois / Margarita Khokhlova (2020)    

Public Titre : Recherche multimodale d'images aériennes multi-date à l'aide d'un réseau siamois Type de document : Article/Communication Auteurs : Margarita Khokhlova, Auteur ; Valérie Gouet-Brunet , Auteur ; Nathalie Abadie , Auteur ; Liming Chen, Auteur Congrès : RFIAP 2020, Reconnaissance des Formes, Image, Apprentissage et Perception (23 - 26 juin 2020; Vannes, France), Commanditaire Editeur : Vannes : Université de Bretagne Sud Année de publication : 2020 Projets : 1-Pas de projet / Importance : 11 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] analyse du paysage [Termes descripteurs IGN] appariement d'images [Termes descripteurs IGN] architecture de réseau [Termes descripteurs IGN] BD ortho [Termes descripteurs IGN] BD Topo [Termes descripteurs IGN] classification barycentrique [Termes descripteurs IGN] classification par réseau neuronal convolutif [Termes descripteurs IGN] détection de changement [Termes descripteurs IGN] données multitemporelles [Termes descripteurs IGN] géolocalisation [Termes descripteurs IGN] image aérienne [Termes descripteurs IGN] image multitemporelle [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] segmentation sémantique Résumé : (auteur) Cet article présente un réseau multimodal qui met en correspondance des images aériennes de territoires urbains et ruraux français prises à environ 15 ans d'intervalle. Il devrait être invariant à un large éventail de changements, tels que l'évolution du paysage au fil des années. Il exploite les images originales et les régions sémantiquement segmentées et étiquetées. Le coeur de la méthode est un réseau siamois qui apprend à extraire des caractéristiques des paires d'images correspondantes dans le temps et des paires non correspondantes. Ces descripteurs sont suffisamment discriminants pour qu'un simple classifieur k-NN suffise comme critère de géo-correspondance final. Dans cet article, nous dé-montrons que notre descripteur siamois surpasse les autres descripteurs d'images en termes de recherche d'images par contenu à travers le temps. Numéro de notice : C2020-003 Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésNat DOI : sans En ligne : https://cap-rfiap2020.sciencesconf.org/data/RFIAP_2020_paper_21.pdf Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95446

Documents numériques

en open access rfiap2020_21_cameraready.pdf Adobe Acrobat PDF

Saliency and Burstiness for Feature Selection in CBIR / Kamel Guissous (2020)  

Public Titre : Saliency and Burstiness for Feature Selection in CBIR Type de document : Article/Communication Auteurs : Kamel Guissous , Auteur ; Valérie Gouet-Brunet , Auteur Congrès : EUVIP 2019, 8th European Workshop on Visual Information Processing (28 - 31 octobre 2019; Rome, Italie), Commanditaire Editeur : New York : Institute of Electrical and Electronics Engineers IEEE Année de publication : 2020 Projets : 2-Pas d'info accessible - article non ouvert / Importance : pp 111 - 116 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes descripteurs IGN] analyse d'image orientée objet [Termes descripteurs IGN] analyse visuelle [Termes descripteurs IGN] extraction de traits caractéristiques [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] saillance [Termes descripteurs IGN] zone saillante 3D Résumé : (auteur) The paper addresses the problem of visual feature selection in content-based image retrieval (CBIR). We propose to study two strategies: the first one is using visual saliency, that selects the most salient features of the image and the second one exploits burstiness, that detects and processes the repeated visual elements in the image. To detect and describe the visual features in images, we rely on a deep local features approach based on convolutional neural network. The two strategies are evaluated for image retrieval on different datasets, according to two criteria: quality of retrieval and volume of manipulated features. Numéro de notice : C2019-027 Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1109/EUVIP47703.2019.8946126 date de publication en ligne : 02/01/2020 En ligne : https://ieeexplore.ieee.org/document/8946126 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=94521

A spatio-temporal web-application for the understanding of the formation of the Parisian metropolis / Emile Blettery (2020)  

Public Titre : A spatio-temporal web-application for the understanding of the formation of the Parisian metropolis Type de document : Article/Communication Auteurs : Emile Blettery, Auteur ; Paul Lecat, Auteur ; Alexandre Devaux , Auteur ; Valérie Gouet-Brunet , Auteur ; Frédéric Saly-Giocanti, Auteur ; Mathieu Brédif , Auteur ; Laetitia Delavoipiere, Auteur ; Sylvaine Conord, Auteur ; Frédéric Moret, Auteur Congrès : 3D GeoInfo 2020 conference (7 septembre 2020; Londres, Royaume-Uni), Commanditaire Editeur : International Society for Photogrammetry and Remote Sensing ISPRS Année de publication : 2020 Projets : Alegoria / Gouet-Brunet, Valérie Importance : pp 45 - 52 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications SIG [Termes descripteurs IGN] base de données localisées 3D [Termes descripteurs IGN] données démographiques [Termes descripteurs IGN] histoire [Termes descripteurs IGN] image aérienne à axe vertical [Termes descripteurs IGN] métropole [Termes descripteurs IGN] Nanterre [Termes descripteurs IGN] Paris (75) [Termes descripteurs IGN] sociologie [Termes descripteurs IGN] visualisation de données Résumé : (auteur) This article presents a spatio-temporal web application dedicated to the co-exploitation of heterogeneous data spatialized in a common 3D environment, providing several paradigms for supporting their co-visualization and interactions within the 3D environment and across time. The relevance of this tool is demonstrated here with two use cases involving historians and sociologists with the common objective of better understanding the formation of the Parisian metropolis. The study focuses on the evolution of the city of Nanterre (Paris area), which underwent many changes in the 1950s, and in particular on shantytown areas. Through census as statistical data and aerial imagery as visual data, a group of historians and sociologists experimented the relevance of the joint exploitation of those heterogeneous data within the proposed spatio-temporal web application. Numéro de notice : C2020-014 Thématique : GEOMATIQUE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.5194/isprs-annals-VI-4-W1-2020-45-2020 date de publication en ligne : 03/09/2020 En ligne : http://dx.doi.org/10.5194/isprs-annals-VI-4-W1-2020-45-2020 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95685

Challenging deep image descriptors for retrieval in heterogeneous iconographic collections / Dimitri Gominski (2019)  

Permalink

Geometric camera pose refinement with learned depth maps / Nathan Piasco (2019)  

Permalink

Learning scene geometry for visual localization in challenging conditions / Nathan Piasco (2019)    

Permalink

Multimodal scene understanding: algorithms, applications and deep learning, ch. 8. Multimodal localization for embedded systems: a survey / Imane Salhi (2019)  

Permalink

Perspective-n-learned-point: pose estimation from relative depth / Nathan Piasco (2019)    

Permalink

SUMAC 2019, 1st workshop on Structuring and Understanding of Multimedia heritAge Contents / Valérie Gouet-Brunet (2019)  

Permalink

Unsupervised detection of ruptures in spatial relationships in video sequences based on log‑likelihood ratio / Abdalbassir Abou-Elailah in Pattern Analysis and Applications, vol 21 n° 3 (August 2018)  

Permalink

A survey on visual-based localization : on the benefit of heterogeneous data / Nathan Piasco in Pattern recognition, vol 74 (February 2018)  

Permalink

Adéquation algorithme architecture pour la localisation basée image sur système embarqué / David Vandergucht (2018)    

Permalink

Apprentissage de modalités auxiliaires pour la localisation basée vision / Nathan Piasco (2018)    

Permalink