Centre dedocumentation
scientifique

Semantic signatures for large-scale visual localization / Li Weng in Multimedia tools and applications, vol inconnu (2020)  

Public [article]  inMultimedia tools and applications > vol inconnu (2020) Titre : Semantic signatures for large-scale visual localization Type de document : Article/Communication Auteurs : Li Weng , Auteur ; Valérie Gouet-Brunet , Auteur ; Bahman Soheilian , Auteur Année de publication : 2020 Projets : THINGS2D0 / Gouet-Brunet, Valérie Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] appariement sémantique [Termes descripteurs IGN] étiquetage sémantique [Termes descripteurs IGN] extraction de traits caractéristiques [Termes descripteurs IGN] image numérique [Termes descripteurs IGN] information sémantique [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] zone urbaine Résumé : (auteur) Visual localization is a useful alternative to standard localization techniques. It works by utilizing cameras. In a typical scenario, features are extracted from captured images and compared with geo-referenced databases. Location information is then inferred from the matching results. Conventional schemes mainly use low-level visual features. These approaches offer good accuracy but suffer from scalability issues. In order to assist localization in large urban areas, this work explores a different path by utilizing high-level semantic information. It is found that object information in a street view can facilitate localization. A novel descriptor scheme called “semantic signature” is proposed to summarize this information. A semantic signature consists of type and angle information of visible objects at a spatial location. Several metrics and protocols are proposed for signature comparison and retrieval. They illustrate different trade-offs between accuracy and complexity. Extensive simulation results confirm the potential of the proposed scheme in large-scale applications. This paper is an extended version of a conference paper in CBMI’18. A more efficient retrieval protocol is presented with additional experiment results. Numéro de notice : A2020-367 Thématique : IMAGERIE/INFORMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s11042-020-08992-6 date de publication en ligne : 07/05/2020 En ligne : https://doi.org/10.1007/s11042-020-08992-6 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95407 [article]

Recherche multimodale d'images aériennes multi-date à l'aide d'un réseau siamois / Margarita Khokhlova (2020)    

Public Titre : Recherche multimodale d'images aériennes multi-date à l'aide d'un réseau siamois Type de document : Article/Communication Auteurs : Margarita Khokhlova, Auteur ; Valérie Gouet-Brunet , Auteur ; Nathalie Abadie , Auteur ; Liming Chen, Auteur Congrès : RFIAP 2020, Reconnaissance des Formes, Image, Apprentissage et Perception (23 - 26 juin 2020; Vannes, France), Commanditaire Editeur : Berlin [Allemagne] : ResearchGate Année de publication : 2020 Importance : 11 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] analyse du paysage [Termes descripteurs IGN] appariement d'images [Termes descripteurs IGN] architecture de réseau [Termes descripteurs IGN] BD ortho [Termes descripteurs IGN] BD Topo [Termes descripteurs IGN] classification barycentrique [Termes descripteurs IGN] classification par réseau neuronal convolutif [Termes descripteurs IGN] détection de changement [Termes descripteurs IGN] données multitemporelles [Termes descripteurs IGN] géolocalisation [Termes descripteurs IGN] image aérienne [Termes descripteurs IGN] image multitemporelle [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] segmentation sémantique Résumé : (auteur) Cet article présente un réseau multimodal qui met en correspondance des images aériennes de territoires urbains et ruraux français prises à environ 15 ans d'intervalle. Il devrait être invariant à un large éventail de changements, tels que l'évolution du paysage au fil des années. Il exploite les images originales et les régions sémantiquement segmentées et étiquetées. Le coeur de la méthode est un réseau siamois qui apprend à extraire des caractéristiques des paires d'images correspondantes dans le temps et des paires non correspondantes. Ces descripteurs sont suffisamment discriminants pour qu'un simple classifieur k-NN suffise comme critère de géo-correspondance final. Dans cet article, nous dé-montrons que notre descripteur siamois surpasse les autres descripteurs d'images en termes de recherche d'images par contenu à travers le temps. Numéro de notice : C2020-006 Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : sans En ligne : https://www.researchgate.net/publication/342550826_Recherche_multimodale_d%27ima [...] Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95446

Documents numériques

en open access rfiap2020_21_cameraready.pdf Adobe Acrobat PDF

Saliency and Burstiness for Feature Selection in CBIR / Kamel Guissous (2020)  

Public Titre : Saliency and Burstiness for Feature Selection in CBIR Type de document : Article/Communication Auteurs : Kamel Guissous , Auteur ; Valérie Gouet-Brunet , Auteur Congrès : EUVIP 2019, 8th European Workshop on Visual Information Processing (28 - 31 octobre 2019; Rome, Italie), Commanditaire Editeur : New York : Institute of Electrical and Electronics Engineers IEEE Année de publication : 2020 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes descripteurs IGN] analyse d'image orientée objet [Termes descripteurs IGN] analyse visuelle [Termes descripteurs IGN] extraction de traits caractéristiques [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] saillance [Termes descripteurs IGN] zone saillante 3D Résumé : (auteur) The paper addresses the problem of visual feature selection in content-based image retrieval (CBIR). We propose to study two strategies: the first one is using visual saliency, that selects the most salient features of the image and the second one exploits burstiness, that detects and processes the repeated visual elements in the image. To detect and describe the visual features in images, we rely on a deep local features approach based on convolutional neural network. The two strategies are evaluated for image retrieval on different datasets, according to two criteria: quality of retrieval and volume of manipulated features. Numéro de notice : C2019-027 Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1109/EUVIP47703.2019.8946126 date de publication en ligne : 02/01/2020 En ligne : https://ieeexplore.ieee.org/document/8946126 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=94521

Challenging deep image descriptors for retrieval in heterogeneous iconographic collections / Dimitri Gominski (2019)  

Public Titre : Challenging deep image descriptors for retrieval in heterogeneous iconographic collections Type de document : Article/Communication Auteurs : Dimitri Gominski, Auteur ; Martyna Poreba , Auteur ; Valérie Gouet-Brunet , Auteur ; Liming Chen, Auteur Congrès : SUMAC 2019, 1st workshop on Structuring and Understanding of Multimedia heritAge Contents (21 octobre 2019; Nice, France) , Commanditaire Editeur : New York [Etats-Unis] : Association for computing machinery ACM Année de publication : 2019 Autre Editeur : Ithaca [New York - Etats-Unis] : ArXiv - Université Cornell Projets : Alegoria / Gouet-Brunet, Valérie Importance : pp 31 - 38 Format : 21 x 30 cm Note générale : bibliographie Preprint publié sur ArXiv https://arxiv.org/abs/1909.08866v1 Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes descripteurs IGN] analyse visuelle [Termes descripteurs IGN] apprentissage profond [Termes descripteurs IGN] base de données d'images [Termes descripteurs IGN] collection [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] données hétérogènes [Termes descripteurs IGN] exploration de données [Termes descripteurs IGN] extraction de traits caractéristiques [Termes descripteurs IGN] iconographie [Termes descripteurs IGN] image multi sources [Termes descripteurs IGN] indexation [Termes descripteurs IGN] jeu de données [Termes descripteurs IGN] recherche d'image basée sur le contenu Résumé : (auteur) This article proposes to study the behavior of recent and efficient state-of-the-art deep-learning based image descriptors for content-based image retrieval, facing a panel of complex variations appearing in heterogeneous image datasets, in particular in cultural collections that may involve multi-source, multi-date and multi-view contents. For this purpose, we introduce a novel dataset, namely Alegoria dataset, consisting of 12,952 iconographic contents representing landscapes of the French territory, and encapsultating a large range of intra-class variations of appearance which were finely labelled. Six deep features (DELF, NetVLAD, GeM, MAC, RMAC, SPoC) and a hand-crafted local descriptor (ORB) are evaluated against these variations. Their performance are discussed, with the objective of providing the reader with research directions for improving image description techniques dedicated to complex heterogeneous datasets that are now increasingly present in topical applications targeting heritage valorization. Numéro de notice : C2019-022 Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1145/3347317.3357246 date de publication en ligne : 19/09/2019 En ligne : https://doi.org/10.1145/3347317.3357246 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=93623

Voir aussi

• SUMAC 2019, 1st workshop on Structuring and Understanding of Multimedia heritAge Contents / Valérie Gouet-Brunet (2019)  

Geometric camera pose refinement with learned depth maps / Nathan Piasco (2019)  

Public Titre : Geometric camera pose refinement with learned depth maps Type de document : Article/Communication Auteurs : Nathan Piasco , Auteur ; Désiré Sidibé, Auteur ; Cédric Demonceaux, Auteur ; Valérie Gouet-Brunet , Auteur Congrès : ICIP 2019, 26th IEEE International Conference on Image Processing (22 - 25 septembre 2019; Taipei, Taiwan), Commanditaire Editeur : New York : Institute of Electrical and Electronics Engineers IEEE Année de publication : 2019 Projets : PLaTINUM / Gouet-Brunet, Valérie Importance : 5 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] algorithme ICP [Termes descripteurs IGN] carte de profondeur [Termes descripteurs IGN] estimation de pose [Termes descripteurs IGN] réseau neuronal convolutif [Termes descripteurs IGN] scène intérieure [Termes descripteurs IGN] semis de points Résumé : (auteur) We present a new method for image-only camera relocalisation composed of a fast image indexing retrieval step followed by pose refinement based on ICP (Iterative Closest Point). The first step aims to find an initial pose for the query by evaluating images similarity with low dimensional global deep descriptors. Subsequently, we predict with a fully convolutional deep encoder-decoder neural network a dense depth map from the image query. We use this depth map to create a local point cloud and refine the initial query pose using an ICP algorithm.We demonstrate the effectiveness of our new approach on various indoor scenes. Compared to learned pose regression methods, our proposal can be used on multiple scenes without the need of a specific weights-setup for each scene, while showing equivalent results. Numéro de notice : C2019-015 Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1109/ICIP.2019.8803014 date de publication en ligne : 26/08/2019 En ligne : https://doi.org/10.1109/ICIP.2019.8803014 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=93279

Learning scene geometry for visual localization in challenging conditions / Nathan Piasco (2019)    

Permalink

Multimodal scene understanding: algorithms, applications and deep learning, ch. 8. Multimodal localization for embedded systems: a survey / Imane Salhi (2019)  

Permalink

Perspective-n-learned-point: pose estimation from relative depth / Nathan Piasco (2019)    

Permalink

SUMAC 2019, 1st workshop on Structuring and Understanding of Multimedia heritAge Contents / Valérie Gouet-Brunet (2019)  

Permalink

Unsupervised detection of ruptures in spatial relationships in video sequences based on log‑likelihood ratio / Abdalbassir Abou-Elailah in Pattern Analysis and Applications, vol 21 n° 3 (August 2018)  

Permalink

A survey on visual-based localization : on the benefit of heterogeneous data / Nathan Piasco in Pattern recognition, vol 74 (February 2018)  

Permalink

Adéquation algorithme architecture pour la localisation basée image sur système embarqué / David Vandergucht (2018)    

Permalink

Apprentissage de modalités auxiliaires pour la localisation basée vision / Nathan Piasco (2018)    

Permalink

Forest stand extraction: which optimal remote sensing data source(s)? / Clément Dechesne (2018)    

Permalink

Panorama de la recherche à l'IGN sur la localisation d'une caméra à partir d'images / Nathan Piasco (2018) 

Permalink