Centre dedocumentation
scientifique

Challenging deep image descriptors for retrieval in heterogeneous iconographic collections / Dimitri Gominski (2019)  

Public contenu dans ArXiv / Université Cornell (Etats-Unis) (1991)   Titre : Challenging deep image descriptors for retrieval in heterogeneous iconographic collections Type de document : Article/Communication Auteurs : Dimitri Gominski, Auteur ; Martyna Poreba , Auteur ; Valérie Gouet-Brunet , Auteur ; Liming Chen, Auteur Congrès : SUMAC 2019, 1st workshop on Structuring and Understanding of Multimedia heritAge Contents (21 octobre 2019; Nice, France) , Commanditaire Editeur : New York [Etats-Unis] : Association for computing machinery ACM Année de publication : 2019 Autre Editeur : Ithaca [New York - Etats-Unis] : ArXiv - Université Cornell Importance : pp 31 - 38 Format : 21 x 30 cm Note générale : bibliographie Preprint publié sur ArXiv Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes descripteurs IGN] analyse visuelle [Termes descripteurs IGN] apprentissage profond [Termes descripteurs IGN] base de données d'images [Termes descripteurs IGN] collection [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] données hétérogènes [Termes descripteurs IGN] exploration de données [Termes descripteurs IGN] extraction de traits caractéristiques [Termes descripteurs IGN] iconographie [Termes descripteurs IGN] image multi sources [Termes descripteurs IGN] indexation [Termes descripteurs IGN] jeu de données [Termes descripteurs IGN] recherche d'image basée sur le contenu Résumé : (auteur) This article proposes to study the behavior of recent and efficient state-of-the-art deep-learning based image descriptors for content-based image retrieval, facing a panel of complex variations appearing in heterogeneous image datasets, in particular in cultural collections that may involve multi-source, multi-date and multi-view contents. For this purpose, we introduce a novel dataset, namely Alegoria dataset, consisting of 12,952 iconographic contents representing landscapes of the French territory, and encapsultating a large range of intra-class variations of appearance which were finely labelled. Six deep features (DELF, NetVLAD, GeM, MAC, RMAC, SPoC) and a hand-crafted local descriptor (ORB) are evaluated against these variations. Their performance are discussed, with the objective of providing the reader with research directions for improving image description techniques dedicated to complex heterogeneous datasets that are now increasingly present in topical applications targeting heritage valorization. Numéro de notice : C2019-022 Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1145/3347317.3357246 date de publication en ligne : 19/09/2019 En ligne : https://doi.org/10.1145/3347317.3357246 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=93623

Voir aussi

• SUMAC 2019, 1st workshop on Structuring and Understanding of Multimedia heritAge Contents / Valérie Gouet-Brunet (2019)  

Learning scene geometry for visual localization in challenging conditions / Nathan Piasco (2019)    

Public Titre : Learning scene geometry for visual localization in challenging conditions Type de document : Article/Communication Auteurs : Nathan Piasco , Auteur ; Désiré Sidibé, Auteur ; Valérie Gouet-Brunet , Auteur ; Cédric Demonceaux, Auteur Congrès : ICRA 2019, International Conference on Robotics and Automation (20 - 24 mai 2019; Montréal, Québec - Canada) , Commanditaire Editeur : New York : Institute of Electrical and Electronics Engineers IEEE Année de publication : 2019 Projets : PLaTINUM / Gouet-Brunet, Valérie Importance : pp 9094 - 9100 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] analyse d'image orientée objet [Termes descripteurs IGN] analyse visuelle [Termes descripteurs IGN] appariement d'images [Termes descripteurs IGN] carte de profondeur [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] géométrie de l'image [Termes descripteurs IGN] image RVB [Termes descripteurs IGN] localisation basée vision [Termes descripteurs IGN] précision de localisation [Termes descripteurs IGN] prise de vue nocturne [Termes descripteurs IGN] robotique [Termes descripteurs IGN] scène urbaine [Termes descripteurs IGN] variation diurne [Termes descripteurs IGN] variation saisonnière [Termes descripteurs IGN] vision par ordinateur Résumé : (auteur) We propose a new approach for outdoor large scale image based localization that can deal with challenging scenarios like cross-season, cross-weather, day/night and longterm localization. The key component of our method is a new learned global image descriptor, that can effectively benefit from scene geometry information during training. At test time, our system is capable of inferring the depth map related to the query image and use it to increase localization accuracy. We are able to increase recall@1 performances by 2.15% on cross-weather and long-term localization scenario and by 4.24% points on a challenging winter/summer localization sequence versus state-of-the-art methods. Our method can also use weakly annotated data to localize night images across a reference dataset of daytime images. Numéro de notice : C2019-002 Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1109/ICRA.2019.8794221 date de publication en ligne : 12/08/2019 En ligne : http://doi.org/10.1109/ICRA.2019.8794221 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=93774

Documents numériques

en open access Learning scene geometry... - pdf auteur Adobe Acrobat PDF

Can a machine generate humanlike language descriptions for a remote sensing image? / Zhenwei Shi in IEEE Transactions on geoscience and remote sensing, vol 55 n° 6 (June 2017)  

Public [article]  inIEEE Transactions on geoscience and remote sensing > vol 55 n° 6 (June 2017) . - pp 3623 - 3634 Titre : Can a machine generate humanlike language descriptions for a remote sensing image? Type de document : Article/Communication Auteurs : Zhenwei Shi, Auteur ; Zhengxia Zou, Auteur Année de publication : 2017 Article en page(s) : pp 3623 - 3634 Note générale : Bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Télédétection [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] image à haute résolution [Termes descripteurs IGN] intelligence artificielle [Termes descripteurs IGN] interface en langage naturel Résumé : (Auteur) This paper investigates an intriguing question in the remote sensing field: “can a machine generate humanlike language descriptions for a remote sensing image?” The automatic description of a remote sensing image (namely, remote sensing image captioning) is an important but rarely studied task for artificial intelligence. It is more challenging as the description must not only capture the ground elements of different scales, but also express their attributes as well as how these elements interact with each other. Despite the difficulties, we have proposed a remote sensing image captioning framework by leveraging the techniques of the recent fast development of deep learning and fully convolutional networks. The experimental results on a set of high-resolution optical images including Google Earth images and GaoFen-2 satellite images demonstrate that the proposed method is able to generate robust and comprehensive sentence description with desirable speed performance. Numéro de notice : A2017-479 Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern En ligne : http://dx.doi.org/10.1109/TGRS.2017.2677464 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=86406 [article]

Recherche multi-descripteurs dans les fonds photographiques numérisés / Neelanjan Bhowmik (2017)    

Public Titre : Recherche multi-descripteurs dans les fonds photographiques numérisés Titre original : Multi-descriptor retrieval in digitalized photographs collections Type de document : Thèse/HDR Auteurs : Neelanjan Bhowmik , Auteur ; Valérie Gouet-Brunet , Directeur de thèse Editeur : Champs/Marne : Université Paris-Est Année de publication : 2017 Importance : 266 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes descripteurs IGN] base de données d'images [Termes descripteurs IGN] collection [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] détection d'objet [Termes descripteurs IGN] estimation de pose [Termes descripteurs IGN] exploration de données [Termes descripteurs IGN] extraction de traits caractéristiques [Termes descripteurs IGN] index [Termes descripteurs IGN] localisation basée image [Termes descripteurs IGN] modèle de simulation [Termes descripteurs IGN] patrimoine culturel [Termes descripteurs IGN] point d'intérêt [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] reconnaissance d'objet [Termes descripteurs IGN] régression linéaire Résumé : (auteur) La recherche d’images par contenu (CBIR) est une discipline de l’informatique qui vise à structurer automatiquement les collections d’images selon des critères visuels. Les fonctionnalités proposées couvrent notamment l’accès efficace aux images dans une grande base de données d’images ou l’identification de leur contenu par des outils de détection et de reconnaissance d’objets. Ils ont un impact sur une large gamme de domaines qui manipulent ce genre de données, telles que le multimedia, la culture, la sécurité, la santé, la recherche scientifique, etc. Indexer une image à partir de son contenu visuel nécessite d’abord de produire un résumé visuel de ce contenu pour un usage donné, qui sera l’index de cette image dans la collection. En matière de descripteurs d’images, la littérature est désormais très riche : plusieurs familles de descripteurs existent, et dans chaque famille, de nombreuses approches cohabitent. Bon nombre de descripteurs ne décrivant pas la même information et n’ayant pas les mêmes propriétés d’invariance, il peut être pertinent de les combiner de manière à mieux décrire le contenu de l’image. Cette combinaison peut être mise en oeuvre de différentes manières, selon les descripteurs considérés et le but recherché. Dans cette thèse, nous nous concentrons sur la famille des descripteurs locaux, avec pour application la recherche d’images ou d’objets par l’exemple dans une collection d’images. Leurs bonnes propriétés les rendent très populaires pour la recherche, la reconnaissance et la catégorisation d'objets et de scènes. Deux directions de recherche sont étudiées : Combinaison de caractéristiques pour la recherche d’images par l’exemple : Le coeur de la thèse repose sur la proposition d’un modèle pour combiner des descripteurs de bas niveau et génériques afin d’obtenir un descripteur plus riche et adapté à un cas d’utilisation donné tout en conservant la généricité afin d’indexer différents types de contenus visuels. L’application considérée étant la recherche par l’exemple, une autre difficulté majeure est la complexité de la proposition, qui doit correspondre à des temps de récupération réduits, même avec de grands ensembles de données. Pour atteindre ces objectifs, nous proposons une approche basée sur la fusion d'index inversés, ce qui permet de mieux représenter le contenu tout en étant associé à une méthode d’accès efficace. Complémentarité des descripteurs : Nous nous concentrons sur l’évaluation de la complémentarité des descripteurs locaux existant en proposant des critères statistiques d’analyse de leur répartition spatiale dans l'image. Ce travail permet de mettre en évidence une synergie entre certaines de ces techniques lorsqu’elles sont jugées suffisamment complémentaires. Les critères spatiaux sont exploités dans un modèle de prédiction à base de régression linéaire, qui a l'avantage de permettre la sélection de combinaisons de descripteurs optimale pour la base considérée mais surtout pour chaque image de cette base. L'approche est évaluée avec le moteur de recherche multi-index, où il montre sa pertinence et met aussi en lumière le fait que la combinaison optimale de descripteurs peut varier d'une image à l'autre. En outre, nous exploitons les deux propositions précédentes pour traiter le problème de la recherche d'images inter-domaines, correspondant notamment à des vues multi-source et multi-date. Deux applications sont explorées dans cette thèse. La recherche d’images inter-domaines est appliquée aux collections photographiques culturelles numérisées d’un musée, où elle démontre son efficacité pour l’exploration et la valorisation de ces contenus à différents niveaux, depuis leur archivage jusqu’à leur exposition ou ex situ. Ensuite, nous explorons l’application de la localisation basée image entre domaines, où la pose d’une image est estimée à partir d’images géoréférencées, en retrouvant des images géolocalisées visuellement similaires à la requête. Numéro de notice : 17573 Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Organisme de stage : LASTIG MATIS (IGN) & Nicéphore Cité nature-HAL : Thèse En ligne : https://tel.archives-ouvertes.fr/tel-01759559 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=91963

Documents numériques

en open access Recherche multi-descripteurs ... - pdf auteur HAL Adobe Acrobat PDF

Efficient fusion of multidimensional descriptors for image retrieval / Neelanjan Bhowmik (2014)    

Public Titre : Efficient fusion of multidimensional descriptors for image retrieval Type de document : Article/Communication Auteurs : Neelanjan Bhowmik , Auteur ; V. Ricardo Gonzalez, Auteur ; Valérie Gouet-Brunet , Auteur ; Helio Pedrini, Auteur ; Gabriel Bloch, Auteur Congrès : ICIP 2014, IEEE International Conference on Image Processing (27 - 30 octobre 2014; Paris, France) , Commanditaire Editeur : New York : Institute of Electrical and Electronics Engineers IEEE Année de publication : 2014 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes descripteurs IGN] analyse d'image orientée objet [Termes descripteurs IGN] analyse visuelle [Termes descripteurs IGN] banque d'images [Termes descripteurs IGN] base de données d'images [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] état de l'art [Termes descripteurs IGN] fusion de données [Termes descripteurs IGN] index [Termes descripteurs IGN] mesure de similitude [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] réduction Résumé : (auteur) Due to the large diversity of existing feature descriptors in content-based image retrieval, the image contents can be better represented by the joint use of several descriptors in order to explore their potentially complementary characteristics. This paper presents and discusses a strategy for fusion of the different multidimensional features involved, based on inverted multi-indices and dedicated to similarity search. Image descriptors are quantized separately and efficiently through dimension reduction techniques, before being combined in the inverted multi-indices. To exhibit its effectiveness, the proposal is evaluated on two datasets having different contents and sizes, facing several state-of-the-art approaches of image descriptor fusion. The obtained results reconfirm that the joint use of several descriptions improves similarity search, and show that our fusion proposal outperforms other solutions, while manipulating lower or similar volumes of features. Numéro de notice : C2014-033 Thématique : IMAGERIE/INFORMATIQUE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1109/ICIP.2014.7026166 date de publication en ligne : 29/01/2015 En ligne : https://doi.org/10.1109/ICIP.2014.7026166 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=92058

Documents numériques

peut être téléchargé Efficient fusion of multidimensional ... - pdf auteur Adobe Acrobat PDF