Centre dedocumentation
scientifique

Rotation-invariant feature learning in VHR optical remote sensing images via nested siamese structure with double center loss / Ruoqiao Jiang in IEEE Transactions on geoscience and remote sensing, vol 59 n° 4 (April 2021)  

Public [article]  inIEEE Transactions on geoscience and remote sensing > vol 59 n° 4 (April 2021) . - pp 3326 - 3337 Titre : Rotation-invariant feature learning in VHR optical remote sensing images via nested siamese structure with double center loss Type de document : Article/Communication Auteurs : Ruoqiao Jiang, Auteur ; Shaohui Mei, Auteur ; Mingyang Ma, Auteur ; et al., Auteur Année de publication : 2021 Article en page(s) : pp 3326 - 3337 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] classification par réseau neuronal convolutif [Termes descripteurs IGN] détection d'objet [Termes descripteurs IGN] données d'apprentissage [Termes descripteurs IGN] échantillon [Termes descripteurs IGN] extraction de traits caractéristiques [Termes descripteurs IGN] image à très haute résolution [Termes descripteurs IGN] invariant [Termes descripteurs IGN] réseau neuronal siamois [Termes descripteurs IGN] rotation Résumé : (auteur) Rotation-invariant features are of great importance for object detection and image classification in very-high-resolution (VHR) optical remote sensing images. Though multibranch convolutional neural network (mCNN) has been demonstrated to be very effective for rotation-invariant feature learning, how to effectively train such a network is still an open problem. In this article, a nested Siamese structure (NSS) is proposed for training the mCNN to learn effective rotation-invariant features, which consists of an inner Siamese structure to enhance intraclass cohesion and an outer Siamese structure to enlarge interclass margin. Moreover, a double center loss (DCL) function, in which training samples from the same class are mapped closer to each other while those from different classes are mapped far away to each other, is proposed to train the proposed NSS even with a small amount of training samples. Experimental results over three benchmark data sets demonstrate that the proposed NSS trained by DCL is very effective to encounter rotation varieties when learning features for image classification and outperforms several state-of-the-art rotation-invariant feature learning algorithms even when a small amount of training samples are available. Numéro de notice : A2021-286 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1109/TGRS.2020.3021283 date de publication en ligne : 18/07/2020 En ligne : https://doi.org/10.1109/TGRS.2020.3021283 Format de la ressource électronique : url article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=97395 [article]

Unsupervised deep representation learning for real-time tracking / Ning Wang in International journal of computer vision, vol 129 n° 2 (February 2021)  

Public [article]  inInternational journal of computer vision > vol 129 n° 2 (February 2021) . - pp 400 - 418 Titre : Unsupervised deep representation learning for real-time tracking Type de document : Article/Communication Auteurs : Ning Wang, Auteur ; Wengang Zhou, Auteur ; Yibing Song, Auteur ; et al., Auteur Année de publication : 2021 Article en page(s) : pp 400 - 418 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] apprentissage profond [Termes descripteurs IGN] classification non dirigée [Termes descripteurs IGN] classification par réseau neuronal convolutif [Termes descripteurs IGN] corrélation d'images [Termes descripteurs IGN] détection de cible [Termes descripteurs IGN] filtre [Termes descripteurs IGN] objet mobile [Termes descripteurs IGN] oculométrie [Termes descripteurs IGN] reconnaissance d'objets [Termes descripteurs IGN] réseau neuronal siamois [Termes descripteurs IGN] temps réel [Termes descripteurs IGN] trajectoire [Termes descripteurs IGN] vision par ordinateur Résumé : (auteur) The advancement of visual tracking has continuously been brought by deep learning models. Typically, supervised learning is employed to train these models with expensive labeled data. In order to reduce the workload of manual annotation and learn to track arbitrary objects, we propose an unsupervised learning method for visual tracking. The motivation of our unsupervised learning is that a robust tracker should be effective in bidirectional tracking. Specifically, the tracker is able to forward localize a target object in successive frames and backtrace to its initial position in the first frame. Based on such a motivation, in the training process, we measure the consistency between forward and backward trajectories to learn a robust tracker from scratch merely using unlabeled videos. We build our framework on a Siamese correlation filter network, and propose a multi-frame validation scheme and a cost-sensitive loss to facilitate unsupervised learning. Without bells and whistles, the proposed unsupervised tracker achieves the baseline accuracy of classic fully supervised trackers while achieving a real-time speed. Furthermore, our unsupervised framework exhibits a potential in leveraging more unlabeled or weakly labeled data to further improve the tracking accuracy. Numéro de notice : A2021-353 Affiliation des auteurs : non IGN Thématique : IMAGERIE/INFORMATIQUE Nature : Article DOI : 10.1007/s11263-020-01357-4 date de publication en ligne : 21/09/2020 En ligne : https://doi.org/10.1007/s11263-020-01357-4 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=97604 [article]

Cross-year multi-modal image retrieval using siamese networks / Margarita Khokhlova (2020)  

Public Titre : Cross-year multi-modal image retrieval using siamese networks Type de document : Article/Communication Auteurs : Margarita Khokhlova, Auteur ; Valérie Gouet-Brunet , Auteur ; Nathalie Abadie , Auteur ; Liming Chen, Auteur Editeur : New York : Institute of Electrical and Electronics Engineers IEEE Année de publication : 2020 Projets : Alegoria / Gouet-Brunet, Valérie Conférence : ICIP 2020, 27th IEEE International Conference on Image Processing 25/10/2020 28/10/2020 Abou Dhabi Emirats Arabes Unis Proceedings IEEE Importance : pp 2361 - 2365 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] apprentissage profond [Termes descripteurs IGN] classification par réseau neuronal convolutif [Termes descripteurs IGN] descripteur [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] réseau neuronal siamois [Termes descripteurs IGN] segmentation sémantique Résumé : (auteur) This paper introduces a multi-modal network that learns to retrieve by content vertical aerial images of French urban and rural territories taken about 15 years apart. This means it should be invariant against a big range of changes as the (nat-ural) landscape evolves over time. It leverages the original images and semantically segmented and labeled regions. The core of the method is a Siamese network that learns to extract features from corresponding image pairs across time. These descriptors are discriminative enough, such that a simple kNN classifier on top, suffices as final geo-matching criteria. The method outperformed SOTA "off-the-shelf" image descrip-tors GEM and ResNet50 on the new aerial images dataset. Numéro de notice : C2020-015 Affiliation des auteurs : UGE-LaSTIG+Ext (2020- ) Autre URL associée : vers HAL Thématique : IMAGERIE/INFORMATIQUE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1109/ICIP40778.2020.9190662 date de publication en ligne : 01/10/2020 En ligne : https://doi.org/10.1109/ICIP40778.2020.9190662 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95684

Voir aussi

• Recherche multimodale d'images aériennes multi-date à l'aide d'un réseau siamois / Margarita Khokhlova (2020)    

Recherche multimodale d'images aériennes multi-date à l'aide d'un réseau siamois / Margarita Khokhlova (2020)    

Public Titre : Recherche multimodale d'images aériennes multi-date à l'aide d'un réseau siamois Type de document : Article/Communication Auteurs : Margarita Khokhlova, Auteur ; Valérie Gouet-Brunet , Auteur ; Nathalie Abadie , Auteur ; Liming Chen, Auteur Editeur : Vannes : Université de Bretagne Sud Année de publication : 2020 Projets : 1-Pas de projet / Conférence : RFIAP 2020, Reconnaissance des Formes, Image, Apprentissage et Perception 23/06/2020 26/06/2020 Vannes France Open Access Proceedings Importance : 11 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes descripteurs IGN] analyse du paysage [Termes descripteurs IGN] appariement d'images [Termes descripteurs IGN] architecture de réseau [Termes descripteurs IGN] BD ortho [Termes descripteurs IGN] BD Topo [Termes descripteurs IGN] classification barycentrique [Termes descripteurs IGN] classification par réseau neuronal convolutif [Termes descripteurs IGN] détection de changement [Termes descripteurs IGN] données multitemporelles [Termes descripteurs IGN] géolocalisation [Termes descripteurs IGN] image aérienne [Termes descripteurs IGN] image multitemporelle [Termes descripteurs IGN] recherche d'image basée sur le contenu [Termes descripteurs IGN] réseau neuronal siamois [Termes descripteurs IGN] segmentation sémantique Résumé : (auteur) Cet article présente un réseau multimodal qui met en correspondance des images aériennes de territoires urbains et ruraux français prises à environ 15 ans d'intervalle. Il devrait être invariant à un large éventail de changements, tels que l'évolution du paysage au fil des années. Il exploite les images originales et les régions sémantiquement segmentées et étiquetées. Le coeur de la méthode est un réseau siamois qui apprend à extraire des caractéristiques des paires d'images correspondantes dans le temps et des paires non correspondantes. Ces descripteurs sont suffisamment discriminants pour qu'un simple classifieur k-NN suffise comme critère de géo-correspondance final. Dans cet article, nous dé-montrons que notre descripteur siamois surpasse les autres descripteurs d'images en termes de recherche d'images par contenu à travers le temps. Numéro de notice : C2020-003 Affiliation des auteurs : UGE-LaSTIG+Ext (2020- ) Thématique : IMAGERIE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésNat DOI : sans En ligne : https://cap-rfiap2020.sciencesconf.org/data/RFIAP_2020_paper_21.pdf Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95446

Voir aussi

• Cross-year multi-modal image retrieval using siamese networks / Margarita Khokhlova (2020)  

Documents numériques

en open access rfiap2020_21_cameraready.pdf Adobe Acrobat PDF

Robust hand pose recognition from stereoscopic capture / Rilwan Remilekun Basaru (2018)  

Public Titre : Robust hand pose recognition from stereoscopic capture Type de document : Thèse/HDR Auteurs : Rilwan Remilekun Basaru, Auteur Editeur : Londres : University of London Press Année de publication : 2018 Importance : 200 p. Format : 21 x 30 cm Note générale : bibliographie A thesis submitted in fulfillment of the requirements for the degree of Doctor of Philosophy, Department of Computer Science, City, University of London Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes descripteurs IGN] classification par forêts aléatoires [Termes descripteurs IGN] estimation de pose [Termes descripteurs IGN] image RVB [Termes descripteurs IGN] méthode de Monte-Carlo par chaînes de Markov [Termes descripteurs IGN] régression [Termes descripteurs IGN] réseau neuronal convolutif [Termes descripteurs IGN] réseau neuronal siamois Résumé : (auteur) Hand pose is emerging as an important interface for human-computer interaction. The problem of hand pose estimation from passive stereo inputs has received less attention in the literature compared to active depth sensors. This thesis seeks to address this gap by presenting a data-driven method to estimate a hand pose from a stereoscopic camera input, with experimental results comparable to more expensive active depth sensors. The frameworks presented in this thesis are based on a two camera stereo rig capture as it yields a simpler and cheaper set-up and calibration. Three frameworks are presented, describing the sequential steps taken to solve the problem of depth and pose estimation of hands. The first is a data-driven method to estimate a high quality depth map of a hand from a stereoscopic camera input by introducing a novel regression framework. The method first computes disparity using a robust stereo matching technique. Then, it applies a machine learning technique based on Random Forest to learn the mapping between the estimated disparity and depth given ground truth data. We introduce Eigen Leaf Node Features (ELNFs) that perform feature selection at the leaf nodes in each tree to identify features that are most discriminative for depth regression. The system provides a robust method for generating a depth image with an inexpensive stereo camera. The second framework improves on the task of hand depth estimation from stereo capture by introducing a novel superpixel-based regression framework that takes advantage of the smoothness of the depth surface of the hand. To this end, it introduces Conditional Regressive Random Forest (CRRF), a method that combines a Conditional Random Field (CRF) and a Regressive Random Forest (RRF) to model the mapping from a stereo RGB image pair to a depth image. The RRF provides a unary term that adaptively selects different stereo-matching measures as it implicitly determines matching pixels in a coarse-to-fine manner. While the RRF makes depth prediction for each super-pixel independently, the CRF unifies the prediction of depth by modeling pair-wise interactions between adjacent superpixels. The final framework introduces a stochastic approach to propose potential depth solutions to the observed stereo capture and evaluate these proposals using two convolutional neural networks (CNNs). The first CNN, configured in a Siamese network architecture, evaluates how consistent the proposed depth solution is to the observed stereo capture. The second CNN estimates a hand pose given the proposed depth. Unlike sequential approaches that reconstruct pose from a known depth, this method jointly optimizes the hand pose and depth estimation through Markov-chain Monte Carlo (MCMC) sampling. This way, pose estimation can correct for errors in depth estimation, and vice versa. Experimental results using an inexpensive stereo camera show that the proposed system measures pose more accurately than competing methods. More importantly, it presents the possibility of pose recovery from stereo capture that is on par with depth based pose recovery. Numéro de notice : 17505 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse étrangère En ligne : https://openaccess.city.ac.uk/19938/ Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=90396