Centre dedocumentation
scientifique

Multiple convolutional features in Siamese networks for object tracking / Zhenxi Li in Machine Vision and Applications, vol 32 n° 3 (May 2021)  

Public [article]  inMachine Vision and Applications > vol 32 n° 3 (May 2021) . - n° 59 Titre : Multiple convolutional features in Siamese networks for object tracking Type de document : Article/Communication Auteurs : Zhenxi Li, Auteur ; Guillaume-Alexandre Bilodeau, Auteur ; Wassim Bouachir, Auteur Année de publication : 2021 Article en page(s) : n° 59 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes IGN] approche hiérarchique [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] extraction de traits caractéristiques [Termes IGN] poursuite de cible [Termes IGN] reconnaissance d'objets [Termes IGN] réseau neuronal siamois Résumé : (auteur) Siamese trackers demonstrated high performance in object tracking due to their balance between accuracy and speed. Unlike classification-based CNNs, deep similarity networks are specifically designed to address the image similarity problem and thus are inherently more appropriate for the tracking task. However, Siamese trackers mainly use the last convolutional layers for similarity analysis and target search, which restricts their performance. In this paper, we argue that using a single convolutional layer as feature representation is not an optimal choice in a deep similarity framework. We present a Multiple Features-Siamese Tracker (MFST), a novel tracking algorithm exploiting several hierarchical feature maps for robust tracking. Since convolutional layers provide several abstraction levels in characterizing an object, fusing hierarchical features allows to obtain a richer and more efficient representation of the target. Moreover, we handle the target appearance variations by calibrating the deep features extracted from two different CNN models. Based on this advanced feature representation, our method achieves high tracking accuracy, while outperforming the standard siamese tracker on object tracking benchmarks. The source code and trained models are available at https://github.com/zhenxili96/MFST. Numéro de notice : A2021-470 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article DOI : 10.1007/s00138-021-01185-7 date de publication en ligne : 11/03/2021 En ligne : https://doi.org/10.1007/s00138-021-01185-7 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=97903 [article]

Rotation-invariant feature learning in VHR optical remote sensing images via nested siamese structure with double center loss / Ruoqiao Jiang in IEEE Transactions on geoscience and remote sensing, vol 59 n° 4 (April 2021)  

Public [article]  inIEEE Transactions on geoscience and remote sensing > vol 59 n° 4 (April 2021) . - pp 3326 - 3337 Titre : Rotation-invariant feature learning in VHR optical remote sensing images via nested siamese structure with double center loss Type de document : Article/Communication Auteurs : Ruoqiao Jiang, Auteur ; Shaohui Mei, Auteur ; Mingyang Ma, Auteur ; et al., Auteur Année de publication : 2021 Article en page(s) : pp 3326 - 3337 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] détection d'objet [Termes IGN] données d'apprentissage [Termes IGN] échantillon [Termes IGN] extraction de traits caractéristiques [Termes IGN] image à très haute résolution [Termes IGN] invariant [Termes IGN] réseau neuronal siamois [Termes IGN] rotation Résumé : (auteur) Rotation-invariant features are of great importance for object detection and image classification in very-high-resolution (VHR) optical remote sensing images. Though multibranch convolutional neural network (mCNN) has been demonstrated to be very effective for rotation-invariant feature learning, how to effectively train such a network is still an open problem. In this article, a nested Siamese structure (NSS) is proposed for training the mCNN to learn effective rotation-invariant features, which consists of an inner Siamese structure to enhance intraclass cohesion and an outer Siamese structure to enlarge interclass margin. Moreover, a double center loss (DCL) function, in which training samples from the same class are mapped closer to each other while those from different classes are mapped far away to each other, is proposed to train the proposed NSS even with a small amount of training samples. Experimental results over three benchmark data sets demonstrate that the proposed NSS trained by DCL is very effective to encounter rotation varieties when learning features for image classification and outperforms several state-of-the-art rotation-invariant feature learning algorithms even when a small amount of training samples are available. Numéro de notice : A2021-286 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1109/TGRS.2020.3021283 date de publication en ligne : 18/07/2020 En ligne : https://doi.org/10.1109/TGRS.2020.3021283 Format de la ressource électronique : url article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=97395 [article]

Unsupervised deep representation learning for real-time tracking / Ning Wang in International journal of computer vision, vol 129 n° 2 (February 2021)  

Public [article]  inInternational journal of computer vision > vol 129 n° 2 (February 2021) . - pp 400 - 418 Titre : Unsupervised deep representation learning for real-time tracking Type de document : Article/Communication Auteurs : Ning Wang, Auteur ; Wengang Zhou, Auteur ; Yibing Song, Auteur ; et al., Auteur Année de publication : 2021 Article en page(s) : pp 400 - 418 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] apprentissage profond [Termes IGN] classification non dirigée [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] corrélation d'images [Termes IGN] détection de cible [Termes IGN] filtre [Termes IGN] objet mobile [Termes IGN] oculométrie [Termes IGN] reconnaissance d'objets [Termes IGN] réseau neuronal siamois [Termes IGN] temps réel [Termes IGN] trajectoire [Termes IGN] vision par ordinateur Résumé : (auteur) The advancement of visual tracking has continuously been brought by deep learning models. Typically, supervised learning is employed to train these models with expensive labeled data. In order to reduce the workload of manual annotation and learn to track arbitrary objects, we propose an unsupervised learning method for visual tracking. The motivation of our unsupervised learning is that a robust tracker should be effective in bidirectional tracking. Specifically, the tracker is able to forward localize a target object in successive frames and backtrace to its initial position in the first frame. Based on such a motivation, in the training process, we measure the consistency between forward and backward trajectories to learn a robust tracker from scratch merely using unlabeled videos. We build our framework on a Siamese correlation filter network, and propose a multi-frame validation scheme and a cost-sensitive loss to facilitate unsupervised learning. Without bells and whistles, the proposed unsupervised tracker achieves the baseline accuracy of classic fully supervised trackers while achieving a real-time speed. Furthermore, our unsupervised framework exhibits a potential in leveraging more unlabeled or weakly labeled data to further improve the tracking accuracy. Numéro de notice : A2021-353 Affiliation des auteurs : non IGN Thématique : IMAGERIE/INFORMATIQUE Nature : Article DOI : 10.1007/s11263-020-01357-4 date de publication en ligne : 21/09/2020 En ligne : https://doi.org/10.1007/s11263-020-01357-4 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=97604 [article]

Convolutional neural networks for change analysis in earth observation images with noisy labels and domain shifts / Rodrigo Caye Daudt (2020)  

Public Titre : Convolutional neural networks for change analysis in earth observation images with noisy labels and domain shifts Type de document : Thèse/HDR Auteurs : Rodrigo Caye Daudt, Auteur ; Yann Gousseau, Directeur de thèse Editeur : Paris : Institut Polytechnique de Paris Année de publication : 2020 Importance : 151 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse de doctorat de l’Institut Polytechnique de Paris préparée à Telecom Paris, spécialité Informatique, données, intelligence artificielle Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes IGN] analyse diachronique [Termes IGN] apprentissage dirigé [Termes IGN] apprentissage profond [Termes IGN] cartographie automatique [Termes IGN] classification par Perceptron multicouche [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] détection de changement [Termes IGN] image multi sources [Termes IGN] réseau neuronal siamois [Termes IGN] segmentation sémantique [Termes IGN] vision par ordinateur Index. décimale : THESE Thèses et HDR Résumé : (Auteur) L'analyse de l'imagerie satellitaire et aérienne d'observation de la Terre nous permet d'obtenir des informations précises sur de vastes zones. Une analyse multitemporelle de telles images est nécessaire pour comprendre l'évolution de ces zones. Dans cette thèse, les réseaux de neurones convolutifs sont utilisés pour détecter et comprendre les changements en utilisant des images de télédétection provenant de diverses sources de manière supervisée et faiblement supervisée. Des architectures siamoises sont utilisées pour comparer des paires d'images recalées et identifier les pixels correspondant à des changements. La méthode proposée est ensuite étendue à une architecture de réseau multitâche qui est utilisée pour détecter les changements et effectuer une cartographie automatique simultanément, ce qui permet une compréhension sémantique des changements détectés. Ensuite, un filtrage de classification et un nouvel algorithme de diffusion anisotrope guidée sont utilisés pour réduire l'effet du bruit d'annotation, un défaut récurrent pour les ensembles de données à grande échelle générés automatiquement. Un apprentissage faiblement supervisé est également réalisé pour effectuer une détection de changement au niveau des pixels en utilisant uniquement une supervision au niveau de l'image grâce à l'utilisation de cartes d'activation de classe et d'une nouvelle couche d'attention spatiale. Enfin, une méthode d'adaptation de domaine fondée sur un entraînement adverse est proposée. Cette méthode permet de projeter des images de différents domaines dans un espace latent commun où une tâche donnée peut être effectuée. Cette méthode est testée non seulement pour l'adaptation de domaine pour la détection de changement, mais aussi pour la classification d'images et la segmentation sémantique, ce qui prouve sa polyvalence. Note de contenu : 1. Introduction 1.1 Context 1.2 Domain 1.3 Objectives 1.4 Publications 2. Related Work 2.1 Computer Vision and Image Analysis 2.2 Machine Learning 2.3 Change Detection Using Remote Sensing Images 2.4 Evaluation Metrics 3. Supervised Change Detection 3.1 Introduction 3.2 ONERA Satellite Change Detection Dataset 3.3 Patch Based Architectures 3.4 Fully Convolutional Architectures 3.5 Experiments 3.6 Conclusion 4. Semantic Change Detection 62 4.1 High Resolution Semantic Change Detection Dataset 4.2 Methodology 4.3 Results 4.4 Conclusion 5. Weakly Supervised Change Detection 5.1 Change Detection with Unreliable Data 5.2 Method 5.3 Experiments 5.4 Analysis 5.5 Conclusion 6. Domain Adaptation for Change Detection 6.1 Motivation 6.2 Unsupervised Domain Adaptation 6.3 Formulation 6.4 Implementation 6.5 Results 6.6 Limitations and Discussion 6.7 Unpaired Translation of Change Detection Images 6.8 Conclusion 7. Conclusion Numéro de notice : 26557 Affiliation des auteurs : non IGN Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Note de thèse : Thèse de Doctorat : Informatique, données, intelligence artificielle : Paris : 2020 Organisme de stage : Laboratoire Traitement et Communication de l'Information LTCI nature-HAL : Thèse DOI : sans date de publication en ligne : 12/04/2021 En ligne : https://tel.archives-ouvertes.fr/tel-03105668/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98101

Cross-year multi-modal image retrieval using siamese networks / Margarita Khokhlova (2020)  

Public Titre : Cross-year multi-modal image retrieval using siamese networks Type de document : Article/Communication Auteurs : Margarita Khokhlova, Auteur ; Valérie Gouet-Brunet , Auteur ; Nathalie Abadie , Auteur ; Liming Chen, Auteur Editeur : New York : Institute of Electrical and Electronics Engineers IEEE Année de publication : 2020 Projets : Alegoria / Gouet-Brunet, Valérie Conférence : ICIP 2020, 27th IEEE International Conference on Image Processing 25/10/2020 28/10/2020 Abou Dhabi Emirats Arabes Unis Proceedings IEEE Importance : pp 2361 - 2365 Format : 21 x 30 cm Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] apprentissage profond [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] descripteur [Termes IGN] recherche d'image basée sur le contenu [Termes IGN] réseau neuronal siamois [Termes IGN] segmentation sémantique Résumé : (auteur) This paper introduces a multi-modal network that learns to retrieve by content vertical aerial images of French urban and rural territories taken about 15 years apart. This means it should be invariant against a big range of changes as the (nat-ural) landscape evolves over time. It leverages the original images and semantically segmented and labeled regions. The core of the method is a Siamese network that learns to extract features from corresponding image pairs across time. These descriptors are discriminative enough, such that a simple kNN classifier on top, suffices as final geo-matching criteria. The method outperformed SOTA "off-the-shelf" image descrip-tors GEM and ResNet50 on the new aerial images dataset. Numéro de notice : C2020-015 Affiliation des auteurs : UGE-LaSTIG+Ext (2020- ) Autre URL associée : vers HAL Thématique : IMAGERIE/INFORMATIQUE Nature : Communication nature-HAL : ComAvecCL&ActesPubliésIntl DOI : 10.1109/ICIP40778.2020.9190662 date de publication en ligne : 01/10/2020 En ligne : https://doi.org/10.1109/ICIP40778.2020.9190662 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95684

Voir aussi

• Recherche multimodale d'images aériennes multi-date à l'aide d'un réseau siamois / Margarita Khokhlova (2020)    

Recherche multimodale d'images aériennes multi-date à l'aide d'un réseau siamois / Margarita Khokhlova (2020)    

Permalink

Visual object tracking with deep neural networks / Pier Luigi Mazzeo (2019)  

Permalink

Robust hand pose recognition from stereoscopic capture / Rilwan Remilekun Basaru (2018)  

Permalink