Descripteur
Termes IGN > informatique > intelligence artificielle > apprentissage automatique > apprentissage non-dirigé > réseau antagoniste génératif
réseau antagoniste génératif |
Documents disponibles dans cette catégorie (40)
Ajouter le résultat dans votre panier Affiner la recherche Interroger des sources externes
Etendre la recherche sur niveau(x) vers le bas
Semantic hierarchy emerges in deep generative representations for scene synthesis / Ceyuan Yang in International journal of computer vision, vol 129 n° 5 (May 2021)
[article]
Titre : Semantic hierarchy emerges in deep generative representations for scene synthesis Type de document : Article/Communication Auteurs : Ceyuan Yang, Auteur ; Yujun Shen, Auteur ; Bolei Zhou, Auteur Année de publication : 2021 Article en page(s) : pp 1451 - 1466 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique
[Termes IGN] analyse visuelle
[Termes IGN] apprentissage profond
[Termes IGN] compréhension de l'image
[Termes IGN] représentation des connaissances
[Termes IGN] réseau antagoniste génératif
[Termes IGN] segmentation hiérarchique
[Termes IGN] segmentation sémantique
[Termes IGN] synthèse d'imageRésumé : (auteur) Despite the great success of Generative Adversarial Networks (GANs) in synthesizing images, there lacks enough understanding of how photo-realistic images are generated from the layer-wise stochastic latent codes introduced in recent GANs. In this work, we show that highly-structured semantic hierarchy emerges in the deep generative representations from the state-of-the-art GANs like StyleGAN and BigGAN, trained for scene synthesis. By probing the per-layer representation with a broad set of semantics at different abstraction levels, we manage to quantify the causality between the layer-wise activations and the semantics occurring in the output image. Such a quantification identifies the human-understandable variation factors that can be further used to steer the generation process, such as changing the lighting condition and varying the viewpoint of the scene. Extensive qualitative and quantitative results suggest that the generative representations learned by the GANs with layer-wise latent codes are specialized to synthesize various concepts in a hierarchical manner: the early layers tend to determine the spatial layout, the middle layers control the categorical objects, and the later layers render the scene attributes as well as the color scheme. Identifying such a set of steerable variation factors facilitates high-fidelity scene editing based on well-learned GAN models without any retraining (code and demo video are available at https://genforce.github.io/higan). Numéro de notice : A2021-408 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article DOI : 10.1007/s11263-020-01429-5 Date de publication en ligne : 10/02/2021 En ligne : https://doi.org/10.1007/s11263-020-01429-5 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=97725
in International journal of computer vision > vol 129 n° 5 (May 2021) . - pp 1451 - 1466[article]Amélioration des résolutions spatiale et spectrale d’images satellitaires par réseaux antagonistes / Anaïs Gastineau (2021)
Titre : Amélioration des résolutions spatiale et spectrale d’images satellitaires par réseaux antagonistes Type de document : Thèse/HDR Auteurs : Anaïs Gastineau, Auteur ; Jean-François Aujol, Directeur de thèse ; Yannick Berthoumieu, Directeur de thèse Editeur : Bordeaux : Université de Bordeaux Année de publication : 2021 Importance : 111 p. Format : 21 x 30 cm Note générale : bibliographie
Thèse présentée pour obtenir le grade de Docteur de l'Université de Bordeaux, spécialité Mathématiques appliquées et calcul scientifiqueLangues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image optique
[Termes IGN] fusion d'images
[Termes IGN] image multibande
[Termes IGN] image panchromatique
[Termes IGN] limite de résolution géométrique
[Termes IGN] limite de résolution spectrale
[Termes IGN] optimisation (mathématiques)
[Termes IGN] pansharpening (fusion d'images)
[Termes IGN] réseau antagoniste génératifIndex. décimale : THESE Thèses et HDR Résumé : (auteur) De plus en plus d'applications, telles que la cartographie ou la classification de l'occupation des sols, nécessitent des images hautes résolutions de la surface de la Terre, mais ces données ne sont pas toujours disponibles. Ainsi, cette thèse porte sur le problème de fusion d'images panchromatiques et multispectrales dans le but d'exploiter au mieux les richesses spatiale et spectrale de chacune de ces données. Pour atteindre cet objectif, cette thèse explore plusieurs aspects liés à l'optimisation du problème ou bien aux architectures considérées.De manière générale, la paramétrisation des réseaux convolutifs est souvent suffisante pour supporter la diversité des problèmes rencontrés. La base de données d'apprentissage est alors considérée comme le vecteur principal de conditionnement au problème traité. Ainsi, dans un contexte de réseaux antagonistes génératifs, nous proposons d'intégrer une modélisation plus fine du problème de "pansharpening" quant à la conception même du réseau. Nous avons également évalué l'impact sur les performances de reconstruction de différentes formulations de la fonctionnelle globale à minimiser tenant compte des spécificités de l'application.Dans un premier temps, nous étudions les différents types de régularisation existant dans un cadre variationnel pour ensuite utiliser cette connaissance afin d'ajouter ce type de contraintes géométrique et spectrale dans la fonction de perte du générateur.Dans un second temps, nous étudions des solutions liées aux architectures considérées pour le générateur et le discriminateur. En effet, nous proposons l'utilisation de plusieurs discriminateurs, chacun répondant à une tâche différente mais complémentaire. Le premier discriminateur se concentre sur la préservation de la résolution spatiale en prenant en compte la luminance et la composante infra-rouge, très informative d'un point de vue de la texture pour la végétation, des images satellites. Le second discriminateur préserve la résolution spectrale en comparant les composantes chromatiques Cb et Cr. Nous étudions également l'ajout de mécanismes d'attention dans le générateur. Nous considérons des mécanismes d'attention spatiale et spectrale pour améliorer la précision de reconstruction du générateur. En effet, ces mécanismes ont pour objectif d'attirer l'attention du générateur sur les parties de l'image les plus pertinentes pour améliorer le résultat.L'ensemble des pistes que nous avons explorées a conduit à des résultats convaincants, à la fois quantitatifs et visuels. En effet, nous avons pu observer une amélioration notable de la précision des reconstructions spatiale et spectrale, contribuant ainsi à résoudre le problème de fusion d'images panchromatique et multispectrale. Note de contenu : 1- Introduction
2- État-de-l’art général
3- Fusion d’images non locale préservant la géométrie basée sur les méthodes variationnelles
4- Reconstruction de la géométrie par l’utilisation de GANs
5- Préservation des résolutions spatiale et spectrale dans un cadre GAN basé multidiscriminateur
6- Reconstructions spatiale et spectrale basées sur l’utilisation de mécanismes d’attention
7- Conclusion : bilan et perspectivesNuméro de notice : 28630 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Mathématiques appliquées et calcul scientifique : Bordeaux : 2021 Organisme de stage : Laboratoire de l'intégration du matériau au système DOI : sans En ligne : https://tel.hal.science/tel-03519655/ Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99620
Titre : Artificial neural networks and evolutionary computation in remote sensing Type de document : Monographie Auteurs : Taskin Kavzoglu, Éditeur scientifique Editeur : Bâle [Suisse] : Multidisciplinary Digital Publishing Institute MDPI Année de publication : 2021 Importance : 256 p. Format : 16 x 24 cm ISBN/ISSN/EAN : 978-3-03943-828-0 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique
[Termes IGN] apprentissage automatique
[Termes IGN] apprentissage profond
[Termes IGN] classification par forêts d'arbres décisionnels
[Termes IGN] classification par réseau neuronal convolutif
[Termes IGN] classification par séparateurs à vaste marge
[Termes IGN] image captée par drone
[Termes IGN] image hyperspectrale
[Termes IGN] image satellite
[Termes IGN] réseau antagoniste génératif
[Termes IGN] réseau neuronal artificiel
[Termes IGN] segmentation sémantiqueRésumé : (éditeur) Artificial neural networks (ANNs) and evolutionary computation methods have been successfully applied in remote sensing applications since they offer unique advantages for the analysis of remotely-sensed images. ANNs are effective in finding underlying relationships and structures within multidimensional datasets. Thanks to new sensors, we have images with more spectral bands at higher spatial resolutions, which clearly recall big data problems. For this purpose, evolutionary algorithms become the best solution for analysis. This book includes eleven high-quality papers, selected after a careful reviewing process, addressing current remote sensing problems. In the chapters of the book, superstructural optimization was suggested for the optimal design of feedforward neural networks, CNN networks were deployed for a nanosatellite payload to select images eligible for transmission to ground, a new weight feature value convolutional neural network (WFCNN) was applied for fine remote sensing image segmentation and extracting improved land-use information, mask regional-convolutional neural networks (Mask R-CNN) was employed for extracting valley fill faces, state-of-the-art convolutional neural network (CNN)-based object detection models were applied to automatically detect airplanes and ships in VHR satellite images, a coarse-to-fine detection strategy was employed to detect ships at different sizes, and a deep quadruplet network (DQN) was proposed for hyperspectral image classification. Note de contenu : 1- CloudScout: A deep neural network for on-board cloud detection on hyperspectral images
2- Machine learning classification ensemble of multitemporal Sentinel-2 images: The case of a mixed Mediterranean ecosystem
3- Computer vision and deep learning techniques for the analysis of drone-acquired forest images, a transfer learning study
4- Improved SRGAN for remote sensing image super-resolution across locations and sensors
5- Design of feedforward neural networks in the classification of hyperspectral imagery using superstructural optimization
6- Deep quadruplet network for hyperspectral image classification with a small number of samples
7- Mapping the topographic features of mining-related Valley Fills using mask R-CNN deep learning and digital elevation data
8- Improved winter wheat spatial distribution extraction from high-resolution remote sensing imagery using semantic features and statistical analysis
9- Comparative research on deep learning approaches for airplane detection from very high-resolution satellite images
10- A coarse-to-fine network for ship detection in optical remote sensing images
11- Improved remote sensing image classification based on multi-scale feature fusionNuméro de notice : 28443 Affiliation des auteurs : non IGN Thématique : IMAGERIE/INFORMATIQUE Nature : Recueil / ouvrage collectif DOI : 10.3390/books978-3-03943-828-0 En ligne : https://doi.org/10.3390/books978-3-03943-828-0 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98893
Titre : Auxiliary tasks for the conditioning of generative adversarial networks Type de document : Thèse/HDR Auteurs : Cyprien Ruffino, Auteur ; Gilles Gasso, Directeur de thèse Editeur : Rouen [France] : Institut National des Sciences Appliquées INSA Rouen Année de publication : 2021 Importance : 136 p. Format : 21 x 30 cm Note générale : bibliographie
Pour obtenir le grade de Docteur de Normandie Université, Spécialité InformatiqueLangues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique
[Termes IGN] apprentissage profond
[Termes IGN] classification du maximum a posteriori
[Termes IGN] classification non dirigée
[Termes IGN] classification par réseau neuronal convolutif
[Termes IGN] détection d'objet
[Termes IGN] reconstruction d'image
[Termes IGN] réseau antagoniste génératif
[Termes IGN] restauration d'imageIndex. décimale : THESE Thèses et HDR Résumé : (auteur) During the last decade, Generative Adversarial Networks (GANs) have caused a tremendous leap forward in image generation as a whole. Their ability to learn very complex, high-dimension distributions not only had a huge impact on the field of generative modeling, their influence extended to the general public at large. By being the first models able generate high-dimension photo-realistic images, GANs very quickly gained popularity as an image generation and photo manipulation technique. For example, their use as "filters" became common practice on social media, but they also allowed for the rise of Deepfakes, images that have been manipulated in order to fake the identity of a person. In this thesis, we explore the conditioning of Generative Adversarial Networks, that is influencing the generation process in order to control the content of a generated image. We focus on conditioning through auxiliary tasks, that is we explicitly implement additional objective to the generative model to complement the initial goal of learning the data distribution. First, we introduce generative modeling through several examples, and present the Generative Adversarial Networks framework. We discuss theoretical interpretations of GANs as well as its most prominent issues, notably the lack of stability during training of the model and the difficulty to generate diverse samples. We review classical techniques for conditioning GANs and propose an overview of recent approaches aiming to both solve the aforementioned issues and enhance the visual quality of the generated images. Afterwards, we focus on a specific generation task that requires conditioning : image reconstruction. In a nutshell, the problem consists in recovering an image from which we only have a handful of pixels available, usually around 0.5%. It stems from an application in geostatistics, namely the reconstruction of underground terrain from a reduced amount of expensive and difficult to obtain measurements. To do so, we propose to introduce an explicit auxiliary reconstruction task to the GAN framework which, in addition to a diversity-restoring technique, allows for the generation of high-quality images that respect the given measurements. Finally, we investigate a task of domain-transfer with generative models, specifically transferring images from the RGB color domain to the polarimetric domain. Polarimetric images bear hard constraints that directly stem from the physics of polarimetry. Leveraging on the cyclic-consistency paradigm, we extend the training of generative models with auxiliary tasks that push the generator towards enforcing the polarimetric constraints. We highlight that the approach manages to generate physically realistic polarimetric. Note de contenu : Introduction
1- Introduction to Generative Adversarial Networks
2- Image reconstruction as an auxiliary task to generative modeling
3- Domain-transfer with with auxiliary tasks for generative modeling
4- Conclusion and PerspectivesNuméro de notice : 28640 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Informatique : Normandie : 2021 Organisme de stage : LITIS DOI : sans En ligne : https://tel.hal.science/tel-03517304/ Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99721
Titre : Context-aware image super-resolution using deep neural networks Type de document : Thèse/HDR Auteurs : Mohammad Saeed Rad, Auteur ; Jean-Philippe Thiran, Directeur de thèse Editeur : Lausanne : Ecole Polytechnique Fédérale de Lausanne EPFL Année de publication : 2021 Importance : 148 p. Format : 21 x 30 cm Note générale : bibliographie
Thèse présentée pour l'obtention du grade de Docteur ès SciencesLangues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image optique
[Termes IGN] apprentissage profond
[Termes IGN] classification par réseau neuronal convolutif
[Termes IGN] image à basse résolution
[Termes IGN] image à haute résolution
[Termes IGN] pouvoir de résolution spectrale
[Termes IGN] reconstruction d'image
[Termes IGN] réseau antagoniste génératif
[Termes IGN] segmentation sémantique
[Termes IGN] vision par ordinateurIndex. décimale : THESE Thèses et HDR Résumé : (auteur) Image super-resolution is a classic ill-posed computer vision and image processing problem, addressing the question of how to reconstruct a high-resolution image from its low-resolution counterpart. Current state-of-the-art methods have improved the performance of the single image super-resolution task significantly by benefiting from machine learning and AI-powered algorithms, and more specifically, with the advent of Deep Learning-based approaches. Although these advances allow a machine to learn and have better exploitation of an image and its content, recent methods are still unable to constrain the plausible solution space based on the available contextual information within an image. This limitation mostly results in poor reconstructions, even for well-known types of objects and textures easily recognizable for humans. In this thesis, we aim at proving that the categorical prior, which characterizes the semantic class of a region in an image (e.g., sky, building, plant), is crucial in super-resolution task for reaching a higher reconstruction quality. In particular, we propose several approaches to improve the perceived image quality and generalization capability of deep learning-based methods by exploiting the context and semantic meaning of images. To prove the effectiveness of this categorical information, we first propose a convolutional neural network-based framework that is able to extract and use semantic information to super-resolve a given image by using multitask learning, simultaneously for learning image super-resolution and semantic segmentation. The proposed decoder is forced to explore categorical information during training, as this setting employs only one shared deep network for both semantic segmentation and super-resolution tasks. We further investigate the possibility of using semantic information by a novel objective function to introduce additional spatial control over the training process. We propose penalizing images at different semantic levels using appropriate loss terms by benefiting from our new OBB (Object, Background, and Boundary) labels generated from segmentation labels. Then, we introduce a new test time adaptation-based technique to leverage high-resolution images with perceptually similar context to a given test image to improve the reconstruction quality. We further validate this approach's effectiveness by using a novel numerical experiment analyzing the correlation between filters learned by our network and what we define as `ideal' filters. Finally, we present a generic solution to enable adapting all our previous contributions in this thesis, as well as other recent super-resolution works trained on synthetic datasets, to real-world super-resolution problem. Real-world super-resolution refers to super-resolving images with real degradations caused by physical imaging systems, instead of low-resolution images from simulated datasets assuming a simple and uniform degradation model (i.e., bicubic downsampling). We study and develop an image-to-image translator to map the distribution of real low-resolution images to the well-understood distribution of bicubically downsampled images. This translator is used as a plug-in to integrate real inputs into any super-resolution framework trained on simulated datasets. We carry out extensive qualitative and quantitative experiments for each mentioned contribution, including user studies, to compare our proposed approaches to state-of-the-art method. Note de contenu : 1- Introduction
2- Brief image super-resolution review
3- Extracting image context by multi-task learning
4- Spatial control over image genertion process
5- Test-time adaptation based on perceptual similarity
6- Integrating into real-world SR
7- ConclusionNuméro de notice : 28652 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse étrangère Note de thèse : Thèse de Doctorat : Sciences : EPFL, Lausanne : 2021 DOI : sans En ligne : https://infoscience.epfl.ch/record/286804?ln=fr Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99790 PermalinkGenerative adversarial networks to generalise urban areas in topographic maps / Azelle Courtial (2021)PermalinkLearning disentangled representations of satellite image time series in a weakly supervised manner / Eduardo Hugo Sanchez (2021)PermalinkSpectral variability in hyperspectral unmixing : Multiscale, tensor, and neural network-based approaches / Ricardo Augusto Borsoi (2021)PermalinkPermalinkUnderstanding the role of individual units in a deep neural network / David Bau in Proceedings of the National Academy of Sciences of the United States of America PNAS, vol 117 n° 48 (1 December 2020)PermalinkPermalink