Centre de documentation
scientifique

Real-time multimodal semantic scene understanding for autonomous UGV navigation / Yifei Zhang (2021)  

Public Titre : Real-time multimodal semantic scene understanding for autonomous UGV navigation Type de document : Thèse/HDR Auteurs : Yifei Zhang, Auteur ; Fabrice Mériaudeau, Directeur de thèse ; Désiré Sidibé, Directeur de thèse Editeur : Dijon : Université Bourgogne Franche-Comté UBFC Année de publication : 2021 Importance : 114 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse pour obtenir le doctorat de l'Université Bourgogne Franche-Comté, Spécialité Instrumentation et informatique d’image Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image mixte [Termes IGN] données polarimétriques [Termes IGN] fusion d'images [Termes IGN] image RVB [Termes IGN] intégration de données [Termes IGN] navigation autonome [Termes IGN] segmentation sémantique [Termes IGN] temps réel [Termes IGN] véhicule sans pilote Index. décimale : THESE Thèses et HDR Résumé : (Auteur) Robust semantic scene understanding is challenging due to complex object types, as well as environmental changes caused by varying illumination and weather conditions. This thesis studies the problem of deep semantic segmentation with multimodal image inputs. Multimodal images captured from various sensory modalities provide complementary information for complete scene understanding. We provided effective solutions for fully-supervised multimodal image segmentation and few-shot semantic segmentation of the outdoor road scene. Regarding the former case, we proposed a multi-level fusion network to integrate RGB and polarimetric images. A central fusion framework was also introduced to adaptively learn the joint representations of modality-specific features and reduce model uncertainty via statistical post-processing.In the case of semi-supervised semantic scene understanding, we first proposed a novel few-shot segmentation method based on the prototypical network, which employs multiscale feature enhancement and the attention mechanism. Then we extended the RGB-centric algorithms to take advantage of supplementary depth cues. Comprehensive empirical evaluations on different benchmark datasets demonstrate that all the proposed algorithms achieve superior performance in terms of accuracy as well as demonstrating the effectiveness of complementary modalities for outdoor scene understanding for autonomous navigation. Note de contenu : 1. Introduction 1.1 Context and Motivation 1.2 Background and Challenges 1.3 Contributions 1.4 Organization 2. Background on Neural Networks 2.1 Basic Concepts 2.2 Neural Network Layers 2.3 Optimization 2.4 Model Training 2.5 Evaluation Metrics 2.6 Summary 3. Literature Review 3.1 Fully-supervised Semantic Image 3.2 Datasets 3.3 Summary 4. Deep Multimodal Fusion for Semantic Image Segmentation 4.1 CMNet: Deep Multimodal Fusion 4.2 A Central Multimodal Fusion Framework 4.3 Summary 5. Few-shot Semantic Image Segmentation 5.1 Introduction on Few-shot Segmentation 5.2 MAPnet: A Multiscale Attention-Based Prototypical Network 5.3 RDNet: Incorporating Depth Information into Few-shot Segmentation 5.4 Summary 6. Conclusion and Future Work 6.1 General Conclusion 6.2 Future Perspectives Numéro de notice : 26527 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Instrumentation et informatique d’image : Bourgogne : 2021 nature-HAL : Thèse Date de publication en ligne : 02/03/2021 En ligne : https://hal.science/tel-03154783v1 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=97556

Analyse de la distribution spatiale des implantations humaines : apports et limites d’indicateurs multi-échelles et trans-échelles / François Sémécurbe (2020)  

Public Titre : Analyse de la distribution spatiale des implantations humaines : apports et limites d’indicateurs multi-échelles et trans-échelles Type de document : Thèse/HDR Auteurs : François Sémécurbe, Auteur ; Cécile Tannier, Directeur de thèse ; Stéphane Roux, Directeur de thèse Editeur : Dijon : Université Bourgogne Franche-Comté UBFC Année de publication : 2020 Importance : 231 p. Format : 21 x 30 cm Note générale : bibliographie Thèse de Doctorat de l'établissement Université Bourgogne Franche- Comté, spécialité Géographie Langues : Français (fre) Descripteur : [Vedettes matières IGN] Analyse spatiale [Termes IGN] analyse de groupement [Termes IGN] analyse en composantes principales [Termes IGN] analyse fractale [Termes IGN] apprentissage profond [Termes IGN] distribution spatiale [Termes IGN] étalement urbain [Termes IGN] fonction K de Ripley [Termes IGN] France (administrative) [Termes IGN] géographie humaine [Termes IGN] invariance [Termes IGN] population [Termes IGN] répartition géographique [Termes IGN] représentation multiple [Termes IGN] transformation en ondelettes Index. décimale : THESE Thèses et HDR Résumé : (auteur) En tant qu'être humain, il nous est aisé de juger visuellement du caractère dispersé ou concentré d'une distribution. Pour autant, la formalisation quantitative de nos impressions est problématique. Elle est tributaire des échelles d'analyse choisies. Cette dépendance des indicateurs aux échelles a changé de statut. Initialement considérée comme un frein à la connaissance, elle témoigne à présent de l'organisation multi-échelle des distributions étudiées. L'objectif central de cette thèse est d'approfondir les limites et l'apport des indicateurs multi-échelles et trans-échelles à l'étude des distributions spatiales des implantations humaines. L'analyse spatiale vise à comparer les distributions spatiales à une répartition uniforme. La manière dont on s'éloigne de cette référence est utilisée pour caractériser l'organisation multi-échelle des distributions analysées. L'application de ces méthodes aux implantations humaines n'a pas été satisfaisante. Le recours à une référence exogène n'est pas adapté à des distributions très inégalement concentrées dans l'espace. L'analyse fractale, fréquemment utilisée en géographie urbaine, considère que les distributions analysées sont leur propre étalon de mesure. Les dimensions fractales mesurent la façon dont l'espace occupé par celles-ci évolue à travers les échelles. Ce type d'analyse requiert une régularité entre les échelles, l'invariance d'échelle dont l'existence n'est pas vérifiée sur l'ensemble des territoires. L'analyse trans-échelle généralise les principes de l'analyse fractale à toutes les distributions et permet de caractériser l'inégale concentration des implantations humaines dans les territoires ruraux et urbains. Note de contenu : 1- Introduction 2- Méthodes de statistique spatiale pour l’analyse de la distribution spatiale des bâtiments 3- Méthodes d’analyses fractales et multifractales pour l’analyse de la distribution spatiale des bâtiments, de la population et des formes d’occupation du sol 4- Dépasser le présupposé d’invariance d’échelle via l’analyse des signatures trans-échelles 5- Conclusion Numéro de notice : 28444 Affiliation des auteurs : non IGN Thématique : GEOMATIQUE Nature : Thèse française Note de thèse : Thèse de Doctorat : Géographie : Bourgogne : 2020 Organisme de stage : Laboratoire THEMA Théoriser et modéliser pour aménager DOI : sans En ligne : https://tel.hal.science/tel-03125388/ Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98894

Image processing applications in object detection and graph matching: from Matlab development to GPU framework / Beibei Cui (2020)  

Public Titre : Image processing applications in object detection and graph matching: from Matlab development to GPU framework Type de document : Thèse/HDR Auteurs : Beibei Cui, Auteur ; Jean-Charles Créput, Directeur de thèse Editeur : Dijon : Université Bourgogne Franche-Comté UBFC Année de publication : 2020 Importance : 137 p. Format : 21 x 30 cm Note générale : bibliographie Thèse de Doctorat de l'Université Bourgogne Franche-Comté préparée à l'Université de Technologie de Belfort-Montbéliard, Informatique Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] appariement de graphes [Termes IGN] détection d'objet [Termes IGN] entropie [Termes IGN] extraction de traits caractéristiques [Termes IGN] graphe planaire [Termes IGN] Matlab [Termes IGN] ondelette [Termes IGN] processeur graphique [Termes IGN] Ransac (algorithme) [Termes IGN] reconnaissance de formes Index. décimale : THESE Thèses et HDR Résumé : (auteur) Automatically finding correspondences between object features in images is of main interest for several applications, as object detection and tracking, flow velocity estimation, identification, registration, and many derived tasks. In this thesis, we address feature correspondence within the general framework of graph matching optimization and with the principal aim to contribute, at a final step, to the design of new and parallel algorithms and their implementation on GPU (Graphics Processing Unit) systems. Graph matching problems can have many declinations, depending on the assumptions of the application at hand. We observed a gap between applications based on local cost objective functions, and those applications with higher-order cost functions, that evaluate similarity between edges of the graphs, or hyperedges when considering hypergraphs. The former class provides convolution-based algorithms already having parallel GPU implementations. Whereas, the latter class puts the emphasis on geometric inter-feature relationships, transforming the correspondence problem to a purely geometric problem stated in a high dimensional space, generally modeled as an integer quadratic programming, for which we did not find GPU implementations available yet.Two complementary approaches were adopted in order to contribute to addressing higher-order geometric graph matching on GPU. Firstly, we study different declinations of feature correspondence problems by the use of the Matlab platform, in order to reuse and provide state-of-the-art solution methods, as well as experimental protocols and input data necessary for a GPU platform with evaluation and comparison tools against existing sequential algorithms, most of the time developed in Matlab framework. Then, the first part of this work concerns three contributions, respectively, to background and frame difference application, to feature extraction problem from images for local correspondences, and to the general graph matching problem, all based on the combination of methods derived from Matlab environment. Secondly, and based on the results of Matlab developments, we propose a new GPU framework written in CUDA C++ specifically dedicated to geometric graph matching but providing new parallel algorithms, with lower computational complexity, as the self-organizing map in the plane, derived parallel clustering algorithms, and distributed local search method. These parallel algorithms are then evaluated and compared to the state-of-the-art methods available for graph matching and following the same experimental protocol. This GPU platform constitutes our final and main proposal to contribute to bridging the gap between GPU development and higher-order graph matching. Note de contenu : 1- Introduction 2- Background 3- Background subtraction and frame difference for multi-object detection 4- Using Marr-wavelets and entropy/response to automatic feature detection 5- Affinity-preserving fixed point APRIP in Matlab framework for graph matching 6- Planar graph matching in GPU 7- Conclusion and future work Numéro de notice : 28328 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Informatique : UBFC : 2020 Organisme de stage : CIAD Dijon DOI : sans En ligne : https://tel.archives-ouvertes.fr/tel-02902973/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=98402

Towards visual urban scene understanding for autonomous vehicle path tracking using GPS positioning data / Citlalli Gamez Serna (2019)  

Public Titre : Towards visual urban scene understanding for autonomous vehicle path tracking using GPS positioning data Type de document : Thèse/HDR Auteurs : Citlalli Gamez Serna, Auteur ; Yassine Ruichek, Directeur de thèse Editeur : Dijon : Université Bourgogne Franche-Comté UBFC Année de publication : 2019 Importance : 178 p. Format : 21 x 30 cm Note générale : bibliographie Thèse de Doctorat de l'Université Bourgogne Franche-Comté préparée à l'Université de Technologie de Belfort-Montbéliard, Informatique Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image [Termes IGN] apprentissage profond [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] compréhension de l'image [Termes IGN] instance [Termes IGN] milieu urbain [Termes IGN] navigation autonome [Termes IGN] récepteur GPS [Termes IGN] scène urbaine [Termes IGN] segmentation sémantique [Termes IGN] signalisation routière [Termes IGN] système de transport intelligent [Termes IGN] trajectoire (véhicule non spatial) [Termes IGN] véhicule sans pilote [Termes IGN] vision par ordinateur [Termes IGN] vision stéréoscopique [Termes IGN] vitesse Mots-clés libres : suivi d'itinéraire Index. décimale : THESE Thèses et HDR Résumé : (auteur) This PhD thesis focuses on developing a path tracking approach based on visual perception and localization in urban environments. The proposed approach comprises two systems. The first one concerns environment perception. This task is carried out using deep learning techniques to automatically extract 2D visual features and use them to learn in order to distinguish the different objects in the driving scenarios. Three deep learning techniques are adopted: semantic segmentation to assign each image pixel to a class, instance segmentation to identify separated instances of the same class and, image classification to further recognize the specific labels of the instances. Here our system segments 15 object classes and performs traffic sign recognition. The second system refers to path tracking. In order to follow a path, the equipped vehicle first travels and records the route with a stereo vision system and a GPS receiver (learning step). The proposed system analyses off-line the GPS path and identifies exactly the locations of dangerous (sharp) curves and speed limits. Later after the vehicle is able to localize itself, the vehicle control module together with our speed negotiation algorithm, takes into account the information extracted and computes the ideal speed to execute. Through experimental results of both systems, we prove that, the first one is capable to detect and recognize precisely objects of interest in urban scenarios, while the path tracking one reduces significantly the lateral errors between the learned and traveled path. We argue that the fusion of both systems will ameliorate the tracking approach for preventing accidents or implementing autonomous driving. Note de contenu : I- Context and problems 1- Introduction II- Contribution 2- Proposed datasets 3- Traffic sign classification 4- Visual perception system for urban environments 5- Dynamic speed adaptation system for path tracking based on curvature information and speed limits III- Conclusions and future works 6- Conclusions and future works Numéro de notice : 25967 Affiliation des auteurs : non IGN Thématique : IMAGERIE/INFORMATIQUE Nature : Thèse française Note de thèse : Thèse de Doctorat : Informatique : UBFC : 2019 Organisme de stage : CIAD Dijon nature-HAL : Thèse DOI : sans En ligne : https://tel.archives-ouvertes.fr/tel-02160966/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=96587

Vision-based localization with discriminative features from heterogeneous visual data / Nathan Piasco (2019)  

Public Titre : Vision-based localization with discriminative features from heterogeneous visual data Type de document : Thèse/HDR Auteurs : Nathan Piasco , Auteur ; Valérie Gouet-Brunet , Directeur de thèse ; Cédric Demonceaux, Directeur de thèse Editeur : Dijon : Université Bourgogne Franche-Comté UBFC Année de publication : 2019 Importance : 174 p. Format : 21 x 30 cm Note générale : Bibliographie Thèse présentée à l'école doctorale n° 37 de l'Université de Dijon pour l'obtention du Doctorat en instrumentation et informatique de l'image Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] algorithme ICP [Termes IGN] carte de profondeur [Termes IGN] classification par réseau neuronal convolutif [Termes IGN] données hétérogènes [Termes IGN] estimation de pose [Termes IGN] fonction de transfert de modulation [Termes IGN] localisation basée image [Termes IGN] localisation basée vision [Termes IGN] recherche d'image basée sur le contenu [Termes IGN] vision monoculaire Index. décimale : THESE Thèses et HDR Résumé : (Auteur) Visual-based Localization (VBL) consists in retrieving the location of a visual image within a known space. VBL is involved in several present-day practical applications, such as indoor and outdoor navigation, 3D reconstruction, etc. The main challenge in VBL comes from the fact that the visual input to localize could have been taken at a different time than the reference database. Visual changes may occur on the observed environment during this period of time, especially for outdoor localization. Recent approaches use complementary information in order to address these visually challenging localization scenarios, like geometric information or semantic information. However geometric or semantic information are not always available or can be costly to obtain. In order to get free of any extra modalities used to solve challenging localization scenarios, we propose to use a modality transfer model capable of reproducing the underlying scene geometry from a monocular image. At first, we cast the localization problem as a Content-based Image Retrieval (CBIR) problem and we train a CNN image descriptor with radiometry to dense geometry transfer as side training objective. Once trained, our system can be used on monocular images only to construct an expressive descriptor for localization in challenging conditions. Secondly, we introduce a new relocalization pipeline to improve the localization given by our initial localization step. In a same manner as our global image descriptor, the relocalization is aided by the geometric information learned during an offline stage. The extra geometric information is used to constrain the final pose estimation of the query. Through comprehensive experiments, we demonstrate the effectiveness of our proposals for both indoor and outdoor localization. Note de contenu : 1. Introduction 1.1 Long-term mapping 1.2 pLaTINUM project 1.3 Visual-based Localization with heterogeneous data 2. Review of Visual-Based Localization methods 2.1 Data Representation 2.2 VBL methods 2.3 Data with Dissimilar Appearances 2.4 Data heterogeneity 2.5 Discussion 2.6 Conclusion 3 Side modality learning for localization 3.1 Related work 3.2 Model architectures and training 3.3 Implementation details 3.4 Long-term localization 3.5 Night to day localization scenarios 3.6 Laser reflectance as side information 3.7 Conclusion 4. Pose refinement with learned depth map 4.1 Method 4.2 Relative pose estimation 4.3 Preliminary results 4.4 Indoor localization 4.5 Unsupervised training and outdoor localization 4.6 Discussion 4.7 Conclusion 5. Conclusion 5.1 Summary of the thesis 5.2 Scientific contributions 5.3 Future Research A Network architectures A.1 Global image descriptor network A.2 Multitask pose refinement network Numéro de notice : 26415 Affiliation des auteurs : LASTIG MATIS (2012-2019) Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Instrumentation et informatique de l'image : Dijon : 2019 Organisme de stage : LaSTIG (IGN) nature-HAL : Thèse DOI : sans Date de publication en ligne : 13/11/2020 En ligne : https://hal.science/tel-03003651/document Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=96302