Centre de documentation
scientifique

Deep learning based 2D and 3D object detection and tracking on monocular video in the context of autonomous vehicles / Zhujun Xu (2022)  

Public Titre : Deep learning based 2D and 3D object detection and tracking on monocular video in the context of autonomous vehicles Type de document : Thèse/HDR Auteurs : Zhujun Xu, Auteur ; Eric Chaumette, Directeur de thèse ; Damien Vivet, Directeur de thèse Editeur : Toulouse : Université de Toulouse Année de publication : 2022 Importance : 136 p. Format : 21 x 30 cm Note générale : bibliographie Thèse en vue de l'obtention du Doctorat de l'Université de Toulouse, spécialité Informatique et Télécommunications Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] apprentissage profond [Termes IGN] apprentissage semi-dirigé [Termes IGN] architecture de réseau [Termes IGN] détection d'objet [Termes IGN] échantillonnage de données [Termes IGN] objet 3D [Termes IGN] segmentation d'image [Termes IGN] véhicule automobile [Termes IGN] vidéo [Termes IGN] vision par ordinateur Index. décimale : THESE Thèses et HDR Résumé : (auteur) The objective of this thesis is to develop deep learning based 2D and 3D object detection and tracking methods on monocular video and apply them to the context of autonomous vehicles. Actually, when directly using still image detectors to process a video stream, the accuracy suffers from sampled image quality problems. Moreover, generating 3D annotations is time-consuming and expensive due to the data fusion and large numbers of frames. We therefore take advantage of the temporal information in videos such as the object consistency, to improve the performance. The methods should not introduce too much extra computational burden, since the autonomous vehicle demands a real-time performance.Multiple methods can be involved in different steps, for example, data preparation, network architecture and post-processing. First, we propose a post-processing method called heatmap propagation based on a one-stage detector CenterNet for video object detection. Our method propagates the previous reliable long-term detection in the form of heatmap to the upcoming frame. Then, to distinguish different objects of the same class, we propose a frame-to-frame network architecture for video instance segmentation by using the instance sequence queries. The tracking of instances is achieved without extra post-processing for data association. Finally, we propose a semi-supervised learning method to generate 3D annotations for 2D video object tracking dataset. This helps to enrich the training process for 3D object detection. Each of the three methods can be individually applied to leverage image detectors to video applications. We also propose two complete network structures to solve 2D and 3D object detection and tracking on monocular video. Note de contenu : 1- Introduction 2- Video object detection avec la heatmap propagation (propagation de carte de chaleur) 3- Video instance segmentation with instance sequence queries 4- Semi-supervised learning of monocular 3D object detection with 2D video tracking annotations 5- Conclusions and perspectives Numéro de notice : 24072 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Informatique et Télécommunications : Toulouse : 2022 DOI : sans En ligne : https://www.theses.fr/2022ESAE0019 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=102136

De la navigation visuelle à l’analyse sémantique pour véhicules autonomes / Emir Hrustic (2021)  

Public Titre : De la navigation visuelle à l’analyse sémantique pour véhicules autonomes Type de document : Thèse/HDR Auteurs : Emir Hrustic, Auteur ; Eric Chaumette, Directeur de thèse ; Damien Vivet, Auteur Editeur : Toulouse : Université de Toulouse Année de publication : 2021 Importance : 193 p. Format : 21 x 30 cm Note générale : bibliographie Thèse en vue de l'obtention du Doctorat de l'Université de Toulouse délivré par l'Institut Supérieur de l’Aéronautique et de l’Espace, spécialité Informatique et Télécommunications Langues : Français (fre) Descripteur : [Vedettes matières IGN] Traitement d'image optique [Termes IGN] apprentissage automatique [Termes IGN] apprentissage profond [Termes IGN] capteur optique [Termes IGN] cartographie et localisation simultanées [Termes IGN] détection d'objet [Termes IGN] filtre de Kalman [Termes IGN] information sémantique [Termes IGN] navigation autonome [Termes IGN] segmentation sémantique [Termes IGN] signalisation routière [Termes IGN] vision par ordinateur Index. décimale : THESE Thèses et HDR Résumé : (auteur) Les travaux actuels dans le domaine de la navigation autonome s’intéressent principalement à l’étude d’algorithmes de localisation sur la base d’hybridation multi-capteurs ou d’approche de type localisation et cartographie simultanées (SLAM). Aujourd’hui des méthodes bien connues et assez fiables existent comme par exemple ORB-SLAM, SVO, PTAM. L’ensemble de ces méthodes peut être considéré comme des approches « bas niveau » dans le sens où l’interprétation de la scène reste très limitée. En effet, celle-ci est représentée par des nuages de points 3D ou au mieux des amers géométriques.Il est à noter qu’avec le machine learning et plus récemment l’engouement pour le Deep-Learning, des techniques d’analyse d’image émergent avec l’extraction d’objets statiques ou mobiles (détection de piétons, de panneaux, de marquages au sol. Ces approches restent cependant encore décorrélées de l’étape de navigation à proprement parlé. L’ambition de ce projet est d’intégrer les couches d’analyse de scène dans le cadre de la navigation autonome, à savoir intégrer les informations sémantiques dans l’étape de calcul de position. Nous souhaitons donc mettre en place une cartographie d'objets, dite sémantique, qu'ils soient routiers (panneau, feux, marquages au sol particuliers...), urbains (enseignes de magasin...) et éventuellement d’événements (accidents, travaux, déviations...). Ce type de cartographie permettra la navigation par amers visuels de haut niveau bien plus robustes dans le temps mais également plus facilement détectable en cas de variation de luminosité (jour nuit). Ce projet se situe ainsi à l’intersection de diverses thématiques : - L’apprentissage automatique, l’analyse d’image et la détection d’objets - La localisation par vision (odométrie visuelle, hybridation) - La cartographie sémantique géolocalisée (SLAM+GNSS). Note de contenu : 1- Introduction 2- La navigation autonome de véhicule par capteurs optiques 3- Extraction d’amers sémantiques 4- Intégration d’amers sémantiques dans un framework de type SLAM 5- Intégration de contraintes pour compenser les erreurs de modélisation d’un système Conclusion Numéro de notice : 28597 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Thèse française Note de thèse : Thèse de Doctorat : Informatique et Télécommunications : Toulouse : 2021 Organisme de stage : ISAE-ONERA SCANR DOI : sans En ligne : http://www.theses.fr/2021ESAE0008 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=99356