Centre dedocumentation
scientifique

Spatial data management in apache spark: the GeoSpark perspective and beyond / Jia Yu in Geoinformatica, vol 23 n° 1 (January 2019)  

Public [article]  inGeoinformatica > vol 23 n° 1 (January 2019) . - pp 37 - 78 Titre : Spatial data management in apache spark: the GeoSpark perspective and beyond Type de document : Article/Communication Auteurs : Jia Yu, Auteur ; Zongsi Zhang, Auteur ; Mohamed Sarwat, Auteur Année de publication : 2019 Article en page(s) : pp 37 - 78 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Bases de données localisées [Termes IGN] analyse comparative [Termes IGN] Apache (serveur) [Termes IGN] arbre k-d [Termes IGN] arbre quadratique [Termes IGN] arbre-R [Termes IGN] données massives [Termes IGN] Hadoop [Termes IGN] index spatial [Termes IGN] performance [Termes IGN] Spark [Termes IGN] traitement réparti Résumé : (auteur) The paper presents the details of designing and developing GeoSpark, which extends the core engine of Apache Spark and SparkSQL to support spatial data types, indexes, and geometrical operations at scale. The paper also gives a detailed analysis of the technical challenges and opportunities of extending Apache Spark to support state-of-the-art spatial data partitioning techniques: uniform grid, R-tree, Quad-Tree, and KDB-Tree. The paper also shows how building local spatial indexes, e.g., R-Tree or Quad-Tree, on each Spark data partition can speed up the local computation and hence decrease the overall runtime of the spatial analytics program. Furthermore, the paper introduces a comprehensive experiment analysis that surveys and experimentally evaluates the performance of running de-facto spatial operations like spatial range, spatial K-Nearest Neighbors (KNN), and spatial join queries in the Apache Spark ecosystem. Extensive experiments on real spatial datasets show that GeoSpark achieves up to two orders of magnitude faster run time performance than existing Hadoop-based systems and up to an order of magnitude faster performance than Spark-based systems. Numéro de notice : A2019-225 Affiliation des auteurs : non IGN Thématique : GEOMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s10707-018-0330-9 Date de publication en ligne : 22/10/2018 En ligne : http://dx.doi.org/10.1007/s10707-018-0330-9 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=92621 [article]

Etude et méthodes d'intégration et d'interaction de données 3D complexes type "nuages de points" vers un web SIG / Victor Lambert (2017) 

Public Titre : Etude et méthodes d'intégration et d'interaction de données 3D complexes type "nuages de points" vers un web SIG Type de document : Mémoire Auteurs : Victor Lambert, Auteur Editeur : Champs-sur-Marne : Ecole nationale des sciences géographiques ENSG Année de publication : 2017 Importance : 44 p. Format : 21 x 30 cm Note générale : Bibliographie Rapport de projet pluridisciplinaire, cycle Ingénieur 2e année Langues : Français (fre) Descripteur : [Vedettes matières IGN] Géomatique web [Termes IGN] arbre k-d [Termes IGN] arbre-R [Termes IGN] architecture client-serveur [Termes IGN] automatisation [Termes IGN] base de données localisées [Termes IGN] bibliothèque logicielle [Termes IGN] données localisées 3D [Termes IGN] état de l'art [Termes IGN] indexation spatiale [Termes IGN] intégration de données [Termes IGN] interface web [Termes IGN] octree [Termes IGN] ontologie [Termes IGN] Python (langage de programmation) [Termes IGN] semis de points [Termes IGN] visualisation 3D [Termes IGN] webGL [Termes IGN] WebSIG Index. décimale : PROJET Mémoires : Rapports de projet - stage des ingénieurs de 2e année Résumé : (Auteur) L’Unité de géomatique de l’Université de Liège (Belgique) effectue des recherches sur bases de données géographiques et SIG 3D par le biais de la modélisation de larges nuages de points. Plusieurs campagnes de mesures ont été effectuées dans le but d’obtenir des nuages de plusieurs milliards de points. Ces campagnes ont permis la mise en place d’une base de données liant informations géographiques et ontologies. L’objectif est désormais de pouvoir visualiser ces données et interagir avec elles. Ce document présente la théorie et la mise en place d’une solution technique permettant la valorisation des résultats des campagnes de relevés et l’automatisation d’un processus permettant l’interaction entre une base de données et un Web SIG. Note de contenu : INTRODUCTION 1. ETAT DE L'ART 1.1. Indexation 1.2. Visualisation et interaction 2. SOLUTION THEORIQUE APPORTEE 2.1. Nuages de points et WebGL 2.2. Interactions client-serveur 3. INFRASTRUCTURE DE L’APPLICATION 3.1. Intégration des librairies Three et Potree 3.2. Base de données 3.3. Infrastructure serveur : Python CONCLUSION Numéro de notice : 22813 Affiliation des auteurs : non IGN Thématique : GEOMATIQUE/INFORMATIQUE Nature : Mémoire de projet pluridisciplinaire Organisme de stage : Unité de Géomatique (Université de Liège) Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=88487

Réservation

Réserver ce document

Exemplaires (1)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
22813-01	PROJET	Livre	Centre de documentation	Travaux d'élèves	Disponible

Documents numériques

peut être téléchargé Etude et méthodes d'intégration et d'interaction de données 3D complexes Adobe Acrobat PDF

Street environment change detection from mobile laser scanning point clouds / Wen Xiao in ISPRS Journal of photogrammetry and remote sensing, vol 107 (September 2015)  

Public [article]  inISPRS Journal of photogrammetry and remote sensing > vol 107 (September 2015) . - pp 38 - 49 Titre : Street environment change detection from mobile laser scanning point clouds Type de document : Article/Communication Auteurs : Wen Xiao, Auteur ; Bruno Vallet , Auteur ; Mathieu Brédif , Auteur ; Nicolas Paparoditis , Auteur Année de publication : 2015 Projets : 1-Pas de projet / Article en page(s) : pp 38 - 49 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Lasergrammétrie [Termes IGN] arbre k-d [Termes IGN] détection de changement [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] milieu urbain [Termes IGN] route [Termes IGN] semis de points [Termes IGN] théorie de Dempster-Shafer Mots-clés libres : Occupancy grids  Point-to-triangle distance Résumé : (auteur) Mobile laser scanning (MLS) has become a popular technique for road inventory, building modelling, infrastructure management, mobility assessment, etc. Meanwhile, due to the high mobility of MLS systems, it is easy to revisit interested areas. However, change detection using MLS data of street environment has seldom been studied. In this paper, an approach that combines occupancy grids and a distance-based method for change detection from MLS point clouds is proposed. Unlike conventional occupancy grids, our occupancy-based method models space based on scanning rays and local point distributions in 3D without voxelization. A local cylindrical reference frame is presented for the interpolation of occupancy between rays according to the scanning geometry. The Dempster–Shafer theory (DST) is utilized for both intra-data evidence fusion and inter-data consistency assessment. Occupancy of reference point cloud is fused at the location of target points and then the consistency is evaluated directly on the points. A point-to-triangle (PTT) distance-based method is combined to improve the occupancy-based method. Because it is robust to penetrable objects, e.g. vegetation, which cause self-conflicts when modelling occupancy. The combined method tackles irregular point density and occlusion problems, also eliminates false detections on penetrable objects. Numéro de notice : A2015-725 Affiliation des auteurs : IGN (2012-2019) Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2015.04.011 Date de publication en ligne : 11/05/2015 En ligne : https://doi.org/10.1016/j.isprsjprs.2015.04.011 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=78374 [article]

Triangulation de Delaunay et arbres multidimensionnels / Christophe Lemaire (1997)

Public Titre : Triangulation de Delaunay et arbres multidimensionnels Type de document : Thèse/HDR Auteurs : Christophe Lemaire, Auteur Editeur : Saint-Etienne : Université Jean-Monnet-Saint-Etienne Année de publication : 1997 Importance : 208 p. Format : 21 x 30 cm Note générale : bibliographie Langues : Français (fre) Descripteur : [Vedettes matières IGN] Algorithmique [Termes IGN] arbre (mathématique) [Termes IGN] arbre k-d [Termes IGN] arbre quadratique [Termes IGN] complexité [Termes IGN] diagramme de Voronoï [Termes IGN] géomètrie algorithmique [Termes IGN] triangulation de Delaunay Index. décimale : THESE Thèses et HDR Résumé : (auteur) Les travaux effectués lors de cette thèse concernent principalement la triangulation de Delaunay. On montre que la complexité en moyenne - en termes de sites inachevés - du processus de fusion multidimensionnelle dans l'hypothèse de distribution quasi-uniforme dans un hypercube est linéaire en moyenne. Ce résultat général est appliqué au cas du plan et permet d'analyser de nouveaux algorithmes de triangulation de Delaunay plus performants que ceux connus à ce jour. Le principe sous-jacent est de diviser le domaine selon des arbres bidimensionnels (quadtree, 2d-tree, bucket-tree …), puis de fusionner les cellules obtenues selon deux directions. On étudie actuellement la prise en compte de contraintes directement pendant la phase de triangulation avec des algorithmes de ce type. De nouveaux algorithmes pratiques de localisation dans une triangulation sont proposés, basés sur la randomisation à partir d'un arbre binaire de recherche dynamique de type AVL, dont l'un est plus rapide que l'algorithme optimal de. Kirkpatrick, au moins jusqu'à 12 millions de sites ! Nous travaillons actuellement sur l'analyse rigoureuse de leur complexité en moyenne. Ce nouvel algorithme est utilisé pour construire "en-ligne" une triangulation de Delaunay qui est parmi les plus performantes des méthodes "en-ligne" connues à ce jour. Numéro de notice : 17244 Affiliation des auteurs : non IGN Thématique : GEOMATIQUE/INFORMATIQUE/MATHEMATIQUE Nature : Thèse française Note de thèse : thèse de doctorat : Informatique : Saint-Etienne : 1997 Organisme de stage : SETRA nature-HAL : Thèse DOI : sans Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=81629

Réservation

Réserver ce document

Exemplaires (1)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
17244-01	THESE	Livre	Centre de documentation	Thèses	Disponible

The hB-tree: a multiattribute indexing method with good guaranteed performance / David Bruce Lomet in ACM Transactions on database systems, TODS, vol 15 n° 4 (December 1990)  

Public [article]  inACM Transactions on database systems, TODS > vol 15 n° 4 (December 1990) . - pp 625 - 658 Titre : The hB-tree: a multiattribute indexing method with good guaranteed performance Type de document : Article/Communication Auteurs : David Bruce Lomet, Auteur ; Betty Joan Salzberg, Auteur Année de publication : 1990 Article en page(s) : pp 625 - 658 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Termes IGN] arbre k-d [Termes IGN] arbre-B Résumé : (auteur) A new multiattribute index structure called the hB-tree is introduced. It is derived from the K-D-B-tree of Robinson [15] but has additional desirable properties. The hB-tree internode search and growth processes are precisely analogous to the corresponding processes in B-trees. The intranode processes are unique. A k-d tree is used as the structure within nodes for very efficient searching. Node splitting requires that this k-d tree be split. This produces nodes which no longer represent brick-like regions in k-space, but that can be characterized as holey bricks, bricks in which subregions have been extracted. We present results that guarantee hB-tree users decent storage utilization, reasonable size index terms, and good search and insert performance. These results guarantee that the hB-tree copes well with arbitrary distributions of keys. Numéro de notice : A1990-230 Affiliation des auteurs : non IGN Thématique : INFORMATIQUE Nature : Article DOI : 10.1145/99935.99949 Date de publication en ligne : 01/12/1990 En ligne : https://doi.org/10.1145/99935.99949 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=101034 [article]