Centre de documentation
scientifique

Spatial data management in apache spark: the GeoSpark perspective and beyond / Jia Yu in Geoinformatica, vol 23 n° 1 (January 2019)  

Public [article]  inGeoinformatica > vol 23 n° 1 (January 2019) . - pp 37 - 78 Titre : Spatial data management in apache spark: the GeoSpark perspective and beyond Type de document : Article/Communication Auteurs : Jia Yu, Auteur ; Zongsi Zhang, Auteur ; Mohamed Sarwat, Auteur Année de publication : 2019 Article en page(s) : pp 37 - 78 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Bases de données localisées [Termes IGN] analyse comparative [Termes IGN] Apache (serveur) [Termes IGN] arbre k-d [Termes IGN] arbre quadratique [Termes IGN] arbre-R [Termes IGN] données massives [Termes IGN] Hadoop [Termes IGN] index spatial [Termes IGN] performance [Termes IGN] Spark [Termes IGN] traitement réparti Résumé : (auteur) The paper presents the details of designing and developing GeoSpark, which extends the core engine of Apache Spark and SparkSQL to support spatial data types, indexes, and geometrical operations at scale. The paper also gives a detailed analysis of the technical challenges and opportunities of extending Apache Spark to support state-of-the-art spatial data partitioning techniques: uniform grid, R-tree, Quad-Tree, and KDB-Tree. The paper also shows how building local spatial indexes, e.g., R-Tree or Quad-Tree, on each Spark data partition can speed up the local computation and hence decrease the overall runtime of the spatial analytics program. Furthermore, the paper introduces a comprehensive experiment analysis that surveys and experimentally evaluates the performance of running de-facto spatial operations like spatial range, spatial K-Nearest Neighbors (KNN), and spatial join queries in the Apache Spark ecosystem. Extensive experiments on real spatial datasets show that GeoSpark achieves up to two orders of magnitude faster run time performance than existing Hadoop-based systems and up to an order of magnitude faster performance than Spark-based systems. Numéro de notice : A2019-225 Affiliation des auteurs : non IGN Thématique : GEOMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s10707-018-0330-9 Date de publication en ligne : 22/10/2018 En ligne : http://dx.doi.org/10.1007/s10707-018-0330-9 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=92621 [article]

A context-based geoprocessing framework for optimizing meetup location of multiple moving objects along road networks / Shaohua Wang in International journal of geographical information science IJGIS, vol 32 n° 7-8 (July - August 2018)  

Public [article]  inInternational journal of geographical information science IJGIS > vol 32 n° 7-8 (July - August 2018) . - pp 1368 - 1390 Titre : A context-based geoprocessing framework for optimizing meetup location of multiple moving objects along road networks Type de document : Article/Communication Auteurs : Shaohua Wang, Auteur ; Song Gao, Auteur ; Xin Feng, Auteur ; Alan T. Murray, Auteur ; Yuan Zeng Année de publication : 2018 Article en page(s) : pp 1368 - 1390 Note générale : Bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Applications SIG [Termes IGN] arbre-R [Termes IGN] chaîne de traitement [Termes IGN] chemin le plus court, algorithme du [Termes IGN] démonstration de faisabilité [Termes IGN] méthode heuristique [Termes IGN] objet mobile [Termes IGN] optimisation (mathématiques) [Termes IGN] position [Termes IGN] prise en compte du contexte [Termes IGN] réseau routier Résumé : (Editeur) Given different types of constraints on human life, people must make decisions that satisfy social activity needs. Minimizing costs (i.e. distance, time, or money) associated with travel plays an important role in perceived and realized social quality of life. Identifying optimal interaction locations on road networks when there are multiple moving objects (MMO) with space–time constraints remains a challenge. In this research, we formalize the problem of finding dynamic ideal interaction locations for MMO as a spatial optimization model and introduce a context-based geoprocessing heuristic framework to address this problem. As a proof of concept, a case study involving identification of a meetup location for multiple people under traffic conditions is used to validate the proposed geoprocessing framework. Five heuristic methods with regard to efficient shortest-path search space have been tested. We find that the R* tree-based algorithm performs the best with high quality solutions and low computation time. This framework is implemented in a geographic information systems environment to facilitate integration with external geographic contextual information, e.g. temporary road barriers, points of interest, and real-time traffic information, when dynamically searching for ideal meetup sites. The proposed method can be applied in trip planning, carpooling services, collaborative interaction, and logistics management. Numéro de notice : A2018-278 Affiliation des auteurs : non IGN Thématique : GEOMATIQUE Nature : Article DOI : 10.1080/13658816.2018.1431838 En ligne : https://doi.org/10.1080/13658816.2018.1431838 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=90360 [article]

Exemplaires(1)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
079-2018041	RAB	Revue	Centre de documentation	En réserve L003	Disponible

A spatio-temporal index for aerial full waveform laser scanning data / Debra F. Laefer in ISPRS Journal of photogrammetry and remote sensing, vol 138 (April 2018)  

Public [article]  inISPRS Journal of photogrammetry and remote sensing > vol 138 (April 2018) . - pp 232 - 251 Titre : A spatio-temporal index for aerial full waveform laser scanning data Type de document : Article/Communication Auteurs : Debra F. Laefer, Auteur ; Anh-Vu Vo, Auteur ; Michela Bertolotto, Auteur Année de publication : 2018 Article en page(s) : pp 232 - 251 Note générale : Bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Lasergrammétrie [Termes IGN] arbre-R [Termes IGN] base de données localisées [Termes IGN] données lidar [Termes IGN] données localisées 3D [Termes IGN] forme d'onde pleine [Termes IGN] index spatiotemporel [Termes IGN] indexation spatiale [Termes IGN] octree Résumé : (Auteur) Aerial laser scanning is increasingly available in the full waveform version of the raw signal, which can provide greater insight into and control over the data and, thus, richer information about the scanned scenes. However, when compared to conventional discrete point storage, preserving raw waveforms leads to vastly larger and more complex data volumes. To begin addressing these challenges, this paper introduces a novel bi-level approach for storing and indexing full waveform (FWF) laser scanning data in a relational database environment, while considering both the spatial and the temporal dimensions of that data. In the storage scheme's upper level, the full waveform datasets are partitioned into spatial and temporal coherent groups that are indexed by a two-dimensional R∗-tree. To further accelerate intra-block data retrieval, at the lower level a three-dimensional local octree is created for each pulse block. The local octrees are implemented in-memory and can be efficiently written to a database for reuse. The indexing solution enables scalable and efficient three-dimensional (3D) spatial and spatio-temporal queries on the actual pulse data - functionalities not available in other systems. The proposed FWF laser scanning data solution is capable of managing multiple FWF datasets derived from large flight missions. The flight structure is embedded into the data storage model and can be used for querying predicates. Such functionality is important to FWF data exploration since aircraft locations and orientations are frequently required for FWF data analyses. Empirical tests on real datasets of up to 1 billion pulses from Dublin, Ireland prove the almost perfect scalability of the system. The use of the local 3D octree in the indexing structure accelerated pulse clipping by 1.2–3.5 times for non-axis-aligned (NAA) polyhedron shaped clipping windows, while axis-aligned (AA) polyhedron clipping was better served using only the top indexing layer. The distinct behaviours of the hybrid indexing for AA and NAA clipping windows are attributable to the different proportion of the local-index-related overheads with respect to the total querying costs. When temporal constraints were added, generally the number of costly spatial checks were reduced, thereby shortening the querying times. Numéro de notice : A2018-125 Affiliation des auteurs : non IGN Thématique : IMAGERIE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1016/j.isprsjprs.2018.01.012 En ligne : https://doi.org/10.1016/j.isprsjprs.2018.01.012 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=89587 [article]

Exemplaires(3)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
081-2018041	RAB	Revue	Centre de documentation	En réserve L003	Disponible
081-2018043	DEP-EXM	Revue	LASTIG	Dépôt en unité	Exclu du prêt
081-2018042	DEP-EAF	Revue	Nancy	Dépôt en unité	Exclu du prêt

Manuel d'analyse spatiale / Vincent Loonis (2018)    

Public Titre : Manuel d'analyse spatiale : théorie et mise en oeuvre pratique avec R Type de document : Guide/Manuel Auteurs : Vincent Loonis, Éditeur scientifique ; Marie-Pierre de Bellefon, Éditeur scientifique Editeur : Paris : Institut National de la Statistique et des Etudes Economiques INSEE Année de publication : 2018 Autre Editeur : Luxembourg : Eurostat Collection : Insee Méthodes, ISSN 1142-3080 num. 131 Importance : 406 p. Format : 21 x 30 cm ISBN/ISSN/EAN : 978-2-11-139684-5 Note générale : Bibliographie Projet en partie financé par le programme statistique européen 2013-2017 dans le cadre de l’action ESS "Intégration de l’information statistique et géospatiale" par la subvention numéro 08143.2015.001-2015.714 Langues : Français (fre) Descripteur : [Vedettes matières IGN] Analyse spatiale [Termes IGN] arbre-R [Termes IGN] autocorrélation spatiale [Termes IGN] corrélation automatique de points homologues [Termes IGN] données localisées [Termes IGN] échantillonnage de données [Termes IGN] économétrie [Termes IGN] géostatistique [Termes IGN] R (langage) [Termes IGN] régression géographiquement pondérée Index. décimale : 37.20 Analyse spatiale et ses outils Résumé : (Editeur) [Editorial Insee] [...] L’objectif du manuel d’analyse spatiale est de répondre aux questions concrètes des chargés d’étude des instituts statistiques : que faire avec ces nouvelles sources de données géolocalisées ? Dans quels cas doit-on prendre en compte leur dimension spatiale ? Comment appliquer les méthodes de statistique et d’économétrie spatiale ? Contrairement aux manuels existants, la pédagogie est pensée spécifiquement en fonction des enjeux propres aux instituts statistiques : les exemples d’application utilisent des données collectées par la statistique publique et l’accent est mis sur la pratique et l’importance du choix des paramètres. Les fondements théoriques sont suffisamment approfondis pour permettre de comprendre les subtilités dans la mise en oeuvre pratique des méthodes, tout en renvoyant aux ouvrages spécialisés les lecteurs désireux de connaître les extensions d’un niveau technique plus élevé. La majorité des chapitres présente des méthodes bien documentées et fréquemment utilisées, mais quelques-uns s’appuient sur des travaux innovants diffusés récemment. Parmi les thèmes abordés, le manuel Insee-Eurostat s’intéresse aux questions de sondage et de respect de la confidentialité ; autant de points importants pour les INS et très peu approfondis dans les ouvrages existants. Quelques chapitres ouvrent sur des notions peu utilisées actuellement à l’Insee comme la géostatistique. [...] Note de contenu : Partie 1 - DECRIRE LES DONNEES GEOLOCALISEES 1. Analyse spatiale descriptive 2. Codifier la structure de voisinage Partie 2 - MESURER L’IMPORTANCE DES EFFETS SPATIAUX 3. Indices d’autocorrélation spatiale 4. Les configurations de points 5. Géostatistique Partie 3 - PRENDRE EN COMPTE LES EFFETS SPATIAUX 6. Économétrie spatiale : modèles courants 7. Économétrie spatiale sur données de panel 8. Lissage spatial 9. Régression géographiquement pondérée 10. Échantillonnage spatial 11. Économétrie spatiale sur données d’enquête 12. Estimation sur petits domaines et corrélation spatiale Partie 4 - PROLONGEMENTS 13. Partitionnement et analyse de graphes 14. Confidentialité des données spatiales Numéro de notice : 22948 Affiliation des auteurs : non IGN Thématique : GEOMATIQUE/MATHEMATIQUE Nature : Manuel Date de publication en ligne : 29/10/2018 En ligne : https://www.insee.fr/fr/information/3635442 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=91040

Documents numériques

en open access Manuel d'analyse spatiale : théorie et mise en oeuvre pratique avec R Adobe Acrobat PDF

Etude et méthodes d'intégration et d'interaction de données 3D complexes type "nuages de points" vers un web SIG / Victor Lambert (2017) 

Public Titre : Etude et méthodes d'intégration et d'interaction de données 3D complexes type "nuages de points" vers un web SIG Type de document : Mémoire Auteurs : Victor Lambert, Auteur Editeur : Champs-sur-Marne : Ecole nationale des sciences géographiques ENSG Année de publication : 2017 Importance : 44 p. Format : 21 x 30 cm Note générale : Bibliographie Rapport de projet pluridisciplinaire, cycle Ingénieur 2e année Langues : Français (fre) Descripteur : [Vedettes matières IGN] Géomatique web [Termes IGN] arbre k-d [Termes IGN] arbre-R [Termes IGN] architecture client-serveur [Termes IGN] automatisation [Termes IGN] base de données localisées [Termes IGN] bibliothèque logicielle [Termes IGN] données localisées 3D [Termes IGN] état de l'art [Termes IGN] indexation spatiale [Termes IGN] intégration de données [Termes IGN] interface web [Termes IGN] octree [Termes IGN] ontologie [Termes IGN] Python (langage de programmation) [Termes IGN] semis de points [Termes IGN] visualisation 3D [Termes IGN] webGL [Termes IGN] WebSIG Index. décimale : PROJET Mémoires : Rapports de projet - stage des ingénieurs de 2e année Résumé : (Auteur) L’Unité de géomatique de l’Université de Liège (Belgique) effectue des recherches sur bases de données géographiques et SIG 3D par le biais de la modélisation de larges nuages de points. Plusieurs campagnes de mesures ont été effectuées dans le but d’obtenir des nuages de plusieurs milliards de points. Ces campagnes ont permis la mise en place d’une base de données liant informations géographiques et ontologies. L’objectif est désormais de pouvoir visualiser ces données et interagir avec elles. Ce document présente la théorie et la mise en place d’une solution technique permettant la valorisation des résultats des campagnes de relevés et l’automatisation d’un processus permettant l’interaction entre une base de données et un Web SIG. Note de contenu : INTRODUCTION 1. ETAT DE L'ART 1.1. Indexation 1.2. Visualisation et interaction 2. SOLUTION THEORIQUE APPORTEE 2.1. Nuages de points et WebGL 2.2. Interactions client-serveur 3. INFRASTRUCTURE DE L’APPLICATION 3.1. Intégration des librairies Three et Potree 3.2. Base de données 3.3. Infrastructure serveur : Python CONCLUSION Numéro de notice : 22813 Affiliation des auteurs : non IGN Thématique : GEOMATIQUE/INFORMATIQUE Nature : Mémoire de projet pluridisciplinaire Organisme de stage : Unité de Géomatique (Université de Liège) Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=88487

Exemplaires(1)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
22813-01	PROJET	Livre	Centre de documentation	Travaux d'élèves	Disponible

Documents numériques

peut être téléchargé Etude et méthodes d'intégration et d'interaction de données 3D complexes Adobe Acrobat PDF

The TM-RTree: an index on generic moving objects for range queries / Jianqiu Xu in Geoinformatica, vol 19 n° 3 (July - September 2015)  

Permalink

GMOBench: Benchmarking generic moving objects / Jianqiu Xu in Geoinformatica, vol 19 n° 2 (April - June 2015)  

Permalink

The largest empty rectangle containing only a query object in Spatial Databases / Gilberto Gutiérrez in Geoinformatica, vol 18 n° 2 (April 2014)  

Permalink

The k closest pairs in spatial databases: When only set is indexed / Gilberto Gutiérrez in Geoinformatica, vol 17 n° 4 (October 2013)  

Permalink

Generic and efficient framework for search trees on flash memory storage systems / Mohamed Sarwat in Geoinformatica, vol 17 n° 3 (July 2013)  

Permalink

Parallel indexing technique for spatio-temporal data / Zhenwen He in ISPRS Journal of photogrammetry and remote sensing, vol 78 (April 2013)  

Permalink

An efficient point cloud management method based on a 3D R-tree / J. Gong in Photogrammetric Engineering & Remote Sensing, PERS, vol 78 n° 4 (April 2012)  

Permalink

An interactive framework for spatial joins : a statistical approach to data analysis in GIS / S. Alkobaisi in Geoinformatica, vol 16 n° 2 (April 2012)  

Permalink

Algorithms for constrained k-nearest neighbor queries over moving object trajectories / Yunjun Gao in Geoinformatica, vol 14 n° 2 (April 2010)  

Permalink

Update-efficient indexing of moving objects in road networks / J. Chen in Geoinformatica, vol 13 n° 4 (December 2009)  

Permalink