Centre dedocumentation
scientifique

Distributed and parallel architectures for spatial data / Alberto Belussi (2020)  

Public Titre : Distributed and parallel architectures for spatial data Type de document : Monographie Auteurs : Alberto Belussi, Éditeur scientifique ; Sara Migliorini, Éditeur scientifique ; Damiano Carra, Éditeur scientifique ; et al., Auteur Editeur : Bâle [Suisse] : Multidisciplinary Digital Publishing Institute MDPI Année de publication : 2020 Importance : 170 p. ISBN/ISSN/EAN : 978-3-03936-751-1 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Géomatique [Termes IGN] base de données localisées [Termes IGN] collecte de données [Termes IGN] développement durable [Termes IGN] données localisées [Termes IGN] données massives [Termes IGN] entrepôt de données localisées [Termes IGN] géoportail [Termes IGN] Hadoop [Termes IGN] métadonnées [Termes IGN] modèle numérique de surface [Termes IGN] objet mobile [Termes IGN] OLAP [Termes IGN] OpenStreetMap [Termes IGN] PostGIS [Termes IGN] réseau social [Termes IGN] SQL [Termes IGN] système d'information géographique [Termes IGN] téléphone intelligent [Termes IGN] traitement parallèle [Termes IGN] zone tampon Résumé : (Editeur) [Préface] In recent years, an increasing amount of spatial data has been collected by different types of devices, such as mobile phones, sensors, satellites, space telescope, and medical tools for analysis, or is generated by social networks, such as geotagged tweets. The processing of this huge amount of information, including spatial properties, which are frequently represented in heterogeneous ways, is a challenging task that has boosted research in the big data area in an attempt to investigate cases and propose new solutions for dealing with its peculiarities. In the literature, many different proposals and approaches for facing the problem have been proposed, addressing different goals and different types of users. However, most are obtained by customizing existing approaches which were originally developed for the processing of big data of the alphanumeric type, without any specific support for spatial or spatiotemporal properties. Thus, the proposed solutions can exploit the parallelism provided by these kinds of systems, but without taking into account, in a proficient way, the space and time dimensions that intrinsically characterize the analyzed datasets. As described in the literature, current solutions include: (i) the on-top approach, where an underlying system for traditional big datasets is used as a black box while spatial processing is added through the definition of user-defined functions that are specified on top of the underlying system; (ii) the from-scratch approach, where a completely new system is implemented for a specific application context; and (iii) the built-in approach, where an existing solution is extended by injecting spatial data functions into its core. This book aims at promoting new and innovative studies, proposing new architectures or innovative evolutions of existing ones, and illustrating experiments on current technologies in order to improve the efficiency and effectiveness of distributed and cluster systems when they deal with spatiotemporal data. Note de contenu : Preface 1- Distributed Processing of Location-Based Aggregate Queries Using MapReduce 2- Towards the Development of Agenda 2063 Geo-Portal to Support Sustainable Development in Africa 3- HiBuffer: Buffer Analysis of 10-Million-Scale Spatial Data in Real Time 4- Mobility DataWarehouses 5- Parallelizing Multiple Flow Accumulation Algorithm using CUDA and OpenACC 6- LandQv2: A MapReduce-Based System for Processing Arable Land Quality Big Data 7- Mr4Soil: A MapReduce-Based Framework Integrated with GIS for Soil Erosion Modelling 8- High-Performance Geospatial Big Data Processing System Based on MapReduce Numéro de notice : 25884 Affiliation des auteurs : non IGN Thématique : GEOMATIQUE/INFORMATIQUE Nature : Monographie DOI : 10.3390/books978-3-03936-751-1 En ligne : https://doi.org/10.3390/books978-3-03936-751-1 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=95762

Big data security / Shibakali Gupta (2019)  

Public Titre : Big data security Type de document : Monographie Auteurs : Shibakali Gupta, Éditeur scientifique ; Indradip Banerjee, Éditeur scientifique ; Siddhartha Bhattacharyya, Éditeur scientifique Editeur : Berlin, New York : Walter de Gruyter Année de publication : 2019 Importance : 144 p. Format : 17 x 24 cm ISBN/ISSN/EAN : 978-3-11-060605-8 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Informatique [Termes IGN] blockchain [Termes IGN] confidentialité [Termes IGN] cryptographie [Termes IGN] données massives [Termes IGN] Hadoop [Termes IGN] informatique en nuage [Termes IGN] protection de la vie privée [Termes IGN] rapport signal sur bruit [Termes IGN] sécurité informatique Résumé : (éditeur) After a short description of the key concepts of big data the book explores on the secrecy and security threats posed especially by cloud based data storage. It delivers conceptual frameworks and models along with case studies of recent technology. Note de contenu : 1- Introduction 2- Digital identity protection using blockchain for academic qualification certificates 3- Anomaly detection in cloud big database metric 4- Use of big data in hacking and social engineering 5- Steganography, the widely used name for data hiding 6- Big data security issues with challenges and solutions 7- Conclusions Numéro de notice : 25976 Affiliation des auteurs : non IGN Thématique : SOCIETE NUMERIQUE Nature : Monographie DOI : 10.1515/9783110606058 En ligne : https://doi.org/10.1515/9783110606058 Format de la ressource électronique : URL Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=96649

Spatial data management in apache spark: the GeoSpark perspective and beyond / Jia Yu in Geoinformatica, vol 23 n° 1 (January 2019)  

Public [article]  inGeoinformatica > vol 23 n° 1 (January 2019) . - pp 37 - 78 Titre : Spatial data management in apache spark: the GeoSpark perspective and beyond Type de document : Article/Communication Auteurs : Jia Yu, Auteur ; Zongsi Zhang, Auteur ; Mohamed Sarwat, Auteur Année de publication : 2019 Article en page(s) : pp 37 - 78 Note générale : bibliographie Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Bases de données localisées [Termes IGN] analyse comparative [Termes IGN] Apache (serveur) [Termes IGN] arbre k-d [Termes IGN] arbre quadratique [Termes IGN] arbre-R [Termes IGN] données massives [Termes IGN] Hadoop [Termes IGN] index spatial [Termes IGN] performance [Termes IGN] Spark [Termes IGN] traitement réparti Résumé : (auteur) The paper presents the details of designing and developing GeoSpark, which extends the core engine of Apache Spark and SparkSQL to support spatial data types, indexes, and geometrical operations at scale. The paper also gives a detailed analysis of the technical challenges and opportunities of extending Apache Spark to support state-of-the-art spatial data partitioning techniques: uniform grid, R-tree, Quad-Tree, and KDB-Tree. The paper also shows how building local spatial indexes, e.g., R-Tree or Quad-Tree, on each Spark data partition can speed up the local computation and hence decrease the overall runtime of the spatial analytics program. Furthermore, the paper introduces a comprehensive experiment analysis that surveys and experimentally evaluates the performance of running de-facto spatial operations like spatial range, spatial K-Nearest Neighbors (KNN), and spatial join queries in the Apache Spark ecosystem. Extensive experiments on real spatial datasets show that GeoSpark achieves up to two orders of magnitude faster run time performance than existing Hadoop-based systems and up to an order of magnitude faster performance than Spark-based systems. Numéro de notice : A2019-225 Affiliation des auteurs : non IGN Thématique : GEOMATIQUE Nature : Article nature-HAL : ArtAvecCL-RevueIntern DOI : 10.1007/s10707-018-0330-9 Date de publication en ligne : 22/10/2018 En ligne : http://dx.doi.org/10.1007/s10707-018-0330-9 Format de la ressource électronique : URL article Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=92621 [article]

Hadoop, the definitive guide / Tom White (2015)

Public Titre : Hadoop, the definitive guide Type de document : Guide/Manuel Auteurs : Tom White, Auteur Mention d'édition : 4th edition revised and updated Editeur : Sebastopol, Paris, etc. : O'Reilly Année de publication : 2015 Importance : 727 p. Format : 18 x 23 cm ISBN/ISSN/EAN : 978-1-4919-0163-2 Langues : Anglais (eng) Descripteur : [Vedettes matières IGN] Informatique [Termes IGN] Hadoop [Termes IGN] programmation informatique Index. décimale : 26.00 Informatique - généralités Résumé : (Editeur) Get ready to unlock the power of your data. With the fourth edition of this comprehensive guide, you’ll learn how to build and maintain reliable, scalable, distributed systems with Apache Hadoop. This book is ideal for programmers looking to analyze datasets of any size, and for administrators who want to set up and run Hadoop clusters. Using Hadoop 2 exclusively, author Tom White presents new chapters on YARN and several Hadoop-related projects such as Parquet, Flume, Crunch, and Spark. You’ll learn about recent changes to Hadoop, and explore new case studies on Hadoop’s role in healthcare systems and genomics data processing. Note de contenu : Hadoop fundamentals 1. Meet Hadoop 2. MapReduce 3. The Hadoop distributed filesystem 4. YARN 5. Hadoop I/O MapReduce 6. Developing a MapReduce application 7. How MapReduce works 8. MapReduce types and formats 9. MapReduce features Hadoop operations 10. Setting up a Hadoop cluster 11. Administering Hadoop Related projects 12. Avro 13. Parquet 14. Flume 15. Sqoop 16. Pig 17. Hive 18. Crunch 19. Spark 20. HBase 21. ZooKeeper Case studies 22. Composable data at cerner 23. Biological data science: saving lives with software 24. Cascading Numéro de notice : 22305 Affiliation des auteurs : non IGN Thématique : INFORMATIQUE Nature : Manuel informatique Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=76987

Réservation

Réserver ce document

Exemplaires (1)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
22305-01	26.00	Manuel Informatique	Centre de documentation	Informatique	Disponible

Big Data, concepts et mise en oeuvre de Hadoop / Laurent Jolia-Ferrier (2014)

Public Titre : Big Data, concepts et mise en oeuvre de Hadoop Type de document : Guide/Manuel Auteurs : Laurent Jolia-Ferrier, Auteur Editeur : Saint-Herblain : ENI Editions Année de publication : 2014 Collection : Epsilon Importance : 207 p. Format : 17 x 21 cm ISBN/ISSN/EAN : 978-2-7460-8688-3 Langues : Français (fre) Descripteur : [Vedettes matières IGN] Informatique [Termes IGN] administration de données [Termes IGN] données massives [Termes IGN] Hadoop [Termes IGN] stockage de données [Termes IGN] traitement réparti Index. décimale : 26.00 Informatique - généralités Résumé : (Editeur) Ce livre sur Hadoop (versions 1 et 2), vise deux types de publics. Il s'adresse d’une part aux décideurs, qu’ils soient techniciens (responsable informatique, spécialiste de Business Intelligence...) ou pas (responsable de la stratégie, directeur général...), et vise à démystifier le Big Data et Hadoop. Dans les chapitres concernés, les termes techniques sont limités au strict minimum et l'accent est mis, à chaque fois que cela est pertinent, sur l'utilisation et l'impact potentiel du Big Data et de Hadoop : Vue globale de Hadoop, Principaux apports de la version 2, Mettre en œuvre un cluster Hadoop, Hadoop : quand l'utiliser ?... Il s'adresse également aux informaticiens, étudiants ou en activité, qui recherchent une première introduction en français, simple (sans être simpliste) et relativement exhaustive, au Big Data et à Hadoop. Les lecteurs concernés seront particulièrement intéressés par les chapitres suivants : Installer Hadoop sur une station de travail, HDFS, MapReduce, Les apports de la version 2, Aspects matériels, L'éco-système de Hadoop, Développer des programmes Hadoop, Mettre en oeuvre un cluster Hadoop... Note de contenu : - Introduction - Installer Hadoop sur une station de travail - Une vue globale de Hadoop - HDFS - MapReduce - Les apports de la version 2 de Hadoop - Aspects matériels - L'écosystème de Hadoop - Développer des programmes Hadoop - Mettre en œuvre un cluster Hadoop - Quand utiliser Hadoop ? - Conclusion Numéro de notice : 22296 Affiliation des auteurs : non IGN Thématique : INFORMATIQUE/SOCIETE NUMERIQUE Nature : Manuel informatique Permalink : https://documentation.ensg.eu/index.php?lvl=notice_display&id=76902

Réservation

Réserver ce document

Exemplaires (1)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
22296-01	26.00	Manuel Informatique	Centre de documentation	Informatique	Disponible