- Leren door doen
- Trainers met praktijkervaring
- Klassikale trainingen
- Gedetailleerd cursusmateriaal
- Duidelijke inhoudsbeschrijving
- Maatwerk inhoud mogelijk
- Trainingen die doorgaan
- Kleine groepen
In de cursus PySpark voor Big Data van SpiralTrain leren de deelnemers Apache Spark vanuit Python te gebruiken. Apache Spark is een Framework voor parallelle processing van big data. Met PySpark wordt Apache Spark geïntegreerd met de Python taal. Deelnemers werken tijdens de cursus met de nieuwste versie van PySpark.
In de cursus PySpark voor Big Data leren deelnemers de fundamenten van het werken met PySpark, een krachtige tool voor het verwerken van grote datasets. De cursus behandelt essentiële onderwerpen zoals de architectuur van Spark, het gebruik van de Spark Cluster Manager en de verschillen tussen Batch en Stream Processing. Deze kennis is cruciaal voor iedereen die zich wil verdiepen in big data-analyse.
In de cursus PySpark voor Big Data komt de architectuur van Spark uitgebreid aan bod, inclusief de werking van de Spark Cluster Manager en de belangrijke concepten achter Batch en Stream Processing. Dit fundament stelt studenten in staat om efficiënt te werken met data in een gedistribueerde omgeving.
Na een bespreking van het Hadoop Distributed File System wordt ingegaan op parallelle operaties en het werken met RDD's, oftewel Resilient Distributed Datasets. De configuratie van PySpark applicaties via SparkConf en SparkContext wordt eveneens behandeld in de cursus PySpark voor Big Data, waardoor studenten in staat zijn om hun eigen PySpark-omgevingen optimaal in te richten.
Uitgebreid wordt ingegaan op de mogelijke operaties op RDD's, waaronder map en reduce. Ook het gebruik van SQL in Spark komt aan de orde. De GraphX library wordt besproken en er wordt ingegaan op DataFrames. Verder komen iteratieve algoritmen aan bod, wat essentieel is voor het uitvoeren van complexe berekeningen en analyses.
Tenslotte wordt in de cursus PySpark voor Big Data aandacht besteed aan machine learning met de Mlib library. Dit biedt deelnemers de mogelijkheid om geavanceerde analyses uit te voeren en voorspellende modellen te bouwen. Voor meer informatie over machine learning met PySpark, bezoek de officiële documentatie van de Mlib library.
Voor aanvullende kennis over data-analyse, kunt u ook onze cursus Data Analyse met Python bekijken.
De cursus PySpark voor Big Data is bedoeld voor developers en aankomende Data Analisten die Apache Spark willen leren gebruiken vanuit Python.
Om aan deze cursus deel te nemen is kennis enige ervaring met programmeren bevorderlijk voor de begripsvorming. Voorafgaande kennis van Python of big data handling met Apache Spark is niet nodig.
De theorie wordt behandeld aan de hand van presentaties. Illustratieve demo’s worden gebruikt om de behandelde concepten te verduidelijken. Er is voldoende gelegenheid om te oefenen en afwisseling van theorie en praktijk. De cursustijden zijn van 9.30 tot 16.30.
De deelnemers krijgen na het goed doorlopen van de cursus een officieel certificaat PySpark voor Big Data.
Module 1 : Python Primer |
Module 2 : Spark Intro |
Module 3 : HDFS |
|
Python Syntax Python Data Types List, Tuples, Dictionaries Python Control Flow Functions and Parameters Modules and Packages Comprehensions Iterators and Generators Python Classes Anaconda Environment Jupyter Notebooks |
What is Apache Spark? Spark and Python PySpark Py4j Library Data Driven Documents RDD's Real Time Processing Apache Hadoop MapReduce Cluster Manager Batch versus Stream Processing PySpark Shell |
Hadoop Environment Environment Setup Hadoop Stack Hadoop Yarn Hadoop Distributed File System HDFS Architecture Parallel Operations Working with Partitions RDD Partitions HDFS Data Locality DAG (Direct Acyclic Graph) |
Module 4 : SparkConf |
Module 5 : SparkContext |
Module 6 : RDD’s |
|
SparkConf Object Setting Configuration Properties Uploading Files SparkContext.addFile Logging Configuration Storage Levels Serialize RDD Replicate RDD partitions DISK_ONLY MEMORY_AND_DISK MEMORY_ONLY |
Main Entry Point Executor Worker Nodes LocalFS SparkContext Parameters Master RDD serializer batchSize Gateway JavaSparkContext instance Profiler |
Resilient Distributed Datasets Key-Value pair RDDs Parallel Processing Immutability and Fault Tolerance Transformation Operations Filter, groupBy and Map Action Operations Caching and persistence PySpark RDD Class count, collect, foreach,filter map, reduce, join, cache |
Module 7 : Spark Processing |
Module 8 : Broadcast and Accumulator |
Module 9 : Algorithms |
|
SQL support in Spark Spark 2.0 Dataframes Defining tables Importing datasets Querying data frames using SQL Storage formats JSON / Parquet GraphX GraphX library overview GraphX APIs |
Performance Tuning Serialization Network Traffic Disk Persistence MarshalSerializer Data Type Support Python’s Pickle Serializer DStreams Sliding Window Operations Multi Batch and State Operations |
Iterative Algorithms Graph Analysis Machine Learning API mllib.classification Random Forest Naive Bayes Decision Tree mllib.clustering mllib.linalg mllib.regression |
Deze bedrijven en instanties waren u al voor:
Deze bedrijven waren u voor:
