Training Apache Spark Maastricht

Apache Spark is een open-source processing engine waarmee je grote hoeveelheden data verwerkt, of die nu in batches binnenkomt of als real-time stream. Spark draait op een Hadoop-cluster, maar net zo goed op Kubernetes en cloud-platforms, en combineert SQL, streaming en complexe analyses in één framework. Tijdens deze training krijg je een breed overzicht van alle onderdelen die daarbij komen kijken.

Je begint bij de principes van big data en distributed computing en werkt van daaruit stap voor stap naar de kern van Spark: RDD's, SparkSQL en DataFrames. Daarna verdiep je je in streamingverwerking met Structured Streaming, in machine learning met Spark ML en in graph-processing. Je werkt met de Spark shell, PySpark en Jupyter, en werkt met praktische oefeningen zodat je de theorie meteen toepast. Ook leer je hoe je de prestaties van je applicaties verbetert en knelpunten opspoort.

Onze trainers zijn, naast trainer, dagelijks werkzaam op dit expertisegebied. Zij weten welke keuzes in de praktijk werken en geven tips en inzichten die aansluiten op je eigen werkpraktijk. Waar gewenst en mogelijk laten we de voorbeelden aansluiten bij de data-vraagstukken die in jouw werksituatie spelen. Hierdoor ben je na afloop in staat om Spark gericht in te zetten binnen je eigen omgeving.

Deze training als bedrijfstraining voor jou en je team?

Elk vraagstuk en elke situatie is anders; daarom staan tijdens een bedrijfstraining jouw organisatie en (bedrijfs)vraagstukken centraal. In goed overleg stellen we een lesprogramma samen dat volledig aansluit bij jouw (jullie!) specifieke uitdaging, wensen en dagelijkse werkpraktijk.

Doelen

Na deze training ben je in staat om:

• De werking van RDD's, HDFS en de belangrijkste Spark-algoritmen te doorgronden
• Te begrijpen hoe parallel processing binnen een Spark-cluster verloopt
• Zelf Spark-applicaties te bouwen voor batch- en streamingdata
• Data te verwerken met SparkSQL, DataFrames en Structured Streaming
• De prestaties van je Spark-applicaties te verbeteren en knelpunten op te sporen

Tijdens de training Apache Spark komen onderstaande onderwerpen aan bod.

NB: Afhankelijk van snelle ontwikkelingen op dit expertisegebied, kan de werkelijke trainingsinhoud hier van afwijken. Bel ons gerust voor meer informatie over de actuele inhoud.

• Big Data, distributed computing en het Spark-ecosysteem
• Kennismaken met Big Data en de uitdagingen bij het verwerken van grote datasets
• Doorgronden hoe distributed computing grote verwerkingsvraagstukken verdeelt over een cluster
• De opkomst van Apache Spark in context brengen en Spark vergelijken met Hadoop
• De componenten van het Spark-ecosysteem verkennen: Spark SQL, Spark Streaming, MLlib en GraphX
• De kernconcepten en architectuur van Spark doorgronden, van RDD's en DAG tot driver, executors en taakverdeling
• De Spark-omgeving en werken met RDD's
• Spark installeren en configureren, zowel op een Hadoop-cluster als op Kubernetes of een cloud-platform
• Werken met de Spark shell in Scala, Python en SQL, en met Jupyter en PySpark
• RDD's aanmaken en transformeren als basis-datastructuur van Spark
• Key-value pair-RDD's inzetten en het map-reduce-patroon toepassen
• SparkSQL, DataFrames en databronnen
• Doorgronden wat een DataFrame is en hoe je data importeert en exporteert
• Bewerkingen op DataFrames uitvoeren met transformaties en acties
• SparkSQL inzetten en de SQL-context combineren met RDD's
• Lezen van en schrijven naar uiteenlopende databronnen, zoals JSON, CSV en Parquet
• Partitioning toepassen om je data efficiënt te verdelen
• Spark Streaming
• Kennismaken met de concepten achter streamingverwerking in Spark
• Structured Streaming als de actuele aanpak leren kennen, gebouwd op de DataFrame- en Dataset-API
• Herkennen hoe DStreams als oudere aanpak zich verhouden tot Structured Streaming
• Een Spark Streaming-applicatie ontwikkelen die databronnen in real-time verwerkt
• Machine learning met Spark ML
• De machine learning-algoritmen binnen Spark ML verkennen
• Onderscheid maken tussen classificatie, clustering en regressie
• Een machine learning-applicatie ontwikkelen met Spark ML
• Graph-processing en prestatie-optimalisatie
• Kennismaken met de grondbeginselen van graaftheorie en met GraphX
• Een graph-processing-applicatie ontwikkelen met GraphX
• Herkennen wanneer GraphFrames voor nieuwe graph-processing-projecten de voorkeur heeft
• De prestaties van je Spark-applicaties verbeteren en knelpunten opsporen
• Recente optimalisaties uit Spark 3.x en 4.x benutten, zoals Adaptive Query Execution

Kies uit 6 locatie(s) in Nederland. Ook beschikbaar in Antwerpen.

Bedrijfstraining

Met een bedrijfstraining kies je voor een training die helemaal aansluit bij de specifieke wensen, behoefte en dagelijkse praktijk van jouw bedrijf of organisatie. Je kunt in je eentje deelnemen aan deze maatwerktraining, maar ook met één of meerdere collega’s. Een bedrijfstraining vindt plaats waar je maar wilt: op locatie bij jouw bedrijf of organisatie, ergens in het land of op onze mooie trainingslocatie op de Veluwe in Apeldoorn. Bel ons gerust voor advies; we denken graag met je mee. Wil je een vrijblijvend voorstel ontvangen? Vraag er dan online een aan.

Privétraining

De essentie van een privétraining is, dat de trainer volledig tot jouw beschikking staat. Je kunt daarbij kiezen voor een algemeen programma (zie hiervoor onze trainingomschrijvingen), maar het is ook mogelijk om de training helemaal te laten aansluiten bij jouw specifieke wensen, behoefte en dagelijkse praktijk. Bij zo’n maatwerktraining wordt het programma helemaal afgestemd op jouw situatie, wensen en leerbehoefte. Hierdoor mag je rekenen op maximaal leerrendement. Bel ons gerust voor een (maatwerk)privétraining te bespreken; we denken graag met je mee. Wil je een vrijblijvend voorstel ontvangen? Vraag er dan online een aan.

Virtuele training

Wil je de door jou gewenste training liever virtueel (online) volgen? Dat kan via onze ‘remote classroom’. Het verschil met een face-to-face-training is dat de trainer de training op afstand voor je verzorgt. Je kunt daarbij kiezen voor het algemene programma (zie hiervoor onze trainingomschrijvingen), maar we kunnen de training ook aanpassen aan je specifieke wensen, behoefte en praktijksituatie. Je volgt je virtuele training in je eentje, met je collega’s of met mensen van andere bedrijven. Wil je weten wat we op dit gebied precies voor je kunnen betekenen? Bel ons gerust, we denken graag met je mee over de mogelijke oplossingen.

Klassikale training

Bij een klassikale training volg je een opleiding of training samen met een klas van medestudenten. Het voordeel van deze setting is, dat je kunt leren van andermans cases, tegen het laagst mogelijke tarief. De training vindt plaats op een externe locatie, ergens in het land of op onze mooie trainingslocatie in Apeldoorn (midden op de Veluwe). Heb je een vraag? Bel ons gerust; we helpen je graag verder. Je kunt je natuurlijk ook gelijk inschrijven.

Tarief

De kosten voor de Training Apache Spark bedragen €3.999,00 (excl. €839,79 btw). Dit betreft het tarief voor deelname aan een klassikale training. Wil je liever een bedrijfstraining of privétraining? Bel ons dan of vraag online een voorstel aan.

Bij dit bedrag is alles inbegrepen, inclusief materialen en lunch (lunch inbegrepen indien de training dagvullend is).

Wil je de door jou gewenste training liever virtueel (online) volgen? Dat kan via onze ‘remote classroom’. Het verschil met een face-to-face-training is dat de trainer de training op afstand voor je verzorgt. Je kunt daarbij kiezen voor het algemene programma (zie hiervoor onze trainingomschrijvingen), maar we kunnen de training ook aanpassen aan je specifieke wensen, behoefte en praktijksituatie. Je volgt je virtuele training in je eentje, met je collega’s of met mensen van andere bedrijven. Wil je weten wat we op dit gebied precies voor je kunnen betekenen? Bel ons gerust, we denken graag met je mee over de mogelijke oplossingen.

Virtuele training: hoe werkt dat?

Bij een virtuele training kun je via een online verbinding op afstand interactief deelnemen aan de training. Dit wordt ook wel ‘remote classroom’ of ‘virtual classroom’ genoemd. Dit werkt net even anders, maar biedt je dezelfde kwaliteit en is net zo effectief als een face-to-face-training.

Dezelfde kwaliteit, net even anders

Uitgangspunt bij een virtuele training is, dat er net zoveel kennis en vaardigheden worden overgedragen als bij een face-to-face-training. Bovendien dient het elk gewenst niveau van interactiviteit te faciliteren. Daarom werken we vanuit Eduvision met diverse systemen (o.a. dat van onze opdrachtgever), die deze doelstelling breed ondersteunen (waaronder Microsoft Teams of Zoom). Als cursist kun je gratis en eenvoudig inloggen, via een app of via het web.

De verschillende systemen bieden o.a. de volgende mogelijkheden:

• De training volgen met meerdere deelnemers, die je afhankelijk van of ze een camera hebben al dan niet kunt zien.
• Als deelnemers een microfoon hebben, kunnen ze ook met de trainer praten. De trainer kan aangeven en technisch faciliteren wie er kan praten. Deelnemers kunnen virtueel aangeven dat ze wat willen zeggen; de trainer kan hen vervolgens het woord geven.
• Deelnemers kunnen meekijken met de trainer en de trainer kan switchen tussen verschillende schermen die hij wil laten zien.
• Als de deelnemer daar toestemming voor geeft, kan de trainer meekijken op het scherm van de deelnemer (of zelfs het scherm overnemen).
• Er is vaak een chatfunctie, waarmee vragen of opmerkingen voor iedereen zichtbaar worden op het scherm.
• Er is soms een opnamefunctie (de trainer bepaalt - rekening houdend met ieders privacy - of die aan- of uitgezet wordt), waardoor je later (een deel van) de training kunt terugkijken.
• Er kan gebruik gemaakt worden van een whiteboard.
• Er kunnen bestanden gedeeld worden.

NB: Het is handig als je als cursist beschikt over een microfoon of camera (het eerste meer dan het tweede), maar het is geen must; ook zonder kun je deelnemen aan de training. Wél is het zo dat met name een microfoon de interactiviteit bewerkstelligt. Mocht je geen camera of microfoon op de computer hebben, dan is het ook mogelijk om tegelijkertijd in te loggen met je telefoon, zodat je én duidelijk (lees: groot) beeld hebt én kunt beschikken over microfoon en/of camera.