Training Apache Airflow

Het beheren van je dataproces valt of staat met de manier waarop je pipelines en workflows organiseert. Apache Airflow is daar volledig op ingericht: je coördineert taken, bepaalt hun volgorde en plant en beheert complexe workflows op basis van uiteenlopende databronnen. Tijdens deze training leer je je eigen dataprocessen om te zetten naar Airflow pipelines en workflows, en richt je het platform van de grond af aan zelf in.

Je start bij de architectuur en de kernconcepten (DAGs, operators, sensors en tasks) en bouwt van daaruit door naar het ontwerpen van DAGs, met triggers, macro's, leesbare dependencies en Jinja templates in custom operators. Vervolgens beheer je je workflows via de vernieuwde, React-gebaseerde web-interface en de CLI, waar je mislukte runs debugt, variabelen beheert, DAGs test en backfillt. Daarbij komt recente Airflow-functionaliteit in beeld, zoals DAG-versioning en het Assets-concept voor event-driven scheduling. De nadruk ligt op het gebruik en inrichten van Airflow zelf, niet op de onderliggende programmeertaal of op cloud-managed diensten.

Onze trainers zijn dagelijks werkzaam op dit expertisegebied en vertalen best practices naar de vraagstukken die je in je eigen werkpraktijk tegenkomt. Je mag rekenen op een training waarin we theorie en praktijk afwisselen en waarin je zelf verschillende pipelines bouwt. Hierdoor ben je na afloop in staat om Airflow gericht in te zetten om je dataprocessen te stroomlijnen.

Deze training als bedrijfstraining voor jou en je team?

Elk vraagstuk en elke situatie is anders; daarom staan tijdens een bedrijfstraining jouw organisatie en (bedrijfs)vraagstukken centraal. In goed overleg stellen we een lesprogramma samen dat volledig aansluit bij jouw (jullie!) specifieke uitdaging, wensen en dagelijkse werkpraktijk.

Doelen

Na deze training ben je in staat om:

• Apache Airflow met Docker te installeren en het platform zelf in te richten
• DAGs te ontwerpen met triggers, macro's, leesbare dependencies en Jinja templates in custom operators
• Met de kernconcepten (DAGs, operators, sensors en tasks) verschillende data pipelines te bouwen
• Je workflows te beheren via de web UI en de CLI, inclusief debuggen, testen en backfillen
• Best practices toe te passen op het gebied van alerting, documentatie en het vermijden van de danger zone

Tijdens de training Apache Airflow komen onderstaande onderwerpen aan bod.

NB: Afhankelijk van snelle ontwikkelingen op dit expertisegebied, kan de werkelijke trainingsinhoud hier van afwijken. Bel ons gerust voor meer informatie over de actuele inhoud.

• Introductie en installatie
• Kennismaken met Apache Airflow als platform voor het orkestreren van data pipelines en workflows
• Doorgronden waarvoor een workflow orchestrator nodig is en wat die van je vraagt
• De do's en don'ts van workflow orchestration verkennen
• Apache Airflow met Docker installeren en draaiend krijgen
• Architectuur en kernconcepten
• De architectuur van data pipelines en workflows in Airflow doorgronden
• Werken met DAGs als basis van je workflows
• Operators inzetten om taken uit te voeren
• Sensors gebruiken om op gebeurtenissen te wachten
• Tasks opbouwen en onderling koppelen
• DAG-ontwerp en orchestration
• DAG-triggers specificeren met CRON en schedules
• Predefined macros toepassen in je DAGs
• Goed leesbare dependencies tussen tasks ontwerpen
• Jinja templates verwerken in custom operators
• Airflow web UI
• Je weg vinden in de vernieuwde, React-gebaseerde web-interface
• Mislukte runs opsporen en debuggen
• Variabelen en connection details beheren
• Processen organiseren met task groups en inline documentatie
• Airflow CLI
• DAGs testen vanaf de command line voordat je ze in productie neemt
• DAGs backfillen om historische runs alsnog uit te voeren
• De CLI inzetten naast de web UI in je dagelijkse werk
• Best practices en beheer
• De danger zone herkennen: XCom, Variables en volledig dynamische DAGs
• Alerting inrichten zodat je tijdig weet wanneer een run faalt
• Je pipelines goed documenteren voor beheer en overdracht
• Praktische tips en trucs van de trainer overnemen

Aanpak

De training is praktisch en interactief van opzet, met veel ruimte voor jouw vragen en werksituatie. Je gaat aan de slag met passende praktijkvoorbeelden. Door actief te oefenen, te analyseren en te evalueren, maak je je de materie stap voor stap eigen en ervaar je hoe je Apache Airflow inricht en zelf data pipelines bouwt.

Onze trainers zijn, naast trainer, dagelijks werkzaam op dit expertisegebied. Ze beschikken dus niet alleen over de meest actuele kennis, maar hebben ook essentiële praktijkervaring. Hierdoor zijn ze in staat om een waardevolle vertaalslag te maken van ‘kennis’ naar ‘toepassing binnen jouw organisatie en werksituatie’.

Doelgroep

Deze training is bedoeld voor iedereen die dataprocessen wil omzetten naar betrouwbare, beheersbare pipelines en workflows in Apache Airflow.

Voorkennis

Ervaring met programmeren in Python is vereist, omdat je DAGs en custom operators in Python opbouwt. Mocht je hier vragen over hebben, neem dan gerust contact met ons op.

Benodigdheden

Om het meeste uit jouw training te halen verzoeken we je vriendelijk een eigen laptop mee te nemen om eventueel direct aan de slag te kunnen gaan. Verdere benodigdheden worden, indien van toepassing, in voorbereiding op de training met je besproken.

Vervolgstappen

Binnen dit expertisegebied beschikken wij over ruime kennis en praktijkervaring. Zoek je meer diepgang of een (compleet) andere insteek? Neem dan gerust contact met ons op voor een vrijblijvende verkenning. We denken graag met je mee!

Er zijn verschillende vervolgtrainingen, die aansluiten op specifieke onderwerpen, toepassingen en werkcontexten.

Wil je andere populaire data pipeline en ETL tools leren kennen, dan sluiten deze trainingen aan:

• Azure Data Factory
• AWS Glue
• SQL Server Integration Services (SSIS)

Wil je je dataengineering-foundation verbreden met aangrenzende thema's, dan zijn deze trainingen relevant:

• Apache Kafka
• Big Data Foundation

Kies uit 6 locatie(s) in Nederland. Ook beschikbaar in Antwerpen.

Bedrijfstraining

Met een bedrijfstraining kies je voor een training die helemaal aansluit bij de specifieke wensen, behoefte en dagelijkse praktijk van jouw bedrijf of organisatie. Je kunt in je eentje deelnemen aan deze maatwerktraining, maar ook met één of meerdere collega’s. Een bedrijfstraining vindt plaats waar je maar wilt: op locatie bij jouw bedrijf of organisatie, ergens in het land of op onze mooie trainingslocatie op de Veluwe in Apeldoorn. Bel ons gerust voor advies; we denken graag met je mee. Wil je een vrijblijvend voorstel ontvangen? Vraag er dan online een aan.

Privétraining

De essentie van een privétraining is, dat de trainer volledig tot jouw beschikking staat. Je kunt daarbij kiezen voor een algemeen programma (zie hiervoor onze trainingomschrijvingen), maar het is ook mogelijk om de training helemaal te laten aansluiten bij jouw specifieke wensen, behoefte en dagelijkse praktijk. Bij zo’n maatwerktraining wordt het programma helemaal afgestemd op jouw situatie, wensen en leerbehoefte. Hierdoor mag je rekenen op maximaal leerrendement. Bel ons gerust voor een (maatwerk)privétraining te bespreken; we denken graag met je mee. Wil je een vrijblijvend voorstel ontvangen? Vraag er dan online een aan.

Virtuele training

Wil je de door jou gewenste training liever virtueel (online) volgen? Dat kan via onze ‘remote classroom’. Het verschil met een face-to-face-training is dat de trainer de training op afstand voor je verzorgt. Je kunt daarbij kiezen voor het algemene programma (zie hiervoor onze trainingomschrijvingen), maar we kunnen de training ook aanpassen aan je specifieke wensen, behoefte en praktijksituatie. Je volgt je virtuele training in je eentje, met je collega’s of met mensen van andere bedrijven. Wil je weten wat we op dit gebied precies voor je kunnen betekenen? Bel ons gerust, we denken graag met je mee over de mogelijke oplossingen.

Klassikale training

Bij een klassikale training volg je een opleiding of training samen met een klas van medestudenten. Het voordeel van deze setting is, dat je kunt leren van andermans cases, tegen het laagst mogelijke tarief. De training vindt plaats op een externe locatie, ergens in het land of op onze mooie trainingslocatie in Apeldoorn (midden op de Veluwe). Heb je een vraag? Bel ons gerust; we helpen je graag verder. Je kunt je natuurlijk ook gelijk inschrijven.

Tarief

De kosten voor de Training Apache Airflow bedragen €3.199,00 (excl. €671,79 btw). Dit betreft het tarief voor deelname aan een klassikale training. Wil je liever een bedrijfstraining of privétraining? Bel ons dan of vraag online een voorstel aan.

Bij dit bedrag is alles inbegrepen, inclusief materialen en lunch (lunch inbegrepen indien de training dagvullend is).

Wil je de door jou gewenste training liever virtueel (online) volgen? Dat kan via onze ‘remote classroom’. Het verschil met een face-to-face-training is dat de trainer de training op afstand voor je verzorgt. Je kunt daarbij kiezen voor het algemene programma (zie hiervoor onze trainingomschrijvingen), maar we kunnen de training ook aanpassen aan je specifieke wensen, behoefte en praktijksituatie. Je volgt je virtuele training in je eentje, met je collega’s of met mensen van andere bedrijven. Wil je weten wat we op dit gebied precies voor je kunnen betekenen? Bel ons gerust, we denken graag met je mee over de mogelijke oplossingen.

Virtuele training: hoe werkt dat?

Bij een virtuele training kun je via een online verbinding op afstand interactief deelnemen aan de training. Dit wordt ook wel ‘remote classroom’ of ‘virtual classroom’ genoemd. Dit werkt net even anders, maar biedt je dezelfde kwaliteit en is net zo effectief als een face-to-face-training.

Dezelfde kwaliteit, net even anders

Uitgangspunt bij een virtuele training is, dat er net zoveel kennis en vaardigheden worden overgedragen als bij een face-to-face-training. Bovendien dient het elk gewenst niveau van interactiviteit te faciliteren. Daarom werken we vanuit Eduvision met diverse systemen (o.a. dat van onze opdrachtgever), die deze doelstelling breed ondersteunen (waaronder Microsoft Teams of Zoom). Als cursist kun je gratis en eenvoudig inloggen, via een app of via het web.

De verschillende systemen bieden o.a. de volgende mogelijkheden:

• De training volgen met meerdere deelnemers, die je afhankelijk van of ze een camera hebben al dan niet kunt zien.
• Als deelnemers een microfoon hebben, kunnen ze ook met de trainer praten. De trainer kan aangeven en technisch faciliteren wie er kan praten. Deelnemers kunnen virtueel aangeven dat ze wat willen zeggen; de trainer kan hen vervolgens het woord geven.
• Deelnemers kunnen meekijken met de trainer en de trainer kan switchen tussen verschillende schermen die hij wil laten zien.
• Als de deelnemer daar toestemming voor geeft, kan de trainer meekijken op het scherm van de deelnemer (of zelfs het scherm overnemen).
• Er is vaak een chatfunctie, waarmee vragen of opmerkingen voor iedereen zichtbaar worden op het scherm.
• Er is soms een opnamefunctie (de trainer bepaalt - rekening houdend met ieders privacy - of die aan- of uitgezet wordt), waardoor je later (een deel van) de training kunt terugkijken.
• Er kan gebruik gemaakt worden van een whiteboard.
• Er kunnen bestanden gedeeld worden.

NB: Het is handig als je als cursist beschikt over een microfoon of camera (het eerste meer dan het tweede), maar het is geen must; ook zonder kun je deelnemen aan de training. Wél is het zo dat met name een microfoon de interactiviteit bewerkstelligt. Mocht je geen camera of microfoon op de computer hebben, dan is het ook mogelijk om tegelijkertijd in te loggen met je telefoon, zodat je én duidelijk (lees: groot) beeld hebt én kunt beschikken over microfoon en/of camera.