Training Microsoft Fabric data engineering met Data Pipelines en Spark Virtueel

In deze training bouw je een complete data engineering oplossing in Microsoft Fabric. Je begint met het end-to-end platform en met OneLake, het datafundament onder Fabric, en overziet hoe de onderdelen samenhangen en hoe je een workspace opzet. Daarna ligt het zwaartepunt op het werk zelf: je ontwerpt data-pipelines in Data Factory, combineert die met Dataflow Gen2 en zet Spark notebooks in om data te laden, te transformeren en te visualiseren.

Daarnaast verdiep je je in het optimaliseren en monitoren van je pipelines, in het delen en beveiligen van data en in het migreren naar Fabric vanuit Azure Data Factory of Databricks. Recentere mogelijkheden als OneLake Catalog en Mirroring komen daarbij als context aan bod. De workloads voor Data Science en Real-Time Intelligence en de rol van Power BI in Fabric zie je als overzicht, zodat je weet waar data engineering ophoudt en het vervolg begint. Aan het eind werk je alles samen uit in een business case rond data engineering met Spark notebooks.

Onze trainers zijn, naast trainer, dagelijks werkzaam op dit expertisegebied. Zij wisselen theorie en praktijk af en vertalen elke techniek naar de situaties die je in je werk tegenkomt. Hierdoor ben je in staat om zelfstandig een data engineering oplossing in Fabric op te zetten en te beheren.

Deze training als bedrijfstraining voor jou en je team?

Elk vraagstuk en elke situatie is anders; daarom staan tijdens een bedrijfstraining jouw organisatie en (bedrijfs)vraagstukken centraal. In goed overleg stellen we een lesprogramma samen dat volledig aansluit bij jouw (jullie!) specifieke uitdaging, wensen en dagelijkse werkpraktijk.

Doelen

Na deze training ben je in staat om:

• De opbouw van het Microsoft Fabric-platform en OneLake te doorgronden en workspaces in te richten
• Data-pipelines in Data Factory te ontwerpen, te testen en te monitoren, en Dataflow Gen2 daarmee te integreren
• Spark notebooks op te zetten om data te laden, te transformeren en te visualiseren, en een Lakehouse te koppelen
• De prestaties van je pipelines te optimaliseren en data in Fabric te delen en te beveiligen
• Een oplossing naar Fabric te migreren vanuit Azure Data Factory of Databricks en uit te werken in een business case

Tijdens de training Microsoft Fabric data engineering met Data Pipelines en Spark komen onderstaande onderwerpen aan bod.

NB: Afhankelijk van snelle ontwikkelingen op dit expertisegebied, kan de werkelijke trainingsinhoud hier van afwijken. Bel ons gerust voor meer informatie over de actuele inhoud.

• Introductie Microsoft Fabric en OneLake
• De basisfilosofie van Fabric doorgronden
• Het end-to-end platform en de integratie van de onderdelen overzien
• OneLake als datafundament leren kennen
• De workspace-structuur opzetten
• Schaalbare data-pipelines en dataflows opzetten
• De concepten van Dataflows, Pipelines en activities doorgronden
• Data-pipelines in Data Factory opbouwen volgens ontwerpprincipes en best practices
• Dataflow Gen2 integreren met Pipelines
• Pipelines testen, valideren en monitoren
• Data engineering met Spark en notebooks
• Notebooks opzetten en configureren
• Data laden in notebooks en Spark code toepassen in Python en SQL
• Notebooks uitvoeren, visualiseren en delen om samen te werken
• Een Lakehouse koppelen en werken met Spark Job Definition
• Databricks integreren met Fabric
• Een overzicht krijgen van de workloads voor Data Science en Real-Time Intelligence, Power BI in Fabric en Data Activator
• Data storage, management, sharing en security in OneLake
• Dataopslag en data management functies in OneLake inrichten
• Complexe dataflows en gegevensverwerkingsscenario's implementeren
• Data delen en samenwerken binnen OneLake
• Data in Fabric beveiligen
• Best practices, optimalisatie en migratie
• Geavanceerde tips voor het beheer en gebruik van Data Factory toepassen
• Pipelines optimaliseren voor betere prestaties
• Migreren naar Fabric vanuit Azure Data Factory of Databricks
• Business case
• Een compleet scenario uitwerken met de focus op data engineering
• Spark notebooks inzetten binnen een end-to-end oplossing
• Het geleerde combineren tot een werkende data engineering oplossing

Kies uit 6 locatie(s) in Nederland. Ook beschikbaar in Antwerpen.

Bedrijfstraining

Met een bedrijfstraining kies je voor een training die helemaal aansluit bij de specifieke wensen, behoefte en dagelijkse praktijk van jouw bedrijf of organisatie. Je kunt in je eentje deelnemen aan deze maatwerktraining, maar ook met één of meerdere collega’s. Een bedrijfstraining vindt plaats waar je maar wilt: op locatie bij jouw bedrijf of organisatie, ergens in het land of op onze mooie trainingslocatie op de Veluwe in Apeldoorn. Bel ons gerust voor advies; we denken graag met je mee. Wil je een vrijblijvend voorstel ontvangen? Vraag er dan online een aan.

Privétraining

De essentie van een privétraining is, dat de trainer volledig tot jouw beschikking staat. Je kunt daarbij kiezen voor een algemeen programma (zie hiervoor onze trainingomschrijvingen), maar het is ook mogelijk om de training helemaal te laten aansluiten bij jouw specifieke wensen, behoefte en dagelijkse praktijk. Bij zo’n maatwerktraining wordt het programma helemaal afgestemd op jouw situatie, wensen en leerbehoefte. Hierdoor mag je rekenen op maximaal leerrendement. Bel ons gerust voor een (maatwerk)privétraining te bespreken; we denken graag met je mee. Wil je een vrijblijvend voorstel ontvangen? Vraag er dan online een aan.

Virtuele training

Wil je de door jou gewenste training liever virtueel (online) volgen? Dat kan via onze ‘remote classroom’. Het verschil met een face-to-face-training is dat de trainer de training op afstand voor je verzorgt. Je kunt daarbij kiezen voor het algemene programma (zie hiervoor onze trainingomschrijvingen), maar we kunnen de training ook aanpassen aan je specifieke wensen, behoefte en praktijksituatie. Je volgt je virtuele training in je eentje, met je collega’s of met mensen van andere bedrijven. Wil je weten wat we op dit gebied precies voor je kunnen betekenen? Bel ons gerust, we denken graag met je mee over de mogelijke oplossingen.

Klassikale training

Bij een klassikale training volg je een opleiding of training samen met een klas van medestudenten. Het voordeel van deze setting is, dat je kunt leren van andermans cases, tegen het laagst mogelijke tarief. De training vindt plaats op een externe locatie, ergens in het land of op onze mooie trainingslocatie in Apeldoorn (midden op de Veluwe). Heb je een vraag? Bel ons gerust; we helpen je graag verder. Je kunt je natuurlijk ook gelijk inschrijven.

Tarief

De kosten voor de Training Microsoft Fabric data engineering met Data Pipelines en Spark bedragen €2.499,00 (excl. €524,79 btw). Dit betreft het tarief voor deelname aan een klassikale training. Wil je liever een bedrijfstraining of privétraining? Bel ons dan of vraag online een voorstel aan.

Bij dit bedrag is alles inbegrepen, inclusief materialen en lunch (lunch inbegrepen indien de training dagvullend is).

Wil je de door jou gewenste training liever virtueel (online) volgen? Dat kan via onze ‘remote classroom’. Het verschil met een face-to-face-training is dat de trainer de training op afstand voor je verzorgt. Je kunt daarbij kiezen voor het algemene programma (zie hiervoor onze trainingomschrijvingen), maar we kunnen de training ook aanpassen aan je specifieke wensen, behoefte en praktijksituatie. Je volgt je virtuele training in je eentje, met je collega’s of met mensen van andere bedrijven. Wil je weten wat we op dit gebied precies voor je kunnen betekenen? Bel ons gerust, we denken graag met je mee over de mogelijke oplossingen.

Virtuele training: hoe werkt dat?

Bij een virtuele training kun je via een online verbinding op afstand interactief deelnemen aan de training. Dit wordt ook wel ‘remote classroom’ of ‘virtual classroom’ genoemd. Dit werkt net even anders, maar biedt je dezelfde kwaliteit en is net zo effectief als een face-to-face-training.

Dezelfde kwaliteit, net even anders

Uitgangspunt bij een virtuele training is, dat er net zoveel kennis en vaardigheden worden overgedragen als bij een face-to-face-training. Bovendien dient het elk gewenst niveau van interactiviteit te faciliteren. Daarom werken we vanuit Eduvision met diverse systemen (o.a. dat van onze opdrachtgever), die deze doelstelling breed ondersteunen (waaronder Microsoft Teams of Zoom). Als cursist kun je gratis en eenvoudig inloggen, via een app of via het web.

De verschillende systemen bieden o.a. de volgende mogelijkheden:

• De training volgen met meerdere deelnemers, die je afhankelijk van of ze een camera hebben al dan niet kunt zien.
• Als deelnemers een microfoon hebben, kunnen ze ook met de trainer praten. De trainer kan aangeven en technisch faciliteren wie er kan praten. Deelnemers kunnen virtueel aangeven dat ze wat willen zeggen; de trainer kan hen vervolgens het woord geven.
• Deelnemers kunnen meekijken met de trainer en de trainer kan switchen tussen verschillende schermen die hij wil laten zien.
• Als de deelnemer daar toestemming voor geeft, kan de trainer meekijken op het scherm van de deelnemer (of zelfs het scherm overnemen).
• Er is vaak een chatfunctie, waarmee vragen of opmerkingen voor iedereen zichtbaar worden op het scherm.
• Er is soms een opnamefunctie (de trainer bepaalt - rekening houdend met ieders privacy - of die aan- of uitgezet wordt), waardoor je later (een deel van) de training kunt terugkijken.
• Er kan gebruik gemaakt worden van een whiteboard.
• Er kunnen bestanden gedeeld worden.

NB: Het is handig als je als cursist beschikt over een microfoon of camera (het eerste meer dan het tweede), maar het is geen must; ook zonder kun je deelnemen aan de training. Wél is het zo dat met name een microfoon de interactiviteit bewerkstelligt. Mocht je geen camera of microfoon op de computer hebben, dan is het ook mogelijk om tegelijkertijd in te loggen met je telefoon, zodat je én duidelijk (lees: groot) beeld hebt én kunt beschikken over microfoon en/of camera.