Adding Value Consulting
Advanced Streaming Big Data with Spark - eLearning
Software & Cloud

Advanced Streaming Big Data with Spark - eLearning

450,00 EUR

  • 25 hours
eLearning

Stap in de wereld van realtime gegevensverwerking met de training Streaming Big Data with Spark, ontworpen om je te helpen hoogwaardige, schaalbare datapijplijnen te bouwen die informatie verwerken op het moment dat deze binnenkomt. Deze cursus introduceert je in de streamingmogelijkheden van Apache Spark, zodat je kunt werken met continue datastromen voor moderne analysetoepassingen en besluitvormingssystemen.

Belangrijkste functies

Taal

Cursus en lesmateriaal in het Engels

Niveau

Gevorderd niveau

Toegang

1 jaar toegang tot het leerplatform

9 uur aan video's op aanvraag

met meer dan 25 uur aanbevolen studietijd

38 begeleide praktische oefeningen

13 automatisch beoordeelde toetsen

33 Herhalingsquizzen

3 praktijkprojecten

Certificaat

Inclusief certificaat van afronding van het programma

Hero

Leerdoelen

Aan het einde van deze cursus ben je in staat om het volgende te begrijpen:

Runtime

Krijg een volledig inzicht in de runtime-architectuur van Spark

DataFrame

Voer essentiële DataFrame-bewerkingen en -functies uit in Spark

Stream

Leer de basisprincipes van streamverwerking met Spark

Kafka

Onderzoek de directe integratie van Spark Streaming met Apache Kafka

Amazon

Werken met Spark Streaming met Amazon Kinesis

Toepassen

Begrijp en pas sliding-windowbewerkingen toe in streamverwerking

Hero

Cursusplanning

  1. De Spark-runtime

    Les 01

    • Inzicht in de Spark RDD
    • Inzicht in de Spark DataFrame
    • Overzicht van de Spark-runtimearchitectuur

  2. ETL met Spark

    Les 02

    • Kaarttransformaties
    • De Transformaties
    • Basisacties
    • Transformaties van sleutel-waardeparen
    • Join-bewerkingen
    • Numerieke RDD-bewerkingen en steekproeffuncties
    • Partitionering in Spark
    • Partities beheren in Spark
    • Externe programma's gebruiken met Spark

  3. SparkSQL en DataFrames 

    Les 03

    • Spark SQL-architectuur
    • Overzicht van de DataFrame-API
    • DataFrames maken
    • DataFrame-gegevensmodel en schema's
    • Basisbewerkingen met DataFrames
    • DataFrame-functies
    • Setbewerkingen en aggregaties in DataFrames
    • DataFrame-opslag en -uitvoer
    • DEMO Spark SQL en DataFrames

  4. Inleiding tot streamverwerking met Spark

    Les 04

    • Inleiding tot Spark Streaming
    • Inleiding tot DStreams
    • De DStream-bewerkingen

  5. Stateful processing met Spark Streaming

    Les 05

    • De staatsoperaties
    • Inleiding tot Event Sourcing
    • Demonstratie van stateful streaming met Spark

  6. Sliding window-bewerkingen met Spark Streaming

    Les 06

    • Vensterbewerkingen
    • Vensterfuncties
    • DEMO Sliding Window-bewerkingen met Spark Streaming

  7. Inleiding tot gestructureerde streaming   

    Les 07

    • Overzicht van gestructureerde streaming
    • Uitvoermodi en triggering met Structured Streaming
    • DEMO Inleiding tot gestructureerde streaming

  8. Inleiding tot Apache Kafka

    Les 08

    • Overzicht en architectuur van Apache Kafka
    • Berichtenverwerking met Kafka
    • Demo: Lokale installatie van Apache Kafka

  9. Kafka-integratie met Spark Streaming

    Les 09

    Spark Streaming gebruiken met Apache Kafka

  10. De ontvangerbenadering gebruiken

    Les 10

    • Demo: Lokale installatie van Apache Kafka
    • De directe aanpak gebruiken
    • DEMO Spark Streaming met Apache Kafka met de directe aanpak

  11. Kafka-integratie met Structured Streaming

    Les 11

    • Structured Streaming en Kafka
    • Gegevens lezen en schrijven naar Kafka met Structured Streaming
    • DEMO Kafka en Structured Streaming

  12. Spark Streaming gebruiken met Kinesis

    Les 12

    • De Amazon Kinesis Producer- en Clientbibliotheken gebruiken
    • DEMO Introductie tot Amazon Kinesis

  13. Spark Streaming gebruiken met Kinesis

    Les 13

    • Spark Streaming gebruiken met Amazon Kinesis
    • DEMO Gebruik van Spark Streaming met Amazon Kinesis
    • Structured Streaming gebruiken met Amazon Kinesis
    • DEMO Gebruik van Structured Streaming met Amazon Kinesis

  14. Aanvullende Spark Streaming-integraties

    Les 14

    • Spark Streaming met MQTT
    • Spark Streaming en Apache Flume
    • Spark Streaming en Twitter
    • Spark Streaming en Snowflake
    • DEMO Gestructureerde Streaming met Snowflake
Geavanceerde streaming big data met Spark

Voor wie is dit programma bedoeld?

Data-engineers die werken met realtime datasystemen

Big data-professionals en Spark-ontwikkelaars

Software-ingenieurs die overstappen naar data-engineeringfuncties

Data scientists die geïnteresseerd zijn in streaminganalyse

Backend-ontwikkelaars die data-intensieve applicaties bouwen

IT-professionals die werken met grootschalige gedistribueerde systemen

Start nu met de cursus

Vereisten

  • Basiskennis van programmeren (bij voorkeur in Java, Scala of Python)
  • Vertrouwdheid met bigdataconcepten en gedistribueerde systemen
  • Basiskennis van gegevensverwerking of analytische workflows
  • Inzicht in databases en SQL (handig maar niet verplicht)
  • Er is geen eerdere ervaring met Spark Streaming vereist.

Verklaringen

Licenties en accreditatie

Deze cursus wordt aangeboden in overeenstemming met de Partnerprogramma-overeenkomst en voldoet aan de vereisten van de Licentieovereenkomst.

Gelijkheidsbeleid

Kandidaten worden aangemoedigd om tijdens het gehele accommodatieproces contact op te nemen met AVC voor begeleiding en ondersteuning.


Veelgestelde vragen

Contact background

Heeft u bedrijfsoplossingen of LMS-integratie nodig

Heb je niet de cursus of het programma gevonden dat geschikt zou zijn voor jouw bedrijf? Heb je een LMS-integratie nodig? Neem contact met ons op! Wij zullen met een passende oplossing komen!