Kursplan

Introduksjon

  • Apache Beam vs MapReduce, Spark Streaming, Kafka Streaming, Storm og Flink

Installere og konfigurere Apache Beam

Oversikt over Apache Beam Funksjoner og arkitektur

  • Beam Model, SDK-er, Beam Pipeline Runners
  • Distribuert behandlingsbackends

Forstå Apache Beam Programming-modellen

  • Hvordan en rørledning utføres

Kjøre en prøverørledning

  • Klargjøring av en WordCount pipeline
  • Utføring av rørledningen lokalt

Designe en rørledning

  • Planlegging av strukturen, valg av transformasjoner og bestemmelse av input- og outputmetoder

Opprette rørledningen

  • Skrive driverprogrammet og definere rørledningen
  • Bruker Apache Beam klasser
  • Datasett, transformasjoner, I/O, datakoding, etc.

Utførelse av rørledningen

  • Utføre rørledningen lokalt, på eksterne maskiner og på en offentlig sky
  • Velge en løper
  • Løperspesifikke konfigurasjoner

Testing og feilsøking Apache Beam

  • Bruke typetips for å etterligne statisk skriving
  • Administrere Python Pipeline-avhengigheter

Behandler avgrensede og ubegrensede datasett

  • Vindu og utløsere

Gjør rørledningene dine gjenbrukbare og vedlikeholdbare

Opprett nye datakilder og synker

  • Apache Beam Kilde og Sink API

Integrering av Apache Beam med andre Big Data systemer

  • Apache Hadoop, Apache Spark, Apache Kafka

Feilsøking

Oppsummering og konklusjon

Krav

  • Erfaring med Python Programming.
  • Erfaring med kommandolinjen Linux.

Publikum

  • Utviklere
 14 timer

Antall deltakere


Price per participant

Upcoming Courses

Related Categories