Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Kursplan
Introduksjon
- Apache Beam vs MapReduce, Spark Streaming, Kafka Streaming, Storm og Flink
Installere og konfigurere Apache Beam
Oversikt over Apache Beam Funksjoner og arkitektur
- Beam Model, SDK-er, Beam Pipeline Runners
- Distribuert behandlingsbackends
Forstå Apache Beam Programming-modellen
- Hvordan en rørledning utføres
Kjøre en prøverørledning
- Klargjøring av en WordCount pipeline
- Utføring av rørledningen lokalt
Designe en rørledning
- Planlegging av strukturen, valg av transformasjoner og bestemmelse av input- og outputmetoder
Opprette rørledningen
- Skrive driverprogrammet og definere rørledningen
- Bruker Apache Beam klasser
- Datasett, transformasjoner, I/O, datakoding, etc.
Utførelse av rørledningen
- Utføre rørledningen lokalt, på eksterne maskiner og på en offentlig sky
- Velge en løper
- Løperspesifikke konfigurasjoner
Testing og feilsøking Apache Beam
- Bruke typetips for å etterligne statisk skriving
- Administrere Python Pipeline-avhengigheter
Behandler avgrensede og ubegrensede datasett
- Vindu og utløsere
Gjør rørledningene dine gjenbrukbare og vedlikeholdbare
Opprett nye datakilder og synker
- Apache Beam Kilde og Sink API
Integrering av Apache Beam med andre Big Data systemer
- Apache Hadoop, Apache Spark, Apache Kafka
Feilsøking
Oppsummering og konklusjon
Krav
- Erfaring med Python Programming.
- Erfaring med kommandolinjen Linux.
Publikum
- Utviklere
14 timer