Kursplan

Oppsummering av Apache Airflow Fundamentals

  • Kjernekonsepter: DAG-er, operatører og utførelsesflyt
  • Luftstrømsarkitektur og komponenter
  • Forstå avanserte brukstilfeller og arbeidsflyter

Opprette egendefinerte operatører

  • Forstå anatomien til en Airflow-operatør
  • Utvikle tilpassede operatører for spesifikke oppgaver
  • Testing og feilsøking av tilpassede operatører

Tilpassede kroker og sensorer

  • Implementering av kroker for ekstern systemintegrasjon
  • Opprette sensorer for overvåking av eksterne triggere
  • Forbedrer arbeidsflytinteraktivitet med tilpassede sensorer

Utvikle Airflow Plugins

  • Forstå plugin-arkitekturen
  • Utforme plugins for å utvide Airflow-funksjonaliteten
  • Beste fremgangsmåter for å administrere og distribuere plugins

Integrering av luftstrøm med eksterne systemer

  • Koble Airflow til databaser, APIer og skytjenester
  • Bruk av Airflow for ETL-arbeidsflyter og sanntidsdatabehandling
  • Administrere avhengigheter mellom Airflow og eksterne systemer

Avansert feilsøking og overvåking

  • Bruke Airflow-logger og beregninger for feilsøking
  • Konfigurering av varsler og varsler for arbeidsflytproblemer
  • Utnytte eksterne overvåkingsverktøy med Airflow

Optimalisering av ytelse og Scalaevne

  • Skalering av luftstrøm med selleri og Kubernetes eksekutorer
  • Optimalisering av ressursutnyttelse i komplekse arbeidsflyter
  • Strategier for høy tilgjengelighet og feiltoleranse

Kasusstudier og virkelige applikasjoner

  • Utforsker avanserte brukstilfeller innen datateknikk og DevOps
  • Kasusstudie: Tilpasset operatørimplementering for storskala ETL
  • Beste fremgangsmåter for å administrere arbeidsflyter på bedriftsnivå

Sammendrag og neste trinn

Krav

  • Sterk forståelse av Apache Airflow grunnleggende, inkludert DAG-er, operatører og utførelsesarkitektur
  • Ferdighet i Python programmering
  • Erfaring med integrering av datasystemer og arbeidsflyt orkestrering

Publikum

  • Dataingeniører
  • DevOps ingeniører
  • Programvarearkitekter
 21 timer

Antall deltakere


Price per participant

Upcoming Courses

Related Categories