Apache Kafka for Python Programmers Treningskurs
Apache Kafka er en åpen kildekode-strømbehandlingsplattform som gir en rask, pålitelig og lav latensplattform for håndtering av sanntidsdataanalyse. Apache Kafka kan integreres med tilgjengelige programmeringsspråk som Python.
Denne instruktørledede, direkteopplæringen (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Apache Kafka-funksjoner i datastrømming med Python.
Ved slutten av denne opplæringen vil deltakerne kunne bruke Apache Kafka til å overvåke og administrere forhold i kontinuerlige datastrømmer ved å bruke Python programmering.
Kursets format
- Interaktivt foredrag og diskusjon.
- Mye øvelser og trening.
- Praktisk implementering i et live-lab-miljø.
Alternativer for kurstilpasning
- For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.
Kursplan
Introduksjon
Oversikt over Apache Kafka funksjoner og arkitektur for Python
- Kjerne-API-er (produsent, forbruker, strømmer, kobling)
- Konsepter og bruksområder
Accessing Kafka i Python
- Tilgjengelige Python biblioteker for bruk
- Komprimeringsformater støttes
Installerer Apache Kafka
- Datamaskininstallasjon
- Virtuell privat server og virtuell maskininstallasjon
Starter Kafka Broker Server
- Lesing og redigering ved hjelp av en IDE (Integrated Development Environment)
- Kjører Zookeeper
- Logger mappe
Opprette et Kafka-emne
- Kobler til en Kafka-klynge
- Lese emnedetaljer
Sende meldinger ved hjelp av produsenter
- Initiere en produsent
- Undersøker innkommende meldinger
- Driver flere produsenter
Forbruker meldinger
- Kafka Console Consumer
- Driver flere forbrukere
Feilsøking
Oppsummering og konklusjon
Krav
- Erfaring med Python programmeringsspråk
- Kjennskap til strømbehandlingsplattformer
Publikum
- Dataingeniører
- Dataforskere
- Programmerere
Open Training Courses require 5+ participants.
Apache Kafka for Python Programmers Treningskurs - Booking
Apache Kafka for Python Programmers Treningskurs - Enquiry
Apache Kafka for Python Programmers - Consultancy Enquiry
Consultancy Enquiry
Testimonials (5)
Sufficient hands on, trainer is knowledgable
Chris Tan
Kurs - A Practical Introduction to Stream Processing
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Kurs - Apache NiFi for Administrators
Riv ferdigheter, eksempler, veldig gode øvelser
Marek Konieczny - G2A.COM Limited
Kurs - Kafka for Administrators
Machine Translated
That I had it in the first place.
Peter Scales - CACI Ltd
Kurs - Apache NiFi for Developers
Recalling/reviewing keypoints of the topics discussed.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Kurs - Building Stream Processing Applications with Kafka Streams
Upcoming Courses
Relaterte kurs
Apache Kafka Connect
7 timerDenne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å integrere Apache Kafka med eksisterende databaser og applikasjoner for prosessering, analyse, etc.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Bruk Kafka Connect til å importere store mengder data fra en database til Kafka-temaer.
- Importere loggdata generert av applikasjonservere til Kafka-temaer.
- Make all samlet data tilgjengelig for strømbehandling.
- Eksportere data fra Kafka-temaer til sekundære systemer for lagring og analyse.
Unified Batch and Stream Processing with Apache Beam
14 timerApache Beam er en åpen kildekode, enhetlig programmeringsmodell for å definere og utføre parallelle databehandlingsrørledninger. Dens kraft ligger i dens evne til å kjøre både batch- og streaming-pipelines, med utførelse utført av en av Beams støttede distribuerte prosesserings-backends: Apache Apex, Apache Flink, Apache Spark og Googgle Cloud Dataflow. Apache Beam er nyttig for ETL (Extract, Transform, and Load) oppgaver som å flytte data mellom forskjellige lagringsmedier og datakilder, transformere data til et mer ønskelig format og laste inn data til et nytt system.
I denne instruktørledede, live-opplæringen (på stedet eller ekstern) vil deltakerne lære hvordan de implementerer Apache Beam SDK-ene i en Java eller Python applikasjon som definerer en databehandlingspipeline for å dekomponere et stort datasett i mindre biter for uavhengig, parallell behandling.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Installer og konfigurer Apache Beam.
- Bruk en enkelt programmeringsmodell for å utføre både batch- og strømbehandling fra deres Java eller Python applikasjon.
- Utfør rørledninger på tvers av flere miljøer.
Kursets format
- Del forelesning, del diskusjon, øvelser og tung praktisk praksis
Note
- Dette kurset vil være tilgjengelig Scala i fremtiden. Vennligst kontakt oss for å avtale.
Building Kafka Solutions with Confluent
14 timerDenne instruktørledede, direkteopplæringen (online eller på stedet) er rettet mot ingeniører som ønsker å bruke Confluent (en distribusjon av Kafka) til å bygge og administrere en sanntidsdatabehandlingsplattform for applikasjonene deres.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Installere og konfigurere Confluent Platform.
- Bruke Confluents verktøy og tjenester for å administrere Kafka mer effektivt.
- Lagre og behandle innkommende strømmedata.
- Optimalisere og administrere Kafka-kluster.
- Sikre data-strømmer.
Kursets format
- Interaktive forelesninger og diskusjoner.
- Mange øvelser og praktiske oppgaver.
- Pratisk implementering i et live-lab-miljø.
Alternativer for kurstilpasning
- Dette kurset er basert på den åpne kildekodeversjonen av Confluent: Confluent Open Source.
- For å be om et tilpasset kurs, kontakt oss for å avtale.
Building Data Pipelines with Apache Kafka
7 timerApache Kafka er en distribuert streamingplattform. Det er de facto en standard for å bygge datarørledninger, og det løser mange forskjellige brukssaker rundt databehandling: det kan brukes som en meldingskø, distribuert logg, strømprosessor, etc.
Vi starter med noen teori bak datapipelines generelt, og fortsetter med grunnleggende konsepter bak Kafka. Vi vil også oppdage viktige komponenter som Kafka Streams og Kafka Connect.
Apache Flink Fundamentals
28 timerDenne instruktørledede, direkteopplæringen i Norge (online eller på stedet) introduserer prinsippene og tilnærmingene bak distribuert strøm- og batchdatabehandling, og leder deltakerne gjennom opprettelsen av en sanntidsdatastrømningsapplikasjon i Apache Flink.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Sett opp et miljø for utvikling av dataanalyseapplikasjoner.
- Forstå hvordan Apache Flink sitt grafbehandlingsbibliotek (Gelly) fungerer.
- Pakk, utfør og overvåk Flink-baserte, feiltolerante, datastrømmeapplikasjoner.
- Håndter ulike arbeidsmengder.
- Utfør avanserte analyser.
- Sett opp en multi-node Flink-klynge.
- Mål og optimer ytelsen.
- Integrer Flink med forskjellige Big Data systemer.
- Sammenlign Flink-funksjonene med andre rammeverk for behandling av store data.
A Practical Introduction to Stream Processing
21 timerI denne instruktørledede, live-opplæringen i Norge (på stedet eller ekstern), vil deltakerne lære å sette opp og integrere forskjellige Stream Processing rammeverk med eksisterende lagringssystemer for store data og relaterte programvareapplikasjoner og mikrotjenester.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Installer og konfigurer forskjellige Stream Processing rammeverk, for eksempel Spark Streaming og Kafka Streaming.
- Forstå og velg det mest passende rammeverket for jobben.
- Prosess av data kontinuerlig, samtidig og på en rekord-for-post måte.
- Integrer Stream Processing løsninger med eksisterende databaser, datavarehus, datainnsjøer, etc.
- Integrer det mest passende strømbehandlingsbiblioteket med bedriftsapplikasjoner og mikrotjenester.
Distributed Messaging with Apache Kafka
14 timerDette kurset er for bedriftsarkitekter, utviklere, systemadministratorer og alle som ønsker å forstå og bruke et distribuert meldingssystem med høy gjennomstrømning. Hvis du har mer spesifikke krav (f.eks. Kun systemadministrasjonssiden), kan dette kurset skreddersys for å passe bedre til dine behov.
Kafka for Administrators
21 timerDenne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot systemadministratorer som ønsker å sette opp, distribuere, administrere og optimalisere en Kafka-klynge i bedriftsklasse.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Sett opp og administrer en Kafka-klynge.
- Vurder fordelene og ulempene ved å distribuere Kafka på stedet kontra i skyen.
- Distribuer og overvåk Kafka ved å bruke ulike lokale og skymiljøverktøy.
Stream Processing with Kafka Streams
7 timerKafka Streams er et bibliotek på klientsiden for å bygge applikasjoner og mikroservices hvis data sendes til og fra et Kafka-meldingssystem. Tradisjonelt har Apache Kafka vært avhengig av Apache Spark eller Apache Storm å behandle data mellom meldingsprodusenter og forbrukere. Ved å kalle Kafka Streams API fra en applikasjon, kan data behandles direkte i Kafka, og omgå behovet for å sende dataene til en egen klynge for behandling.
I denne instruktørledede, liveopplæringen, vil deltakerne lære å integrere Kafka Streams i et sett med Java applikasjoner som sender data til og fra Apache Kafka for strømbehandling.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Forstå Kafka Streams funksjoner og fordeler over andre strømbehandlingsrammeverk
- Behandle strømdata direkte innenfor en Kafka-kluster
- Skrive en Java eller Scala applikasjon eller mikrotjeneste som integreres med Kafka og Kafka Streams
- Skrive kortfattet kode som omformer innkommende Kafka-emner til utgående Kafka-emner
- Bygge, pakke og deploye applikasjonen
Publikum
- Utviklere
Kursformat
- Delvis forelesning, delvis diskusjon, øvelser og mye praktisk øvelse
Merknader
- For å be om en tilpasset opplæring for dette kurset, ta kontakt med oss for å avtale
Confluent KSQL
7 timerDenne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å implementere Apache Kafka strømbehandling uten å skrive kode.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Installer og konfigurer Confluent KSQL.
- Sett opp en strømbehandlingspipeline ved å bruke bare SQL kommandoer (ingen Java eller Python koding).
- Utfør datafiltrering, transformasjoner, aggregeringer, sammenføyninger, vinduer og økter i SQL.
- Design og distribuer interaktive, kontinuerlige spørringer for streaming av ETL og sanntidsanalyse.
Apache NiFi for Administrators
21 timerI denne instruktørledede, live-opplæringen i Norge (på stedet eller eksternt), vil deltakerne lære hvordan de distribuerer og administrerer Apache NiFi i et levende laboratoriemiljø.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Installer og konfigurer Apachi NiFi.
- Kilde, transformer og administrer data fra forskjellige, distribuerte datakilder, inkludert databaser og store datainnsjøer.
- Automatiser dataflyter.
- Aktiver strømmeanalyse.
- Bruk ulike tilnærminger for datainntak.
- Forvandle Big Data og til forretningsinnsikt.
Apache NiFi for Developers
7 timerI denne instruktørledede, live-opplæringen i Norge vil deltakerne lære det grunnleggende om flytbasert programmering når de utvikler en rekke demo-utvidelser, komponenter og prosessorer ved hjelp av Apache NiFi.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Forstå NiFis arkitektur og dataflytkonsepter.
- Utvikle utvidelser ved å bruke NiFi og tredjeparts APIer.
- Tilpasset utvikle sin egen Apache Nifi-prosessor.
- Ta inn og behandle sanntidsdata fra forskjellige og uvanlige filformater og datakilder.
Spark Streaming with Python and Kafka
7 timerDenne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Spark Streaming-funksjoner til å behandle og analysere sanntidsdata.
Ved slutten av denne opplæringen vil deltakerne kunne bruke Spark Streaming til å behandle live datastrømmer for bruk i databaser, filsystemer og live dashboards.