Hadoop for Developers (4 days) Treningskurs
Apache Hadoop er det mest populære rammeverket for behandling av Big Data på klynger av servere. Dette kurset vil introdusere en utvikler til ulike komponenter (HDFS, MapReduce, Pig, Hive og HBase) Hadoop økosystem.
Kursplan
Del 1: Introduksjon til Hadoop
- Hadoop-historie, konsepter
- ekosystem
- distribusjoner
- overordnet arkitektur
- Hadoop-myter
- Hadoop-utfordringer
- hård- og programvare
- lab : første innblikk i Hadoop
Seksjon 2: HDFS
- Design og arkitektur
- Konsepter (horisontal skaling, replikering, datalokalitet, rackbevissthet)
- Daemoner : Namenode, Secondary namenode, Data node
- Kommunikasjon / hjerterutninger
- Datanevneverdi
- Lese/skrivebane
- Namenode High Availability (HA), Federation
- lab : Interaksjon med HDFS
Seksjon 3: Kartreduser
- konsepter og arkitektur
- daemons (MRV1): jobtracker / tasktracker
- faser: driver, kartlegger, stokk/sorter, redusering
- Map Reduce versjon 1 og versjon 2 (YARN)
- Internaler i Map Reduce
- Introduksjon til Java Map Reduce-programmet
- labs : Kjøre et eksempel på MapReduce-program
Seksjon 4: Gris
- pig vs java kart redusere
- gris jobb flyt
- gris latinsk språk
- ETL med gris
- Transformasjoner og sammenføyninger
- Brukerdefinerte funksjoner (UDF)
- laboratorier: skrive griseskript for å analysere data
Del 5: Hive
- arkitektur og design
- datatyper
- SQL støtte i Hive
- Opprette Hive tabeller og spørre
- partisjoner
- blir med
- tekstbehandling
- laboratorier : ulike laboratorier for behandling av data med Hive
Seksjon 6: HBase
- Konsepter og arkitektur
- HBase vs RDBMS vs Cassandra
- HBase Java API
- Tidsrekke data på HBase
- Skemadesign
- lab : Interaksjon med HBase ved hjelp av shell; programmering i HBase Java API ; Skemadesign øvelse
Krav
- komfortabel med Java programmeringsspråk (de fleste programmeringsøvelser er i java)
- komfortabel i Linux miljø (kunne navigere Linux kommandolinje, redigere filer med vi / nano)
Laboratoriemiljø
Zero Install : Det er ikke nødvendig å installere Hadoop programvare på studentenes maskiner! Et fungerende Hadoop kluster vil bli tilgjengelig for studenter.
Studentene trenger følgende
- en SSH klient (Linux og Mac har allerede ssh klienter, for Windows anbefales Putty)
- en nettleser for å tilgå klustret, Firefox anbefales
Open Training Courses require 5+ participants.
Hadoop for Developers (4 days) Treningskurs - Booking
Hadoop for Developers (4 days) Treningskurs - Enquiry
Hadoop for Developers (4 days) - Consultancy Enquiry
Consultancy Enquiry
Testimonials (5)
The live examples
Ahmet Bolat - Accenture Industrial SS
Kurs - Python, Spark, and Hadoop for Big Data
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Kurs - Apache NiFi for Administrators
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Kurs - Impala for Business Intelligence
That I had it in the first place.
Peter Scales - CACI Ltd
Kurs - Apache NiFi for Developers
practical things of doing, also theory was served good by Ajay
Dominik Mazur - Capgemini Polska Sp. z o.o.
Kurs - Hadoop Administration on MapR
Upcoming Courses
Relaterte kurs
Administrator Training for Apache Hadoop
35 timerPublikum:
Kurset er beregnet på IT-spesialister på jakt etter en løsning for å lagre og behandle store datasett i et distribuert systemmiljø
Goal:
Dyp kunnskap om Hadoop klyngeadministrasjon.
Big Data Analytics in Health
21 timerBig data analytics innebærer prosessen med å undersøke store mengder varierte datasett for å avdekke korrelasjoner, skjulte mønstre og annen nyttig innsikt.
Helseindustrien har enorme mengder komplekse heterogene medisinske og kliniske data. Å bruke big data-analyse av helsedata gir et stort potensial i å oppnå innsikt for å forbedre leveransen av helsetjenester. Imidlertid gir enorme datasett store utfordringer i analyser og praktiske applikasjoner i et klinisk miljø.
I denne instruktørledede liveopplæringen (ekstern) vil deltakerne lære å utføre big data-analyse innen helse når de går gjennom en serie praktiske live-lab-øvelser.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Installer og konfigurer verktøy for analyse av big data som Hadoop MapReduce og Spark
- Forstå egenskapene til medisinsk data
- Bruk big data-teknikker for å håndtere medisinske data
- Studer store datasystemer og algoritmer i sammenheng med helseprogrammer
Publikum
- Utviklere
- Dataforskere
Kursets format
- Delforelesning, deldiskusjon, øvelser og tung praktisk øvelse.
Merk
- For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.
Hadoop Administration
21 timerKurset er dedikert til IT-spesialister som leter etter en løsning for å lagre og behandle store datasett i distribuert systemmiljø
Kursmål:
Få kunnskap om Hadoop klyngeadministrasjon
Hadoop For Administrators
21 timerApache Hadoop er det mest populære rammeverket for behandling Big Data på klynger av servere. På dette tre (valgfritt, fire) dagers kurset vil deltakerne lære om forretningsfordelene og brukstilfellene for Hadoop og dets økosystem, hvordan man planlegger klyngedistribusjon og vekst, hvordan man installerer, vedlikeholder, overvåker, feilsøker og optimaliserer [2 ]. De vil også øve på bulkdatabelastning, bli kjent med forskjellige Hadoop distribusjoner og øve på å installere og administrere Hadoop økosystemverktøy. Kurset avsluttes med en diskusjon om å sikre klynge med Kerberos.
“...Materialene var veldig godt forberedt og dekket grundig. Laboratoriet var veldig hjelpsomt og godt organisert”
— Andrew Nguyen, hovedintegrasjon DW-ingeniør, Microsoft Online Advertising
Publikum
Hadoop administratorer
Format
Forelesninger og praktiske laboratorier, omtrentlig balanse 60% forelesninger, 40% laboratorier.
Advanced Hadoop for Developers
21 timerApache Hadoop er et av de mest populære rammeverkene for behandling av Big Data på klynger av servere. Dette kurset går inn i datahåndtering i HDFS, avansert Pig, Hive og HBase. Disse avanserte programmeringsteknikkene vil være fordelaktige for erfarne Hadoop utviklere.
Målgruppe : utviklere
Varighet: tre dager
Format: forelesninger (50 %) og praktiske laboratorier (50 %).
Hadoop Administration on MapR
28 timerPublikum:
Dette kurset er ment å avmystifisere big data/hadoop-teknologi og vise at det ikke er vanskelig å forstå.
Hadoop and Spark for Administrators
35 timerDenne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot systemadministratorer som ønsker å lære hvordan de konfigurerer, distribuerer og administrerer Hadoop klynger i organisasjonen deres.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Installer og konfigurer Apache Hadoop.
- Forstå de fire hovedkomponentene i Hadoop-økosystemet: HDFS, MapReduce, YARN og Hadoop Common.
- Bruk Hadoop Distributed File System (HDFS) for å skalere en klynge til hundrevis eller tusenvis av noder.
- Konfigurer HDFS for å fungere som lagringsmotor for Spark-distribusjoner på stedet.
- Sett opp Spark for å få tilgang til alternative lagringsløsninger som Amazon S3 og NoSQL databasesystemer som Redis, Elasticsearch, Couchbase, Aerospike, etc.
- Utfør administrative oppgaver som klargjøring, administrasjon, overvåking og sikring av en Apache Hadoop-klynge.
HBase for Developers
21 timerDette kurset introduserer HBase - en No SQL butikk på toppen av Hadoop . Kurset er beregnet på utviklere som skal bruke HBase til å utvikle applikasjoner, og administratorer som vil administrere HBase klynger.
Vi vil gå en utvikler gjennom HBase-arkitektur og datamodellering og applikasjonsutvikling på HBase. Den vil også diskutere bruk av MapReduce med HBase, og noen administrasjonsemner, relatert til ytelsesoptimalisering. Kurset er veldig praktisk med mange labøvelser.
Varighet : 3 dager
Publikum : Utviklere og administratorer
Hortonworks Data Platform (HDP) for Administrators
21 timerDenne instruktørledede, direkteopplæringen i Norge (online eller på stedet) introduserer Hortonworks Data Platform (HDP) og leder deltakerne gjennom utrullingen av Spark + Hadoop-løsningen.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Bruk Hortonworks til å kjøre Hadoop pålitelig i stor skala.
- Foren Hadoops sikkerhet, styring og drift med Sparks smidige analytiske arbeidsflyter.
- Bruk Hortonworks til å undersøke, validere, sertifisere og støtte hver av komponentene i et Spark-prosjekt.
- Behandle ulike typer data, inkludert strukturert, ustrukturert, i bevegelse og i hvile.
Data Analysis with Hive/HiveQL
7 timerDette kurset dekker hvordan du bruker Hive SQL språk (AKA: Hive HQL, SQL on Hive , Hive QL) for folk som henter ut data fra Hive
Impala for Business Intelligence
21 timerCloudera Impala er en åpen kildekode massivt parallel processing (MPP) SQL søkemotor for Apache Hadoop klynger.
Impala gjør det mulig for brukere å sende spørsmål med lav latens SQL til data lagret i Hadoop Distribuert filsystem og Apache Hbase uten å kreve dataflytting eller transformasjon.
Publikum
Dette kurset er rettet mot analytikere og dataforskere som utfører analyser på data lagret i Hadoop via Business Intelligence eller SQL verktøy.
Etter dette kurset vil delegatene kunne
- Trekk ut meningsfull informasjon fra Hadoop klynger med Impala.
- Skriv spesifikke programmer for å lette Business Intelligens i Impala SQL Dialekt.
- Feilsøking Impala.
Apache NiFi for Administrators
21 timerI denne instruktørledede, live-opplæringen i Norge (på stedet eller eksternt), vil deltakerne lære hvordan de distribuerer og administrerer Apache NiFi i et levende laboratoriemiljø.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Installer og konfigurer Apachi NiFi.
- Kilde, transformer og administrer data fra forskjellige, distribuerte datakilder, inkludert databaser og store datainnsjøer.
- Automatiser dataflyter.
- Aktiver strømmeanalyse.
- Bruk ulike tilnærminger for datainntak.
- Forvandle Big Data og til forretningsinnsikt.
Apache NiFi for Developers
7 timerI denne instruktørledede, live-opplæringen i Norge vil deltakerne lære det grunnleggende om flytbasert programmering når de utvikler en rekke demo-utvidelser, komponenter og prosessorer ved hjelp av Apache NiFi.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Forstå NiFis arkitektur og dataflytkonsepter.
- Utvikle utvidelser ved å bruke NiFi og tredjeparts APIer.
- Tilpasset utvikle sin egen Apache Nifi-prosessor.
- Ta inn og behandle sanntidsdata fra forskjellige og uvanlige filformater og datakilder.
Python, Spark, and Hadoop for Big Data
21 timerDenne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å bruke og integrere Spark, Hadoop og Python for å behandle, analysere og transformere store og komplekse datasett.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Sett opp det nødvendige miljøet for å begynne å behandle store data med Spark, Hadoop og Python.
- Forstå funksjonene, kjernekomponentene og arkitekturen til Spark og Hadoop.
- Lær hvordan du integrerer Spark, Hadoop og Python for behandling av store data.
- Utforsk verktøyene i Spark-økosystemet (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka og Flume).
- Bygg anbefalingssystemer for samarbeidsfiltrering som ligner på Netflix, YouTube, Amazon, Spotify og Google.
- Bruk Apache Mahout til å skalere maskinlæringsalgoritmer.