Kursplan

Introduksjon

  • Oversikt over skaleringsutfordringer for dyp læring
  • Oversikt over DeepSpeed og dens funksjoner
  • DeepSpeed vs. andre distribuerte dyplæringsbiblioteker

Komme i gang

  • Sette opp utviklingsmiljøet
  • Installerer PyTorch og DeepSpeed
  • Konfigurere DeepSpeed for distribuert trening

DeepSpeed Optimization funksjoner

  • DeepSpeed-treningspipeline
  • ZeRO (minneoptimalisering)
  • Aktivering sjekkpunkt
  • Gradientkontroll
  • Rørledningsparallellisme

Skalering av modeller med DeepSpeed

  • Grunnleggende skalering med DeepSpeed
  • Avanserte skaleringsteknikker
  • Ytelseshensyn og beste praksis
  • Feilsøkings- og feilsøkingsteknikker

Avanserte DeepSpeed-emner

  • Avanserte optimaliseringsteknikker
  • Bruker DeepSpeed med blandet presisjonstrening
  • DeepSpeed på annen maskinvare (f.eks. GPU-er, TPU-er)
  • DeepSpeed med flere treningsnoder

Integrering av DeepSpeed med PyTorch

  • Integrering av DeepSpeed med PyTorch arbeidsflyter
  • Bruke DeepSpeed med PyTorch Lightning

Feilsøking

  • Feilsøking av vanlige DeepSpeed-problemer
  • Overvåking og logging

Sammendrag og neste trinn

  • Oppsummering av nøkkelbegreper og funksjoner
  • Beste praksis for bruk av DeepSpeed i produksjon
  • Ytterligere ressurser for å lære mer om DeepSpeed

Krav

  • Middels kunnskap om dyplæringsprinsipper
  • Erfaring med PyTorch eller lignende rammeverk for dyp læring
  • Kjennskap til Python programmering

Publikum

  • Dataforskere
  • Maskinlæringsingeniører
  • Utviklere
 21 timer

Antall deltakere


Price per participant

Upcoming Courses

Related Categories