Kursplan

Introduksjon til multimodale modeller

  • Oversikt over multimodal maskinlæring
  • Anvendelser av multimodale modeller
  • Utfordringer med å håndtere flere datatyper

Arkitekturer for multimodale modeller

  • Utforsker modeller som CLIP, Flamingo og BLIP
  • Forstå tverrmodale oppmerksomhetsmekanismer
  • Arkitektoniske hensyn for skalerbarhet og effektivitet

Klargjøring av multimodale datasett

  • Datainnsamling og merknadsteknikker
  • Forhåndsbehandler tekst, bilder og videoinnganger
  • Balansering av datasett for multimodale oppgaver

Finjusteringsteknikker for multimodale modeller

  • Sette opp treningspipelines for multimodale modeller
  • Administrere minne og beregningsbegrensninger
  • Håndtere justering mellom modaliteter

Anvendelser av finjusterte multimodale modeller

  • Visuell svar på spørsmål
  • Bilde- og videoteksting
  • Innholdsgenerering ved hjelp av multimodale innganger

Ytelsesoptimalisering og evaluering

  • Evalueringsberegninger for multimodale oppgaver
  • Optimalisering av ventetid og gjennomstrømning for produksjon
  • Sikre robusthet og konsistens på tvers av modaliteter

Utplassering av multimodale modeller

  • Pakkemodeller for distribusjon
  • Scalable slutning på skyplattformer
  • Sanntidsapplikasjoner og integrasjoner

Kasusstudier og praktiske laboratorier

  • Finjustering av CLIP for innholdsbasert bildehenting
  • Trening av en multimodal chatbot med tekst og video
  • Implementering av tverrmodale gjenfinningssystemer

Sammendrag og neste trinn

Krav

  • Ferdighet i Python programmering
  • Forståelse av dyplæringskonsepter
  • Erfaring med finjustering av ferdigtrente modeller

Publikum

  • AI-forskere
  • Dataforskere
  • Utøvere av maskinlæring
 28 timer

Antall deltakere


Price per participant

Upcoming Courses

Related Categories