Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Kursplan
Introduksjon til multimodale modeller
- Oversikt over multimodal maskinlæring
- Anvendelser av multimodale modeller
- Utfordringer med å håndtere flere datatyper
Arkitekturer for multimodale modeller
- Utforsker modeller som CLIP, Flamingo og BLIP
- Forstå tverrmodale oppmerksomhetsmekanismer
- Arkitektoniske hensyn for skalerbarhet og effektivitet
Klargjøring av multimodale datasett
- Datainnsamling og merknadsteknikker
- Forhåndsbehandler tekst, bilder og videoinnganger
- Balansering av datasett for multimodale oppgaver
Finjusteringsteknikker for multimodale modeller
- Sette opp treningspipelines for multimodale modeller
- Administrere minne og beregningsbegrensninger
- Håndtere justering mellom modaliteter
Anvendelser av finjusterte multimodale modeller
- Visuell svar på spørsmål
- Bilde- og videoteksting
- Innholdsgenerering ved hjelp av multimodale innganger
Ytelsesoptimalisering og evaluering
- Evalueringsberegninger for multimodale oppgaver
- Optimalisering av ventetid og gjennomstrømning for produksjon
- Sikre robusthet og konsistens på tvers av modaliteter
Utplassering av multimodale modeller
- Pakkemodeller for distribusjon
- Scalable slutning på skyplattformer
- Sanntidsapplikasjoner og integrasjoner
Kasusstudier og praktiske laboratorier
- Finjustering av CLIP for innholdsbasert bildehenting
- Trening av en multimodal chatbot med tekst og video
- Implementering av tverrmodale gjenfinningssystemer
Sammendrag og neste trinn
Krav
- Ferdighet i Python programmering
- Forståelse av dyplæringskonsepter
- Erfaring med finjustering av ferdigtrente modeller
Publikum
- AI-forskere
- Dataforskere
- Utøvere av maskinlæring
28 timer