Kursplan
Kurset er delt inn i tre forskjellige dager, den tredje er valgfritt.
Dag 1 - Machine Learning & Deep Learning: teoretiske begreper
1. AI-introduksjon, Machine Learning og Deep Learning
- Historie, grunnleggende konsepter og vanlige anvendelser av kunstig intelligens langt fra fantasiene som bæres av dette feltet
- Kollektiv intelligens: samlet kunnskap som deles av en rekke virtuelle agenter
- Genetiske algoritmer: utvikle en populasjon av virtuelle agenter ved seleksjon
- Machine Learning vanlig: definisjon.
- Typer oppgaver: veiledet læring, uovervåket læring, forsterkende læring
- Typer handlinger: klassifisering, regresjon, gruppering, tetthetsestimering, dimensjonalitetsreduksjon
- Eksempler på algoritmer Machine Learning: Lineær regresjon, Naive Bayes, Random Tree
- Maskinlæring VS Deep Learning: problemer som Machine Learning fortsatt er på topp i dag (Random Forests & XGBoosts)
2. Grunnleggende konsepter for et nevralt nettverk (Anvendelse: flerlags perceptron)
- Påminnelse om matematisk grunnleggende.
- Definisjon av et nevralt nettverk: klassisk arkitektur, aktiverings- og vektingsfunksjoner for tidligere aktiveringer, dybden til et nettverk
- Definisjon av å lære et nevralt nettverk: kostnadsfunksjoner, tilbake-propagering, stokastisk gradientnedstigning, maksimal sannsynlighet.
- Modellering av et nevralt nettverk: modellering av input og output data i henhold til type problem (regresjon, klassifisering, etc.). Dimensjonalitetens forbannelse. Skille mellom multifunksjonsdata og signal. Valg av kostnadsfunksjon i henhold til dataene.
- Tilnærme en funksjon ved hjelp av et nevralt nettverk: presentasjon og eksempler
- Tilnærming til en distribusjon ved hjelp av et nevralt nettverk: presentasjon og eksempler
- Dataforsterkning: hvordan balansere et datasett
- Generalisering av resultatene av et nevralt nettverk.
- Initialiseringer og regulariseringer av et nevralt nettverk: L1/L2-regularisering, Batch-normalisering...
- Optimaliseringer og konvergensalgoritmer.
3. Vanlige ML/DL-verktøy
Det legges opp til en enkel presentasjon med fordeler, ulemper, plassering i økosystemet og bruk.
- Databehandlingsverktøy: Apache Spark, Apache Hadoop
- Vanlige verktøy Machine Learning: Numpy, Scipy, Sci-kit
- DL-rammeverk på høyt nivå: PyTorch, Keras, Lasagne
- DL-rammeverk på lavt nivå: Theano, Torch, Caffe, Tensorflow
Dag 2 – Konvolusjonelle og tilbakevendende nettverk
4. Konvolusjonell Neural Networks (CNN).
- Presentasjon av CNN: grunnleggende prinsipper og anvendelser
- Grunnleggende funksjon av et CNN: konvolusjonslag, bruk av en kjerne, polstring og skritt, generering av funksjonskart, "pooling" type lag. 1D, 2D og 3D utvidelser.
- Presentasjon av de forskjellige CNN-arkitekturene som har brakt toppmoderne til bildeklassifisering: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentasjon av innovasjonene fra hver arkitektur og deres mer globale applikasjoner (1x1 Convolution eller restforbindelser)
- Bruk av oppmerksomhetsmodell.
- Applikasjon til et vanlig klassifiseringsscenario (tekst eller bilde)
- CNN-er for generering: superoppløsning, piksel-for-piksel segmentering. Presentasjon av hovedstrategiene for å utvide funksjonskart for å generere et bilde.
5. Tilbakevendende Neural Networks (RNN).
- Presentasjon av RNN: grunnleggende prinsipper og anvendelser.
- Grunnleggende drift av RNN: skjult aktivering, forplantning tilbake gjennom tiden, utfoldet versjon.
- Utvikling mot GRU (Gated Recurrent Units) og LSTM (Long Short Term Memory). Presentasjon av de forskjellige statene og utviklingen forårsaket av disse arkitekturene
- Konvergens og forsvinnende gradientproblemer
- Typer klassiske arkitekturer: Prediksjon av en tidsserie, klassifisering...
- RNN Encoder Dekoder type arkitektur. Bruke en oppmerksomhetsmodell.
- NLP-applikasjoner: ord-/tegnkoding, oversettelse.
- Videoapplikasjoner: prediksjon av det neste genererte bildet av en videosekvens.
Dag 3 – Generasjonsmodeller og Reinforcement Learning
6. Generasjonsmodeller: Variational AutoEncoder (VAE) og Generative Adversarial Networks (GAN).
- Presentasjon av generasjonsmodeller, kobling til CNN sett på dag 2
- Auto-encode: reduksjon av dimensjonalitet og begrenset generering
- Variational Auto-encoder: generasjonsmodell og tilnærming av distribusjon av data. Definisjon og bruk av latent rom. Reparameteriseringstriks. Søknader og observerte grenser
- Generative kontradiktoriske nettverk: grunnleggende prinsipper. To-nettverksarkitektur (generator og diskriminator) med alternerende læring, kostnadsfunksjoner tilgjengelig.
- Konvergens av en GAN og vanskeligheter.
- Forbedret konvergens: Wasserstein GAN, BeGAN. Jordflytteavstand.
- Applikasjoner for å generere bilder eller fotografier, generere tekst, super
Vedtak.
7.DypReinforcement Learning.
- Presentasjon av forsterkende læring: kontroll av en agent i et miljø definert av en stat og mulige handlinger
- Bruke et nevralt nettverk for å tilnærme tilstandsfunksjonen
- Deep Q Learning: opplev replay og applikasjon til kontroll av et videospill.
- Optimaliseringer av læringspolitikken. On-policy && off-policy. Skuespillerkritisk arkitektur. A3C.
- Applikasjoner: kontroll av et enkelt videospill eller et digitalt system.
Krav
Ingeniørnivå