arekkn/2022l-wb-tl

Case Study course for DS studies in Summer 2021/2022

Warsztaty Badawcze - grupa 2022L-WB-TL

@ptomaszewska

Harmonogram zajęć

Nr	Temat
1	Kwestie organizacyjne (plan zajęć, system oceniania). Wstęp do sieci neuronowych - architektura MLP. Omówienie kodu.
2	Pojęcie transferu wiedzy w sieciach neuronowych (szersze niż "transfer learning").
3	Omówienie kodu algorytmów z obszaru przenoszenia wiedzy.
4	Idea i kod sieci konwolucyjnych, w tym popularne architektury: Resnet, VGG, DenseNet oraz zagadnienia augmentacji danych i zjawisko overfittingu.
5	Debaty studenckie na tematy z obszaru transferu wiedzy w sieciach neuronowych.
6	Prezentacje w ramach pierwszego kamienia milowego.
7	Framework Keras w wersji niskopoziomowej + analogia do Pytorcha (w tym pytorch.lightning). Wady i zalety dwóch frameworków na przykładzie Relation Network.
8	Algorytmy: MLP-Mixer, Knowledge Distillation - skeptical student.
9	Algorytm Multiple-instance learning.
10	Algorytmy: Cross-stitch networks, GradNorm.
11	Prezentacje studentów w ramach kamienia milowego nr 2.
12	Prezentacje studentów nt. najnowszych artykułów z Arxiv z obszaru transferu wiedzy.
13	Algorytm adaptacji w przypadku continual learning.
14	Omówienie nagrań z prezentacjami studentów.
15	Podsumowanie przedmiotu.

Postęp prac projektowych - terminy weryfikacji

• kamień_milowy_1a: 31.03.2022
• kamień_milowy_1b: 07.04.2022
• kamień_milowy_2: 05.05.2022

Punktacja:

• praca nad projektem (48 pkt.):
  • kamień milowy_1a: wstępny przegląd literatury z wybranego obszaru transferu wiedzy, harmonogram prac i podział obowiązków, prezentacja (11 pkt.)*
  • aktywność_1: przygotowanie i poprowadzenie debaty studenckiej (3 pkt.)
  • kamień milowy_1b: wstępny opis literatury w ramach artykułu (5 pkt.)*
  • kamień milowy_2: (17 pkt. = 10 pkt. + 7 pkt.*)
  • aktywność_2: opracowanie na zajęciach jednego z najnowszych artykułów na Arxiv pod kątem (Why?, What?, How?), prezentacja (5 pkt.)
  • aktywność_3: recenzja prezentacji w ramach aktywności 2 (2 pkt.)
  • aktywność_4: recenzja prezentacji finalnych (5 pkt.)
• prezentacja końcowa (16 pkt.*)
• raport końcowy (32 pkt.*)
• stosowanie dobrych praktyk wykorzystania GitHub (4 pkt.*)

* rozliczane grupowo