mrsndmn/bm2021

Курс Байесовские методы анализа данных, ФТиАД 2021

Где и когда

Занятия проходят по субботам, 13:00 — 16:00, онлайн.

Ссылки

Чат в telegram: https://t.me/joinchat/wEUK966fHAk0Njdi

Здесь будет Anytask курса (инвайт ?)

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

• Домашние работы (практика на Python/NumPy и теоретические задачи, ориентировочно две работы)
• Контрольная работа (тест) в середине модуля
• Экзамен (письменная работа) в конце модуля - блокирующий!

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

O_{итоговая} = 0.5 * О_{домашние задания} + 0.2 * О_{контрольная работа} + 0.3 * О_{экзамен}

при условии получения положительной оценки за экзамен (не менее 3.5 баллов).

Оценка за домашнюю работу вычисляется как среднее по домашним заданиям. К итоговой оценке применяется арифметическое округление.

После занятий могут выдаваться необязательные теоретические или практические задания для самостоятельной работы. Эти задания не сдаются и не проверяются. Однако задачи из необязательных теоретических заданий могут встретиться в контрольной работе или экзамене (или похожие задачи). Необязательные практические задания выдаются для желающих дополнительно потренироваться в реализации изучаемых методов.

Экзамен

Вопросы к экзамену 2020 года (в этом году пока не обновлялись!)

Экзамен письменный, работа состоит из теоретических вопросов из списка вопросов (возможны измененные формулировки) и теоретических задач. Продолжительность написания: 1 час 30 минут. На экзамене можно пользоваться одним листом размера А6 (четверть А4), написанным от руки.

Контрольная работа

В середине курса проводится контрольная работа в виде теста по материалам нескольких первых занятий.

Правила сдачи домашних заданий

У домашнего задания есть два дедлайна: мягкий и жесткий. Жесткий дедлайн обычно через неделю после мягкого. За сдачу после мягкого дедлайна применяется штраф -1 балл за каждый день просрочки. После жесткого дедлайна сдать работу нельзя.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам. Это очень строгое правило!

Материалы занятий

Приведены материалы прошлого года, по мере необходимости они могут обновляться.

Занятие 1. Введение в байесовские методы. Сопряженные распределения

• Презентация
• Задачи на занятии
• Задание для самостоятельной работы (кроме пункта 6)

Занятие 2. Байесовская линейная регрессия

• Презентация

Занятие 3. Вариационный вывод и байесовские нейронные сети

• Презентация 1 (слайды 82-102)
• Презентация 2

Занятие 4. Методы Markov Chain Monte Carlo

• Презентация
• Задание для самостоятельной работы

Занятие 5. Гауссовские процессы и байесовская оптимизация

• Презентация

Занятие 6. Модели с латентными переменными и EM-алгоритм

• Презентация
• Задание для самостоятельной работы

Занятие 7. Вариационные автокодировщики

• Презентация

Задания

• Задание 1. Мягкий дедлайн: 26 сентября 23:59, жесткий дедлайн: 3 октября 23:59.

Полезные материалы

Книги:

• Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
• Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
• Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
• Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
• Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
• Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.

Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений.

Памятка по теории вероятностей.