Course introduction (🗒️presentation, 📝notes, 📽 video)

Lesson 1 (🗒️presentation, 📝notes, 📽 video)

Обзор приложений задач оптимизации, реальных постановок задач оптимизации и результатов.

Практика: задача наименьших квадратов. (💻 code)

Знакомство с современными практическими инструментами для оптимизации и анализа данных.

Практика: работа с библиотекой CVXPY (💻 code)

Сравнение библиотек и фреймворков для машинного обучения.

Практика: сравнение SciPy и CVXPY в задаче условной оптимизации. (💻 code)

Lesson 2 (🗒️presentation, 📝notes, 📽 video)

Матричное дифференцирование 1

Практика: матрично - векторное дифференцирование 1 (💻 code)

Матричное дифференцирование 2

Практика: матрично - векторное дифференцирование 2 (💻 code)

Автоматическое дифференцирование

Практика: работа с библиотеками для автоматического дифференцирования - jax, pytorch, autograd. (💻 code)

Занятие 3 (🗒️presentation, 📝notes, 📽 video)

Выпуклость. Выпуклые множества.

Практика: выпуклость. Выпуклые множества в практических задачах. (💻 code)

Выпуклые функции. Сильно выпуклые функции.

Практика: выпуклые функции. Сильно выпуклые функции. (💻 code)

Занятие 4 (🗒️presentation, 📝notes, 📽 video)

Методы нулевого порядка и примеры задач глобальной оптимизации.

Практика: подбор гиперпараметров модели машинного обучения в Keras с помощью Optuna. (💻 code)

Градиентный спуск. (💻 code)

Практика: реализация метода градиентного спуска и иследование его численных свойств на задаче выбора оптимальных координат. (💻 code)

Методы одномерного поиска. (💻 code)

Практика: использование методов одномерного поиска для подбора гиперпараметров модели. (💻 code)

Занятие 5 (🗒️presentation, 📝notes, 📽 video)

Условия оптимальности. Метод модифицированной функции Лагранжа. Концепция методов барьерных и штрафных функций.

Практика: аналитическое решение задачи наименьших квадратов с ограничениями - равенствами. Поиск аналитического центра множества. Минимизация квадратичной функции с ограничениями - равенствами методо модифицированной функции Лагранжа. (💻 code)