Машинное обучение

Константин Вячеславович Воронцов, Яндекс

Лектор: Константин Вячеславович Воронцов, старший научный сотрудник Вычислительного центра РАН. Заместитель директора по науке ЗАО "Форексис". Заместитель заведующего кафедрой «Интеллектуальные системы» ФУПМ МФТИ. Доцент кафедры "Математические методы прогнозирования" ВМиК МГУ. Эксперт компании "Яндекс". Доктор физико-математических наук.

Курс "Машинное обучение" является одним из основных курсов Школы, поэтому он является обязательным для всех студентов ШАД.

Лекция 1. Основные понятия и примеры прикладных задач

Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные.

Типы задач: классификация, регрессия, прогнозирование, кластеризация.

Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.

Примеры прикладных задач.

Лекция 2. Байесовские алгоритмы классификации, непараметрические методы

Вероятностная постановка задачи классификации. Основные понятия: априорная вероятность, апостериорная вероятность, функция правдоподобия класса.

Функционал среднего риска. Ошибки I и II рода.

Оптимальный байесовский классификатор.

Оценивание плотности распределения: три основных подхода.

Наивный байесовский классификатор.

Непараметрическое оценивание плотности распределения по Парзену-Розенблатту. Выбор функции ядра. Выбор ширины окна, переменная ширина окна. Метод парзеновского окна.

Непараметрический наивный байесовский классификатор.

Робастное оценивание плотности. Цензурирование выборки (отсев объектов-выбросов).

Лекция 3. Параметрические методы, нормальный дискриминантный анализ

Многомерное нормальное распределение: геометрическая интерпретация, выборочные оценки параметров: вектора математического ожидания и ковариационной матрицы.

Квадратичный дискриминант. Вид разделяющей поверхности. Подстановочный алгоритм, его недостатки и способы их устранения.

Линейный дискриминант Фишера.

Проблемы мультиколлинеарности и переобучения. Регуляризация ковариационной матрицы.

Метод редукции размерности.

Модель смеси распределений.

EM-алгоритм: основная идея, понятие скрытых переменных, Е-шаг, М-шаг. Конструктивный вывод формул М-шага (без обоснования сходимости).

Лекция 4. EM-алгоритм и сеть радиальных базисных функций

Критерий останова, выбор начального приближения, выбор числа компонент.

Стохастический EM-алгоритм.

Смесь многомерных нормальных распределений. Сеть радиальных базисных функций (RBF) и применение EM-алгоритма для её настройки.

Метод ближайших соседей (kNN) и его обобщения.

Подбор числа k по критерию скользящего контроля.

Лекция 5. Метрические алгоритмы классификации

Обобщённый метрический классификатор, понятие отступа.

Метод потенциальных функций, градиентный алгоритм.

Отбор эталонных объектов. Псевдокод: алгоритм СТОЛП.

Функция конкурентного сходства, алгоритм FRiS-СТОЛП.

Биологический нейрон, модель МакКаллока-Питтса.

Линейный классификатор, понятие отступа, непрерывные аппроксимации пороговой функции потерь.

Лекция 6. Линейные алгоритмы классификации

Квадратичная функция потерь, метод наименьших квадратов, связь с линейным дискриминантом Фишера.

Метод стохастического градиента и частные случаи: адаптивный линейный элемент ADALINE, перcептрон Розенблатта, правило Хэбба.

Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).

Гипотеза экспоненциальности функций правдоподобия классов.

Теорема о линейности байесовского оптимального классификатора.

Оценивание апостериорных вероятностей классов с помощью сигмоидной функции активации.

Логистическая регрессия. Принцип максимума правдоподобия и логарифмическая функция потерь.

Метод стохастического градиента, аналогия с правилом Хэбба.

Лекция 7. Метод опорных векторов (SVM)

Оптимальная разделяющая гиперплоскость. Понятие зазора между классами (margin). Случаи линейной разделимости и отсутствия линейной разделимости.

Связь с минимизацией регуляризованного эмпирического риска. Кусочно-линейная функция потерь.

Задача квадратичного программирования и двойственная задача. Понятие опорных векторов.

Рекомендации по выбору константы C.

Функция ядра (kernel functions), спрямляющее пространство, теорема Мерсера.

Способы конструктивного построения ядер. Примеры ядер.

Сопоставление SVM с гауссовским ядром и RBF-сети.

Лекция 8. Линейные методы классификации: обобщения и обзор

Теоретические обоснования различных непрерывных функций потерь и различных регуляризаторов.

Байесовский подход. Принцип максимума совместного правдоподобия данных и модели.

Некоторые разновидности регуляризаторов, применяемые на практике. Квадратичный (L2) регуляризатор. L1- и L0- регуляризаторы и их связь с отбором признаков.

Метод релевантных векторов.

Сложностный подход. Радемахеровская сложность и некоторые её свойства. Верхняя оценка вероятности ошибки для линейных классификаторов.

Лекция 9. Методы восстановления регрессии

Задача восстановления регрессии, метод наименьших квадратов.

Одномерная непараметрическая регрессия (сглаживание): оценка Надарая-Ватсона, выбор ядра и ширины окна сглаживания.

Многомерная линейная регрессия. Сингулярное разложение.

Регуляризация: гребневая регрессия и лассо Тибширани.

Метод главных компонент и декоррелирующее преобразование Карунена-Лоэва.

Робастная регрессия: простой алгоритм отсева выбросов LOWESS.

Лекция 10. Прогнозирование временных рядов

Аддитивная и мультипликативная модели временного ряда. Тренд, сезонность, календарные эффекты.

Адаптивные модели: экспоненциальное сглаживание, модели Хольта-Уинтерса и Тейла-Вейджа.

Скользящий контрольный сигнал и модель Тригга-Лича.

Адаптивная селекция и композиция моделей прогнозирования.

Примеры прикладных задач: прогнозирование трафика, числа посещений, объёмов продаж.

Лекция 11. Нейронные сети

Структура многослойной нейронной сети. Функции активации.

Проблема полноты. Задача исключающего или. Полнота двухслойных сетей в пространстве булевских функций.

Алгоритм обратного распространения ошибок. Формирование начального приближения. Проблема паралича сети.

Методы оптимизации структуры сети. Выбор числа слоёв и числа нейронов в скрытом слое. Постепенное усложнение сети. Оптимальное прореживание сети (optimal brain damage).

Лекции 12+:
Алгоритмы кластеризации

Методы частичного обучения

Композиции классификаторов. Бустинг

Композиции классификаторов. Бустинг (продолжение)

Оценки обобщающей способности

Методы отбора признаков. Отбор признаков

Логические алгоритмы классификации

Логические алгоритмы классификации. Решающие деревья

Логические алгоритмы классификации. Взвешенное голосование

Поиск ассоциативных правил

Коллаборативные итерации

Тематическое моделирование

Тематическое моделирование. Часть 2

Обучение с подкреплением

Dates:
Course properties:
  • Free:
  • Paid:
  • Certificate:
  • MOOC:
  • Video:
  • Audio:
  • Email-course:
  • Language: Russian Ru

Reviews

No reviews yet. Want to be the first?

Register to leave a review

Show?id=n3eliycplgk&bids=695438
Included in selections:
Small-icon.hover Machine Learning
Machine learning: from the basics to advanced topics. Includes statistics...
NVIDIA
More on this topic:
Extpicture Метрология, стандартизация, сертификация и управление качеством
Курс предназначен для студентов ВУЗов, осуществляющих подготовку по специа...
Logo Введение в разработку мультимедийных приложений с использованием библиотек OpenCV и IPP
Курс предусматривает ознакомление с основными задачами, моделями и методами...
Logo Разработка мультимедийных приложений с использованием библиотек OpenCV и IPP
Курс предусматривает ознакомление с основными задачами, моделями и методами...
Logo Введение в аналитику больших массивов данных
Курс представляет возможность познакомиться с основными понятиями в области...
Medium_69960152852960 Международный аграрный менеджмент
Успешное и эффективное ведение сельского хозяйства требует хорошего менеджм...
More from 'Computer Science':
Cf4c6c5e92f9469c8af342465d00a462 Практический анализ данных
Практический курс по анализу данных, включающий в себя максимально полезные...
Netology2016 Новогодняя распродажа в Нетологии
Скидка на ВСЕ курсы 2016 руб! Электронная коммерция и SMM, веб-дизайн и HTML...
150x150 Курсы информационных технологий
Компания «Яндекс» регулярно проводит набор на Курсы информационных технолог...
B-teaser-0 Алгоритмы и структуры данных поиска
Лектор: Максим Александрович Бабенко, заместитель директора отделения computer...
B-teaser-0 Параллельные и распределенные вычисления
Лектор: Олег Викторович Сухорослов, старший научный сотрудник Центра грид-т...
More from 'Yandex':
150x150 Курсы информационных технологий
Компания «Яндекс» регулярно проводит набор на Курсы информационных технолог...
B-teaser-0 Алгоритмы и структуры данных поиска
Лектор: Максим Александрович Бабенко, заместитель директора отделения computer...
B-teaser-0 Параллельные и распределенные вычисления
Лектор: Олег Викторович Сухорослов, старший научный сотрудник Центра грид-т...
B-teaser-0 Дискретный анализ и теория вероятностей
Обязательный курс первого семестра для отделения Computer Science. Препо...
120x72 Школа разработки интерфейсов
Школа разработки интерфейсов (ШРИ) организована компанией Яндекс в 2012 год...

© 2013-2019