Details

Title	Машинное обучение в вероятностной постановке: учебник: [для студентов, изучающих машинное обучение, а также специалистов в области анализа данных]
Creators	Неделько Виктор Михайлович
Organization	Новосибирский гос. университет. Механико-математический фак.
Imprint	Новосибирск: Издательско-полиграфический центр НГУ, 2026
Electronic publication	Новосибирск: Издательско-полиграфический центр НГУ, 2026
Collection	Издания НГУ
Subjects	Обучение машинное ; Анализ данных компьютерный ; Труды преподавателей и сотрудников НГУ
LBC	А333.1я73-1я04
Document type	Tutorial
Language	Russian
Rights	Свободный доступ из сети Интернет (чтение, цитирование)
Additionally	New arrival
Record key	RU\NSU\elcopy\5631
Record create date	6/2/2026

Allowed Actions

Read

Group	Anonymous
Network	Internet

Network	User group	Action
Internet	All

Введение
Метод прецедентов
- Метод ближайшего соседа в задаче классификации
- Случай вещественной целевой переменной
- Использование весовой функции
- Характеристика метода прецедентов
  - Варианты метода прецедентов
  - Свойства метода прецедентов
- Примеры кода
- Контрольные вопросы
(Квази)линейные методы классификации
- Гипотеза нормальности распределений
  - Одномерный случай
  - Многомерный случай
  - Оценивание параметров
  - Фильтрация нетипичных значений
  - Свойства метода
- Дискриминант Фишера
  - Идея метода
  - Свойства метода
- Логистическая регрессия
  - Идея метода
  - Оценивание параметров
  - Функция потерь
  - Свойства метода
- Наивный байесовский классификатор
  - Случай двух классов
  - Случай нескольких классов
  - Ряд Бахадура
  - Свойства метода
- Метод опорных векторов
  - Постановка задачи классификации
  - Линейно разделимая выборка
  - Линейно неразделимая выборка
  - Двойственная задача
  - Ядра и спрямляющие пространства
  - Беспризнаковая классификация
  - Задача безусловной оптимизации
  - Свойства метода
- Характеристика линейных методов
- Примеры кода
  - Визуализация решений
  - 99993em.5Кодирование категориальных переменных и наивный байесовский классификатор
- Контрольные вопросы
Логические методы классификации
- Логические закономерности
  - Понятие закономерности
  - Критерии качества закономерности
  - Решающие списки
- Решающие деревья
  - Понятие дерева решений
  - Построение дерева решений
  - Критерии ветвления
- Выводы
- Примеры кода
- Контрольные вопросы
Методы, основанные на композициях
- Композиции решающих функций
- Независимые подвыборки
  - Бэггинг
  - Случайный лес
  - Свойства
- Бустинг
  - Алгоритм AdaBoost
  - Свойства
- Нейронные сети
  - Схема нейрона
  - Аппроксимирующая способность сети
  - Обучение сети
  - Архитектуры нейронных сетей
  - Глубокое обучение
  - Бустинг и нейронные сети
- Ансамбли на основе различных методов
  - Простое голосование
  - Стэкинг
- Выводы
  - Преимущества ансамблей
  - Бустинг и случайный лес
- Примеры кода
  - Подбор сложности ансамбля
  - Визуализация нейронной сети
- Контрольные вопросы
Градиентный бустинг
- Алгоритм AdaBoost
  - Непосредственная оптимизация экспоненциальной функции потерь
  - AdaBoost как градиентный бустинг
  - Сходимость процесса бустинга
- Градиентный бустинг
- Метод XGBoost
- Свойства бустинга
  - Представление бустинга
  - Запуск бустинга на распределениях
  - Модельный пример
  - Понятие отступа
- Выводы
- Примеры кода
- Контрольные вопросы
Оценивание качества решений
- Постановка задачи
  - Точечные оценки риска
  - Формальная постановка
- Контрольная выборка
  - Точечная оценка
  - Доверительный интервал
  - Усреднённые оценки
  - Случай произвольной функции потерь
  - Свойства оценки по контрольной выборке
- Отложенная выборка
  - Определение
  - Несмещённость оценки hold-out
  - Вероятностные характеристики модели
  - Точность оценки hold-out
- Скользящий экзамен
  - Определение
  - Несмещённость скользящего экзамена
  - Точность скользящего экзамена
  - Дисперсия скользящего экзамена
  - Пример одинаково распределённых классов
  - Статистические оценки
  - Разновидности скользящего экзамена
  - Оценка out-of-bag
  - Свойства оценки скользящего экзамена
- Скользящий экзамен и дисперсионный анализ ✩
  - Задача оценивания зависимостей
  - Гипотеза однородности
  - Байесовская модель
  - Усреднённое решение
  - Обсуждение результатов
- Практические рекомендации
  - Оценивание дисперсии
  - Валидация и тест
- Выводы
- Примеры кода
- Контрольные вопросы
Эмпирический риск
- Понятие эмпирического риска
  - Основные понятия
  - Смещённость эмпирического риска
- Число разбиений выборки
  - Разбиения линейными функциями
  - Комбинаторная размерность
- Проверка нулевой гипотезы
  - Статистический критерий
  - Неполная разделимость
- Оценки Вапника–Червоненкиса
  - Доверительный интервал
  - Использование функции роста
  - Неулучшаемость оценок ✩
  - Точные оценки для гистограммного классификатора
- Доверительный интервал для риска
  - Качество точечных оценок
  - Доверительный интервал для риска
  - Свойства эмпирического риска
- Примеры кода
- Контрольные вопросы
Задача машинного обучения
- Критерии качества
  - Целевая функция потерь
  - Критерии точности классификации
  - Кривая ошибок
  - Функция потерь для оценки вероятности
  - Функция потерь для непрерывной целевой переменной
- Теория статистической устойчивости
  - Разложение ошибки
  - Меры адекватности и устойчивости
  - Сложность модели
  - Процесс обучения
- Смещение и разброс
  - Bias-variance decomposition
  - Универсальное разложение
  - Логарифмическая функция потерь
  - Разложение для kNN
  - Свойства разложения
- 99993em.5Общая постановка задачи машинного обучения
  - Модели
  - Замечания о терминах
  - Задача построения решающей функции
  - Связь с задачей проверки гипотез
  - Классификация методов машинного обучения
- 99993em.5Сравнение методов построения решающих функций
  - <<Полигон>> — 1980-е
  - Архив UCI
  - <<Полигон>> — 2000-е
  - Платформа Kaggle
  - Синтетические данные
- Понятие оптимальности метода
  - Проблема оптимальности методов построения решающих функций
  - Минимаксный подход к оцениванию качества
  - Выбор классов распределений
- Некоторые задачи машинного обучения
- Выводы
- Примеры кода
- Контрольные вопросы
Применение теории вероятностей
- Вероятностная интерпретация
- Вероятность как математическое понятие
  - Аксиоматическое определение
  - Закон больших чисел
  - Частотное определение вероятности
  - Условное распределение
- Вероятность как эмпирическое понятие
  - Эмпирические факты
  - Достоверность и практическая достоверность
- Случайность как незнание
  - Парадокс конвертов
  - Байесовский подход
- Применимость вероятностных моделей
  - Статистическая устойчивость
  - Проблема объективного сравнения подходов
  - <<Измерение>> вероятности
- Связанные понятия
  - Случайность и Колмогоровская сложность
  - Детерминированность и случайность
- Обсуждение
  - Выводы
  - Замечания
Некоторые задачи анализа данных
- Методы глобальной оптимизации
  - Задача поиска глобального экстремума
  - Формальная постановка
  - Теорема о небесплатном завтраке
  - Алгоритм СПА
- Кластерный анализ
  - Метод k-средних
  - Оценивание смеси распределений
  - Иерархическая кластеризация
- Анализ временных рядов
- Линейная регрессия
  - Постановка задачи
  - Сингулярное разложение
  - Регуляризация
  - Задача прогнозирования
- Использование экспертных знаний
  - Постановка задачи
  - Байесовский подход
  - 99993em.5Статистическая интерпретация экспертной информации
  - Примеры
- Некоторые задачи и приёмы решения
  - Пример Штейна
  - Прогнозирование нескольких переменных
  - Проблема target leaks
  - Заполнение пропусков
  - Обобщение задачи построения регресии
  - Кодирование категориальных переменных
  - Визуализация многомерных данных
  - Рекомендации по решению задач анализа данных
  - Вопросы на собеседованиях
- Контрольные вопросы
Проблемы искусственного интеллекта
- Большие языковые модели
  - Тестирование возможностей
  - Перспективы использования
  - Перспективы развития
- Историческая ретроспектива ИИ
  - Краткий обзор
  - Экспертные системы
- Естественный интеллект
  - Интеллект и сознание
  - Виды познания
- Примеры кода
Заключение
Glossarium
Литература

...