Skip to content

ИТМО -- 2026.10.05 -- Свёрточные нейронные сети

590 views · Oct 6, 2026

Это лекция из курса "Глубокое обучение", который читается в Университете ИТМО осенью 2026 года. Все материалы этой и других лекций курса (слайды, доска, ноутбуки с кодом) размещены по адресу: https://www.sergeynikolenko.ru/courses/dlitmo-fall26 Подписывайтесь на мой телеграм-канал "Sineкура": https://t.me/sinecor Разделы: 0:00 Что осталось от обучения сетей и что разберём сегодня 2:10 Инициализация весов: где начинать градиентный спуск 5:09 История предобучения без учителя 9:51 Дисперсия активаций: расчёт на доске 15:13 Взрывающиеся и затухающие градиенты 20:14 Инициализация Ксавье и потерянный множитель 25:51 Функции активации и инициализация Хе 29:12 Ландшафт ошибки и связанные локальные минимумы 33:13 Нормализация по мини-батчам 34:59 Сдвиг переменных: чёрные и рыжие котики 36:48 Внутренний сдвиг переменных 40:04 Откуда брать среднее и дисперсию 42:44 Batch normalization в графе вычислений 46:27 Обучаемые масштаб и смещение 48:47 Почему нормализация действительно помогает 52:10 Batch norm, layer norm и другие варианты 57:25 Вопрос: как нормализовать на тесте 59:12 Свёрточные сети и зрительная кора 1:04:18 Опыты Хьюбела и Визеля: от черты к сложным признакам 1:10:00 Neocognitron Фукусимы и сети Лекуна 1:11:56 Главная идея CNN: одинаковые веса для разных окон 1:16:49 Свёртка на доске: входы, выходы и тензоры весов 1:24:10 Свёртки для текста и видео 1:26:03 Размер выходного тензора 1:29:59 Padding: как сохранить геометрию 1:30:59 Receptive field: когда признак увидит всю картинку 1:33:16 Max pooling и average pooling 1:35:53 LeNet и голова классификации 1:38:51 Stride: сокращаем размерность свёрткой 1:42:49 Вопрос: как умножаются входы и веса 1:44:51 Короткий перерыв 1:45:17 Продолжаем: считаем параметры LeNet 1:55:53 Один вход даёт много обучающих окон 1:57:41 ImageNet и революция AlexNet 2:01:17 AlexNet на двух GPU 2:03:09 Аугментация данных 2:08:03 VGG: маленькие свёртки вместо больших 2:12:46 Inception: сеть внутри сети 2:18:03 Почему глубокой сети трудно обучаться 2:25:24 Остаточные связи и ResNet 2:32:00 Остаточные связи в современных трансформерах 2:32:59 Bottleneck: экономия через узкое горлышко 2:40:01 Параллельные проекции и split-transform-merge 2:45:13 ResNeXt и Inception ResNet 2:49:16 MobileNet и depthwise-свёртки 2:50:27 EfficientNet: точность, размер и поиск архитектур 2:54:53 Compound scaling: масштабируем сеть вместе 3:02:32 Итоги и что изучать дальше

About this video

Editorial review

New channel Sergey Nikolenko: title sample judged 'whole' (Full-length recorded university lectures and research seminars on ML/AI/math taught consistently, with almost no non-tea); passed a second screen for sellers/exam-prep/re-uploads; 1 of 3 sampled transcripts showed teaching, 0 not; every title checked strictly; oEmbed verified.

Video by Sergey Nikolenko, played through YouTube's embedded player.