Skip to content

ИТМО — 2026.11.02 — Трансформер и компьютерное зрение

329 views · Nov 5, 2026

Это лекция курса «Глубокое обучение», прочитанного на Факультете технологий искусственного интеллекта Университета ИТМО осенью 2026 года. Все материалы, включая слайды, доску и видео, можно найти на странице курса: https://www.sergeynikolenko.ru/courses/dlitmo-fall26 Подписывайтесь на мой телеграм-канал "Sineкура": https://t.me/sinecor Разделы: 0:00 Продолжаем разбор трансформера 1:37 Encoder–decoder 3:58 Self-attention: Q, K, V 5:57 Квадратичная сложность внимания 9:08 Каждый токен видит каждый 12:28 Многоголовое и перекрёстное внимание 15:16 Полносвязные слои и нормализация 18:30 Маскирование и обучение декодера 22:25 Teacher forcing 26:40 Где параметры и вычисления 29:49 Токены и вложения 34:31 Byte-pair encoding 39:12 Размер словаря и цена токенизации 40:18 Зачем нужны позиционные кодировки 46:10 Синусоиды и система счисления 50:11 Что показала Attention Is All You Need 55:02 Вопросы о токенизации 56:53 Как изменился трансформер 58:51 RoPE: вращательные вложения 1:01:43 Нормализация и RMSNorm 1:03:46 SwiGLU и полносвязный слой 1:07:41 KV-кэш 1:10:23 Multi-query и grouped-query attention 1:12:26 FlashAttention и эксперимент 1:16:35 Трансформеры для изображений 1:17:53 VisualBERT 1:20:54 Vision Transformer: картинка как токены 1:23:40 Как обучать ViT 1:26:36 Токен CLS и классификация 1:30:12 Swin Transformer 1:36:52 Детекция объектов и сегментация 1:41:41 Как сформулировать задачу детекции 1:44:52 Как сопоставить ответы с разметкой 1:47:39 IoU и функция ошибки детектора 1:49:06 Selective Search и кандидаты объектов 1:51:26 R-CNN: признаки и отдельные модели 1:56:00 Обсуждение недостатков R-CNN 2:00:17 Fast R-CNN: извлечь признаки один раз 2:03:44 RoI projection и RoI pooling 2:05:49 Faster R-CNN и region proposal network 2:08:28 Anchor boxes и обучение всей сети 2:11:32 Двухэтапные и одноэтапные детекторы 2:13:15 YOLO: You Only Look Once 2:16:32 YOLOv2 и абляционные исследования 2:19:53 Иерархический softmax 2:25:38 Объединение разных разметок классов 2:26:51 Почему трудно находить маленькие объекты 2:29:46 Расширенные свёртки и поле зрения 2:31:21 Детекция на разных масштабах 2:33:55 Feature Pyramid Network 2:36:13 Дисбаланс классов и focal loss 2:40:07 YOLOv3 и дальнейшее развитие 2:41:22 EfficientDet: оптимизация пирамиды 2:44:00 Bag of freebies и bag of specials 2:49:40 Что обсудим в следующий раз

About this video

Editorial review

New channel Sergey Nikolenko: title sample judged 'whole' (Full-length recorded university lectures and research seminars on ML/AI/math taught consistently, with almost no non-tea); passed a second screen for sellers/exam-prep/re-uploads; 1 of 3 sampled transcripts showed teaching, 0 not; every title checked strictly; oEmbed verified.

Video by Sergey Nikolenko, played through YouTube's embedded player.