Антон Витвицкий, Дмитрий Колесников, Борис Цейтлин Компьютерное зрение

Подробное описание: Антон Витвицкий, Дмитрий Колесников, Борис Цейтлин Компьютерное зрение

OTUS Антон Витвицкий, Дмитрий Колесников, Борис Цейтлин Компьютерное зрение. Advanced (2025)

Для кого этот курс?
Для опытных специалистов в области компьютерного зрения (от 1 до 3 лет опыта), которые желают расширить свой кругозор в CV, упорядочить и актуализировать знания, углубиться в специфичные задачи компьютерного зрения.
Для тех, кто самостоятельно освоил CV, но еще не имел возможносоти получить коммерческого опыта в этой сфере.
Для опытных питонистов, знакомых с компьютерным зрением и нейросетями.
Для тех, кто прошел курс «Компьютерное зрение» в Отус.
Необходимые знания
Уверенное знание Python
Понимание работы нейросетей и методов глубокого обучения
Базовые знания по компьютерному зрению

Что даст вам этот курс?
Продвинутые знания в области компьютерного зрения
Глубокую теорию и понятную практику от ведущих экспертов в области компьютерного зрения
Опыт работы с актуальными технологиями: PyTorch 2.0, Vision Transformers, Diffusion models, Generative AI, SAM, action detection, geometry computer vision
Выпускной проект, который можно будет прикрепить к резюме
Вы сможете
Решать любые задачи компьютерного зрения от стадии идеи до продакшена,
Понимать, как решать ту или иную задачу
Понимать, какими инструментами воспользоваться и какие сложности и подводные камни могут при этом возникнуть
Доводить решения от стадии идей и эксперементов до полноценного продакшен кода
Программа:

Рабочее окружение и библиотеки для CV

Начальный модуль посвящён настройке рабочего окружения и установке библиотек, нужных для обучения на курсе.
Вводная лекция: задачи, инструменты и программа курса
PyTorch 2.x: стандартные датасеты и модели torchvision
Библиотеки компьютерного зрения: OpenCV, Kornia, Hugging Face, OCR
Нейронные сети и глубокое обучение

Знакомство с архитектурами нейронных сетей, применяемых в компьютерном зрении, от свёрточных до современных трансформеров.
Эволюция свёрточных сетей: от AlexNet до EfficientNet
Адаптивные методы градиентного спуска
Трансформеры в задачах зрения
Self-Supervised Learning: SimCLR, BYOL, FixMatch, MAE, DINO
Стандартные задачи CV

Модуль посвящён основным задачам компьютерного зрения — детекции, трекингу, ре-идентификации и сегментации.
Object Detection: постановка задачи, метрики, семейство R-CNN
Object Detection: проблемы многомасштабности, семейство YOLO
Сегментация: продвинутые методы, 3D-сегментация
Pose Estimation: 2D и 3D
Face Recognition: современные подходы (SphereFace, ArcFace, CosFace)
Object Tracking и ReID
Выбор темы и организация проектной работы
Генеративные модели

Модуль полностью посвящён генеративным моделям искусственного интеллекта — от автоэнкодеров и GAN до диффузионных и мультимодальных систем.
Вариационные автоэнкодеры (VAE)
GAN: постановка задачи и обзор архитектур
Диффузионные модели
Stable Diffusion. Multimodal text-to-image generation: IP-Adapter, ControlNet
Generative Video Models: Stable Video Diffusion, Gen2, MAKE-A-VIDEO
Multimodal image-to-text generation и visual QA
Продвинутые методы CV

Модуль посвящён современным задачам и инструментам компьютерного зрения — от SAM до стереозрения и SLAM.
Zero-Shot Learning подходы
Стереозрение и калибровка камеры
Геометрические методы в компьютерном зрении
3D Reconstruction: MVSNet, NeRF
SLAM и архитектуры моделей компьютерного зрения для автономного транспорта
Распознавание и детекция действий на видео
Оптимизация, инференс и подготовка к продакшену

Практический модуль об оптимизации моделей и их развёртывании на сервере.
Инференс на сервере: TensorRT, ONNX, Triton
Ускорение работы с видео для инференса нейросетей (бонусное занятие)
Архитектура проектов по видеоаналитике (бонусное занятие)
Бонусные занятия

Модуль даёт базовые знания и концепции в нейронных сетях и глубоком обучении. Полезен для тех, кто хочет освежить и актуализировать знания, а также для новичков в нейросетях. Рекомендуется пройти перед основными лекциями.
Сверточные нейронные сети: операции свертки, транспонированной свертки, пуллинг
Подготовка и аугментация данных
Градиентный спуск и backpropagation
Переобучение и регуляризация
Взрывы и затухание градиентов