MOC — Нейронные сети

Назначение

Карта базовых архитектурных блоков, моделей и принципов обучения нейронных сетей.

Базовые архитектурные блоки

• Полносвязный слой
• Свёрточный слой
• Рекуррентный слой
• LSTM
• Attention
• Skip connection
• Батч-нормализация

Основные архитектуры

• CNN
• Seq2Seq
• Трансформер
• Автоэнкодер
• GAN
• Диффузионная модель
• Сопоставление потоков

Обучение

• Обратное распространение ошибки
• Обновление параметров
• Изменение скорости обучения
• Регуляризация
• Затухание градиента
• Перенос обучения
• Кросс-энтропия

Рекомендуемый порядок изучения

1. Полносвязный слой
2. Обратное распространение ошибки
3. Свёрточный слой
4. CNN
5. Рекуррентный слой
6. LSTM
7. Attention
8. Seq2Seq
9. Трансформер
10. Автоэнкодер
11. GAN
12. Диффузионная модель

Связанные практические страницы

• Изображения
• Последовательности
• Задачи классификации
• Типовой ML pipeline

Связанные проекты

• AutoEvoExtractor
• Materials ML