Рекуррентный слой

Коротко

Definition

Рекуррентный слой — это архитектурный блок нейронной сети для обработки последовательностей, в котором состояние на текущем шаге зависит от текущего входа и состояния на предыдущем шаге.

Рекуррентный слой нужен для данных, где важен порядок элементов: текстов, временных рядов, сигналов, событийных историй и других последовательностей.

Главная идея: слой обрабатывает последовательность шаг за шагом и переносит информацию из прошлого через скрытое состояние.

Зачем нужен

Обычный Полносвязный слой получает входной вектор и сразу строит выходной вектор. Он не хранит память о предыдущих шагах.

Рекуррентный слой добавляет память:

• на шаге $t$ он получает текущий вход $x_t$;
• берёт скрытое состояние с предыдущего шага $h_{t-1}$;
• строит новое скрытое состояние $h_t$.

Это позволяет модели учитывать контекст.

Например:

• в тексте значение слова зависит от предыдущих слов;
• во временном ряду текущее значение зависит от прошлых значений;
• в истории действий пользователя следующее действие зависит от предыдущих действий;
• в сигнале важна динамика, а не только отдельное измерение.

Как работает

Базовая формула выхода рекуррентного слоя на шаге $t$:

$$h_t=f(W_{hh}{h}_{t-1}+W_{xh}{x}_t+b)$$

где:

• $x_t$ — вход на текущем шаге;
• $h_{t-1}$ — скрытое состояние с предыдущего шага;
• $h_t$ — новое скрытое состояние;
• $W_{xh}$ — матрица весов для текущего входа;
• $W_{hh}$ — матрица весов для предыдущего скрытого состояния;
• $b$ — вектор смещений;
• $f$ — функция активации.

Смысл двух частей:

• $W_{xh}{x}_t$ обрабатывает текущий вход;
• $W_{hh}{h}_{t-1}$ переносит информацию из прошлого.

Итоговое состояние $h_t$ можно использовать двумя способами:

• как выход на текущем шаге;
• как память, которая передаётся на следующий шаг.

Разворачивание во времени

Рекуррентный слой можно представить как один и тот же блок, применяемый много раз к разным элементам последовательности.

Для последовательности:

$$x=(x_1,x_2,\dots ,x_T)$$

слой последовательно вычисляет:

$$h_1=f(W_{hh}{h}_0+W_{xh}{x}_1+b)$$ $$h_2=f(W_{hh}{h}_1+W_{xh}{x}_2+b)$$ $$h_3=f(W_{hh}{h}_2+W_{xh}{x}_3+b)$$

и так далее до $h_T$.

Важно: веса $W_{xh}$ и $W_{hh}$ одни и те же на всех шагах. Это называется shared weights.

Обучаемые параметры

В процессе обучения изменяются:

• матрица весов для входа $W_{xh}$;
• матрица весов между шагами $W_{hh}$;
• вектор смещений $b$;
• дополнительные параметры, если используется более сложная рекуррентная ячейка.

Для базового RNN-слоя число параметров зависит от:

• размерности входа;
• размерности скрытого состояния;
• наличия bias.

Если вход имеет размерность $d_x$, а скрытое состояние — $d_h$, то:

$$W_{xh}\in {\mathbb{R}}^{d_h\times d_x}$$ $$W_{hh}\in {\mathbb{R}}^{d_h\times d_h}$$ $$b\in {\mathbb{R}}^{d_h}$$

Как обучается

Рекуррентные слои обучаются с помощью обратного распространения ошибки, но с учётом временной структуры. Такой вариант называется backpropagation through time.

Идея:

1. Модель проходит последовательность вперёд и сохраняет скрытые состояния.
2. Ошибка считается на одном или нескольких шагах.
3. Градиент распространяется назад через шаги последовательности.
4. Обновляются общие веса $W_{xh}$, $W_{hh}$ и $b$.

Проблема в том, что при длинных последовательностях градиент проходит через много шагов. Из-за этого могут возникать:

• затухающие градиенты;
• взрывающиеся градиенты;
• трудности с обучением долгих зависимостей.

Именно поэтому на практике часто используют не простую RNN, а более устойчивые варианты, например LSTM.

Гиперпараметры

Основные гиперпараметры рекуррентного слоя:

• размер скрытого состояния;
• число рекуррентных слоёв;
• тип рекуррентной ячейки;
• направление обработки: однонаправленная или bidirectional;
• dropout между слоями;
• длина последовательности или максимальная длина;
• способ использования выхода: последний шаг, все шаги или pooling по шагам.

Размер скрытого состояния определяет, сколько информации слой может хранить в памяти. Чем он больше, тем выразительнее модель, но тем выше риск переобучения и вычислительная стоимость.

Где используется

Рекуррентные слои используются для последовательных данных:

• классификация текста;
• прогнозирование временных рядов;
• обработка сигналов;
• распознавание речи;
• sequence labeling;
• машинный перевод;
• генерация текста;
• анализ истории действий пользователя.

Исторически рекуррентные слои были базовым инструментом для NLP и временных рядов. Сейчас во многих задачах их вытеснили трансформеры, но RNN и LSTM всё ещё полезны для небольших моделей, потоковых данных и задач с ограниченными ресурсами.

Связанные архитектуры

Рекуррентный слой связан с несколькими архитектурами:

• LSTM — рекуррентная архитектура с механизмами управления памятью;
• GRU — упрощённый вариант gated recurrent unit;
• Seq2Seq — архитектура encoder-decoder для преобразования последовательностей;
• Attention — механизм выбора важных элементов последовательности;
• Трансформер — архитектура, которая во многих задачах заменила RNN за счёт self-attention.

В простых RNN память передаётся одним скрытым состоянием. В LSTM дополнительно используется cell state, который помогает хранить информацию на длинных интервалах.

Типичные ошибки понимания

Думать, что RNN хорошо помнит всё прошлое

Теоретически рекуррентная сеть может передавать информацию через много шагов. На практике простая RNN часто плохо обучается на длинных зависимостях из-за затухания градиента.

Путать скрытое состояние и выход

В простых RNN скрытое состояние часто одновременно является выходом слоя. Но в более сложных архитектурах выход и внутреннее состояние могут различаться.

Забывать, что веса общие для всех шагов

Рекуррентный слой не имеет отдельные веса для каждого шага последовательности. Один и тот же набор весов применяется повторно на всех шагах.

Использовать случайное train-test split для временных рядов

Если последовательность связана со временем, случайное перемешивание может привести к data leakage. Для временных рядов часто нужно обучаться на прошлом и проверяться на будущем.

Считать RNN всегда лучшим выбором для последовательностей

Рекуррентные слои хорошо подходят для некоторых последовательных задач, но не всегда являются оптимальными. Для длинных текстов и многих NLP-задач чаще используют трансформеры.

Минимальный пример

Пусть есть последовательность из трёх элементов:

$$x=(x_1,x_2,x_3)$$

Рекуррентный слой обрабатывает её так:

$$h_1=f(W_{hh}{h}_0+W_{xh}{x}_1+b)$$ $$h_2=f(W_{hh}{h}_1+W_{xh}{x}_2+b)$$ $$h_3=f(W_{hh}{h}_2+W_{xh}{x}_3+b)$$

Если задача — классификация всей последовательности, можно взять последнее скрытое состояние $h_3$ и подать его в Полносвязный слой:

$$\hat{y}=\text{Linear}(h_3)$$

Например, для классификации отзыва модель читает слова по порядку, обновляет скрытое состояние и в конце решает, положительный отзыв или отрицательный.

Практические замечания

При работе с рекуррентными слоями важно учитывать:

1. Длины последовательностей.
2. Padding и masks.
3. Правильный порядок элементов.
4. Способ разделения train и test.
5. Риск затухания градиента.
6. Нужен ли bidirectional layer.
7. Использовать последний hidden state или все hidden states.
8. Достаточен ли простой RNN или лучше использовать LSTM.

В учебных задачах простой рекуррентный слой полезен для понимания идеи памяти в нейросетях. В реальных задачах часто стоит начинать с LSTM, GRU или transformer-based модели.

Связанные понятия

• Seq2Seq
• Attention
• Обновление параметров
• Задачи классификации
• Задачи регрессии