Обратное распространение ошибки

Коротко

Definition

Обратное распространение ошибки — это алгоритм вычисления градиентов функции потерь по параметрам нейронной сети с помощью последовательного применения правила цепочки от выхода модели к её ранним слоям.

Backpropagation не является отдельной моделью. Это способ эффективно посчитать, как каждый параметр сети влияет на итоговую ошибку.

Главная идея:

• сначала выполнить прямой проход;
• получить предсказание модели;
• посчитать функцию потерь;
• затем идти назад по вычислительному графу;
• применять правило цепочки;
• получить градиенты по всем параметрам;
• передать эти градиенты оптимизатору для обновления весов.

Интуиция

Нейронная сеть — это большая композиция функций.

Например:

$$x\to f_1\to f_2\to f_3\to \hat{y}\to L$$

Функция потерь $L$ зависит от выхода модели, выход зависит от последних слоёв, последние слои зависят от предыдущих и так далее.

Чтобы понять, как изменить вес в раннем слое, нужно ответить на вопрос:

Если немного изменить этот вес, как изменится итоговая ошибка?

Backpropagation отвечает на этот вопрос через производные.

Он распространяет информацию об ошибке назад:

$$L\to \hat{y}\to f_3\to f_2\to f_1$$

Поэтому алгоритм называется обратным распространением ошибки.

Основные идеи

Правило цепочки

Основа backpropagation — правило цепочки для производных.

Если:

$$z=g(y)$$

и:

$$y=f(x)$$

то:

$$z=g(f(x))$$

и производная:

$$\frac{dz}{dx}=\frac{dz}{dy}\cdot \frac{dy}{dx}$$

То есть влияние $x$ на $z$ раскладывается на две части:

• как $x$ влияет на промежуточную переменную $y$;
• как $y$ влияет на итоговую переменную $z$.

Если переменная влияет на результат через несколько путей, вклады суммируются:

$$\frac{dz}{d{x}_j}=\sum _i\frac{dz}{d{y}_i}\frac{d{y}_i}{d{x}_j}$$

Это важно для нейросетей, потому что вычислительный граф часто имеет разветвления.

Прямой и обратный проход

Обучение нейросети обычно состоит из двух проходов.

Forward pass

На прямом проходе сеть вычисляет предсказание:

$$\hat{y}=f(x;\theta )$$

Затем считается ошибка:

$$L=\mathcal{L}(\hat{y},y)$$

Во время forward pass сохраняются промежуточные значения: входы слоёв, активации и выходы операций. Они нужны для вычисления производных на обратном проходе.

Backward pass

На обратном проходе вычисляются градиенты:

$$\frac{\partial L}{\partial \theta }$$

для всех обучаемых параметров $\theta$.

Градиенты показывают, как изменение каждого параметра повлияет на функцию потерь.

После этого оптимизатор обновляет параметры, например по правилу градиентного спуска:

$$\theta \leftarrow \theta -\eta \frac{\partial L}{\partial \theta }$$

где $\eta$ — learning rate.

Пример для последовательности слоёв

Пусть модель — это композиция функций:

$$z=f_4(f_3(f_2(f_1(x;w_1);w_2);w_3);w_4)$$

Функция потерь:

$$L=\mathcal{L}(z,y)$$

Нужно найти производные:

$$\frac{\partial L}{\partial w_1},\frac{\partial L}{\partial w_2},\frac{\partial L}{\partial w_3},\frac{\partial L}{\partial w_4}$$

Для последнего слоя цепочка короткая:

$$\frac{\partial L}{\partial w_4}=\frac{\partial L}{\partial z}\cdot \frac{\partial z}{\partial w_4}$$

Для более раннего слоя цепочка длиннее:

$$\frac{\partial L}{\partial w_3}=\frac{\partial L}{\partial z}\cdot \frac{\partial z}{\partial x_3}\cdot \frac{\partial x_3}{\partial w_3}$$

Для самых ранних слоёв нужно пройти через ещё больше промежуточных операций.

Пример с активациями

Пусть есть простая сеть:

$$z_1=x{w}_1+b_1$$ $$a_1=\sigma (z_1)$$ $$z_2=a_1{w}_2+b_2$$ $$a_2=\sigma (z_2)$$ $$\hat{y}=a_2{w}_3+b_3$$

Функция потерь:

$$L=\mathcal{L}(\hat{y},y)$$

Градиент по последнему весу:

$$\frac{\partial L}{\partial w_3}=\frac{\partial L}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial w_3}$$

Градиент по весу второго слоя:

$$\frac{\partial L}{\partial w_2}=\frac{\partial L}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial a_2}\cdot \frac{\partial a_2}{\partial z_2}\cdot \frac{\partial z_2}{\partial w_2}$$

Градиент по весу первого слоя:

$$\frac{\partial L}{\partial w_1}=\frac{\partial L}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial a_2}\cdot \frac{\partial a_2}{\partial z_2}\cdot \frac{\partial z_2}{\partial a_1}\cdot \frac{\partial a_1}{\partial z_1}\cdot \frac{\partial z_1}{\partial w_1}$$

Чем раньше слой, тем длиннее цепочка производных.

От чего зависит величина градиента

Градиент раннего слоя зависит от произведения многих множителей:

$$\frac{\partial L}{\partial w_1}=\underset{\text{ошибка на выходе}}{\underbrace{\frac{\partial L}{\partial \hat{y}}}}\cdot \underset{\text{всё, что выше данного слоя}}{\underbrace{\frac{\partial \hat{y}}{\partial a_2}\cdot \frac{\partial a_2}{\partial z_2}\cdot \frac{\partial z_2}{\partial a_1}\cdot \frac{\partial a_1}{\partial z_1}}}\cdot \underset{\text{локальное влияние веса}}{\underbrace{\frac{\partial z_1}{\partial w_1}}}$$

Поэтому градиент зависит от трёх групп факторов:

1. Конечная ошибка модели.
2. Производные всех операций выше данного слоя.
3. Вход и локальная операция данного слоя.

Отсюда возникает проблема затухающих и взрывающихся градиентов.

Если много производных меньше 1, их произведение может стать почти нулевым. Тогда ранние слои почти не обучаются.

Если много производных больше 1, их произведение может стать очень большим. Тогда обучение становится нестабильным.

Подробнее: Затухание градиента.

Когда использовать

Backpropagation используется почти всегда, когда обучается нейронная сеть через градиентную оптимизацию.

Типичные случаи:

• полносвязные сети;
• CNN;
• LSTM;
• трансформеры;
• autoencoder;
• GAN;
• модели для классификации;
• модели для регрессии;
• языковые модели.

Backpropagation нужен, когда:

• модель дифференцируема;
• есть функция потерь;
• параметры нужно обновлять по градиенту;
• обучение выполняется через optimizer, например SGD, Adam или AdamW.

Когда не использовать

Backpropagation не подходит напрямую, если:

• операции в модели недифференцируемы;
• нет функции потерь;
• параметры не обучаются градиентным методом;
• задача решается алгоритмом без обучаемых весов;
• требуется оптимизация дискретных решений без дифференцируемого приближения.

Например, классические деревья решений, случайный лес, k-means и DBSCAN не обучаются через backpropagation в обычном виде.

Если в модели есть недифференцируемые части, иногда используют:

• surrogate loss;
• reinforcement learning;
• straight-through estimator;
• эволюционные алгоритмы;
• численную оптимизацию без градиентов.

Минимальный пример

import torch
from torch import nn
 
x = torch.tensor([ [1.0, 2.0] ])
y = torch.tensor([ [1.0] ])
 
model = nn.Sequential(
    nn.Linear(2, 4),
    nn.ReLU(),
    nn.Linear(4, 1),
)
 
loss_fn = nn.MSELoss()
 
prediction = model(x)
loss = loss_fn(prediction, y)
 
loss.backward()
 
for name, parameter in model.named_parameters():
    print(name, parameter.grad)

В этом примере:

• prediction = model(x) выполняет forward pass;
• loss_fn(prediction, y) считает ошибку;
• loss.backward() запускает backpropagation;
• parameter.grad содержит градиенты по параметрам.

После этого оптимизатор мог бы обновить параметры модели.

Связанные понятия

Что знать перед этим

• Кросс-энтропия
• Производная
• Правило цепочки

Связанные заметки

• Обновление параметров
• Регуляризация
• CNN
• LSTM
• Трансформер