Кросс-энтропия

Коротко

Definition

Кросс-энтропия — это функция потерь, которая штрафует модель за низкую вероятность, присвоенную правильному классу.

В задачах классификации модель обычно выдаёт вероятности классов. Кросс-энтропия смотрит только на вероятность правильного класса и применяет к ней отрицательный логарифм:

$$L=-\log p_{\theta }(y\mid x)$$

Если модель уверенно дала правильному классу высокую вероятность, loss маленький. Если правильному классу дана низкая вероятность, loss большой.

Кросс-энтропия тесно связана с максимальным правдоподобием: минимизация cross-entropy эквивалентна максимизации log-likelihood на обучающих данных.

Интуиция

Представим, что правильный класс — cat.

Модель может сказать:

Вероятность правильного класса	Loss
$p=0.99$	Очень маленький
$p=0.7$	Небольшой
$p=0.1$	Большой
$p=0.001$	Очень большой

Кросс-энтропия не просто проверяет, угадала модель класс или нет. Она учитывает уверенность модели.

Если модель дала правильный ответ, но была неуверенной, loss будет больше, чем у уверенной правильной модели.

Если модель уверенно ошиблась, loss будет очень большим.

Именно поэтому cross-entropy хорошо подходит для обучения классификаторов: она заставляет модель не только выбирать правильный класс, но и распределять вероятности разумно.

Основные идеи

Общая формула

Для независимых обучающих объектов:

$$(x_i,y_i),i=1,\dots ,n$$

общая cross-entropy записывается так:

$$CE=-\frac{1}{n}\sum _{i=1}^n\log p_{\theta }(y_i\mid x_i)$$

где:

• $p_{\theta }(y_i\mid x_i)$ — вероятность правильного класса по мнению модели;
• $\theta$ — параметры модели;
• $n$ — количество объектов.

Бинарная кросс-энтропия

Для бинарной классификации:

$$y_i\in \{0,1\}$$

модель обычно предсказывает вероятность положительного класса:

$${\hat{p}}_i=p_{\theta }(y_i=1\mid x_i)$$

Тогда binary cross-entropy:

$$BCE=-\frac{1}{n}\sum _{i=1}^n\left[y_i\log ({\hat{p}}_i)+(1-y_i)\log (1-{\hat{p}}_i)\right]$$

Эта формула просто записывает два случая без if.

Если $y_i=1$:

$$BC{E}_i=-\log ({\hat{p}}_i)$$

Если $y_i=0$:

$$BC{E}_i=-\log (1-{\hat{p}}_i)$$

Многоклассовая кросс-энтропия

Для многоклассовой классификации с $K$ классами модель выдаёт распределение вероятностей:

$${\hat{p}}_{i1},{\hat{p}}_{i2},\dots ,{\hat{p}}_{iK}$$

Если истинная метка записана в one-hot формате, то cross-entropy:

$$CE=-\frac{1}{n}\sum _{i=1}^n\sum _{k=1}^K{y}_{ik}\log ({\hat{p}}_{ik})$$

Так как в one-hot векторе только один элемент равен 1, сумма фактически выбирает вероятность правильного класса:

$$C{E}_i=-\log ({\hat{p}}_{i,k^{\ast }})$$

где $k^{\ast }$ — индекс правильного класса.

Связь с максимальным правдоподобием

Правдоподобие обучающей выборки:

$$\mathcal{L}(\theta )=\prod _{i=1}^n{p}_{\theta }(y_i\mid x_i)$$

Логарифм правдоподобия:

$$\log \mathcal{L}(\theta )=\sum _{i=1}^n\log p_{\theta }(y_i\mid x_i)$$

Максимизация log-likelihood эквивалентна минимизации отрицательного среднего log-likelihood:

$$-\frac{1}{n}\log \mathcal{L}(\theta )=-\frac{1}{n}\sum _{i=1}^n\log p_{\theta }(y_i\mid x_i)$$

Это и есть cross-entropy loss для классификации.

Почему используют логарифм:

• произведение многих вероятностей быстро становится численно очень маленьким;
• логарифм превращает произведение в сумму;
• отрицательный знак превращает задачу максимизации в задачу минимизации;
• градиенты становятся удобнее для оптимизации.

Крайние случаи

Идеальный случай:

$$p_{\theta }(y_i\mid x_i)=1$$

Тогда:

$$-\log (1)=0$$

Худший случай:

$$p_{\theta }(y_i\mid x_i)\to 0$$

Тогда:

$$-\log (p_{\theta }(y_i\mid x_i))\to +\infty$$

Промежуточные примеры:

$$-\log (0.7)\approx 0.36$$ $$-\log (0.1)\approx 2.30$$ $$-\log (0.01)\approx 4.61$$

Чем меньше вероятность правильного класса, тем сильнее штраф.

Когда использовать

Кросс-энтропию используют, когда:

• задача является классификацией;
• модель выдаёт вероятности классов или logits;
• нужно обучить логистическую регрессию;
• нужно обучить нейросетевой классификатор;
• используется softmax для многоклассовой классификации;
• используется sigmoid для бинарной или multilabel-классификации;
• обучается языковая модель предсказывать следующий токен.

Типичные случаи:

• Логистическая регрессия;
• image classification;
• text classification;
• token classification;
• language modeling;
• transformer-based models;
• multiclass и multilabel классификация.

Когда не использовать

Кросс-энтропия не подходит напрямую, если:

• задача является обычной регрессией;
• целевая переменная непрерывная;
• модель не выдаёт вероятностную интерпретацию;
• классы размечены очень шумно;
• требуется оптимизировать не вероятность класса, а ranking-метрику;
• важна специальная стоимость разных типов ошибок.

В регрессии обычно используют MSE, MAE, Huber loss или другие функции потерь.

При сильном дисбалансе классов обычная cross-entropy может быть недостаточной. Тогда используют:

• class weights;
• focal loss;
• resampling;
• threshold tuning;
• специальные метрики вроде PR-AUC.

Минимальный пример

import math
 
prob_correct_class = 0.7
loss = -math.log(prob_correct_class)
 
print(loss)

Пример для PyTorch:

import torch
from torch import nn
 
logits = torch.tensor([
    [2.0, 0.5, 0.1],
    [0.2, 1.5, 0.3],
])
 
target = torch.tensor([0, 1])
 
loss_fn = nn.CrossEntropyLoss()
loss = loss_fn(logits, target)
 
print(loss.item())

Важно: в PyTorch CrossEntropyLoss ожидает logits, а не вероятности после softmax. Softmax уже встроен внутрь функции потерь в численно стабильном виде.

Связанные понятия

Что знать перед этим

• Максимальное правдоподобие
• Задачи классификации

Связанные заметки

• Метрики качества классификаторов
• Трансформер