Полносвязный слой

Коротко

Definition

Полносвязный слой — это слой нейронной сети, который выполняет линейное преобразование признаков: каждый выходной нейрон зависит от всех входных признаков.

Полносвязный слой также называют dense layer, fully connected layer или linear layer.

Главная идея: если на вход подаётся вектор признаков, слой строит новый вектор признаков как набор линейных комбинаций входных значений.

В математическом виде:

$$Y=X{W}^T+b$$

где:

• $X$ — матрица входных признаков;
• $W$ — матрица весов;
• $b$ — вектор смещений;
• $Y$ — выход слоя.

Зачем нужен

Полносвязный слой нужен, чтобы смешивать признаки между собой.

Если предыдущий слой выделил признаки объекта, полносвязный слой может:

• объединить эти признаки;
• изменить размерность представления;
• подготовить признаки к классификации или регрессии;
• построить финальный выход модели.

Например, в классификаторе изображений CNN часто сначала извлекает пространственные признаки, а затем один или несколько полносвязных слоёв превращают эти признаки в вероятности классов.

Как работает

Пусть есть batch из $n_{\text{samples}}$ объектов. Каждый объект имеет $n_{\text{features}}$ входных признаков.

Тогда вход можно записать как матрицу:

$$X\in {\mathbb{R}}^{n_{\text{samples}}\times n_{\text{in}}}$$

где:

• $n_{\text{samples}}$ — число объектов в batch;
• $n_{\text{in}}$ — число входных признаков.

Если слой имеет $n_{\text{out}}$ выходных нейронов, то матрица весов имеет форму:

$$W\in {\mathbb{R}}^{n_{\text{out}}\times n_{\text{in}}}$$

Вектор смещений имеет форму:

$$b\in {\mathbb{R}}^{n_{\text{out}}}$$

Выход слоя:

$$Y=X{W}^T+b$$

и его форма:

$$Y\in {\mathbb{R}}^{n_{\text{samples}}\times n_{\text{out}}}$$

То есть полносвязный слой превращает каждый входной вектор длины $n_{\text{in}}$ в выходной вектор длины $n_{\text{out}}$.

Устройство

На схеме показаны два полносвязных слоя:

1. Первый слой получает 5 входных признаков и выдаёт 3 выходных признака.
2. Второй слой получает 3 входных признака и выдаёт 3 выходных признака.

Разберём первый слой.

Есть $n_{\text{samples}}$ объектов. Каждый имеет $n_{\text{features}}=5$ признаков:

$$X_{(n_{\text{samples}},5)}$$

Есть $n_{\text{out}}=3$ нейрона. Каждый нейрон принимает все 5 входных признаков со своими весами. Поэтому матрица весов имеет форму:

$$W_{(3,5)}$$

Чтобы умножить входную матрицу на матрицу весов, в обычной записи используют транспонирование весов:

$$Y_{(n_{\text{samples}},3)}=X_{(n_{\text{samples}},5)}\cdot W_{(5,3)}^T+b$$

Выход $Y$ становится матрицей признаков для следующего слоя.

Обучаемые параметры

У полносвязного слоя обычно есть два типа обучаемых параметров:

• матрица весов $W$;
• вектор смещений $b$.

Во время обучения эти параметры изменяются с помощью обратного распространения ошибки и обновления параметров.

Если bias=False, смещение $b$ не используется, и слой выполняет только линейное преобразование:

$$Y=X{W}^T$$

Гиперпараметры

При создании полносвязного слоя задают:

• число входных признаков in_features;
• число выходных признаков out_features;
• использовать ли смещение bias.

Например, слой с 5 входными признаками и 3 выходными нейронами имеет:

• in_features = 5;
• out_features = 3;
• bias = True или False.

Количество обучаемых параметров при bias=True:

$$n_{\text{params}}=n_{\text{out}}\cdot n_{\text{in}}+n_{\text{out}}$$

Для слоя 5 → 3:

$$n_{\text{params}}=3\cdot 5+3=18$$

Где используется

Полносвязные слои используются:

• в классических multilayer perceptron;
• в головах классификации после CNN;
• в финальных слоях регрессионных моделей;
• в feed-forward блоках трансформеров;
• в bottleneck-представлениях автоэнкодеров;
• в небольших нейросетях для табличных данных.

Полносвязный слой особенно удобен, когда вход уже представлен как вектор фиксированной длины.

Связь с функцией активации

Строго математически полносвязный слой обычно означает только affine-преобразование:

$$Y=X{W}^T+b$$

Но в архитектурном смысле часто говорят о блоке:

$$H=\sigma (X{W}^T+b)$$

где $\sigma$ — функция активации.

Поэтому важно различать:

• линейный слой сам по себе;
• полносвязный блок как сочетание linear layer + activation.

Без нелинейных функций активации несколько полносвязных слоёв подряд всё равно сводятся к одному линейному преобразованию. Поэтому в нейросетях между полносвязными слоями обычно добавляют нелинейность.

Связанные архитектуры

Полносвязные слои встречаются в разных архитектурах:

• CNN — часто в классификационной голове;
• Трансформер — в feed-forward network внутри transformer block;
• Автоэнкодер — в encoder и decoder для векторных данных;
• GAN — в генераторе и дискриминаторе;
• Дискретный персептрон — исторически связан с идеей линейного преобразования признаков.

Полносвязные слои также часто сравнивают со свёрточными слоями. Свёрточный слой использует локальные связи и разделяемые веса, а полносвязный слой соединяет каждый входной признак с каждым выходным нейроном.

Типичные ошибки понимания

Считать полносвязный слой самостоятельной моделью

Полносвязный слой — это строительный блок. Сам по себе он обычно является частью более крупной архитектуры.

Забывать про форму матриц

Одна из частых ошибок — перепутать форму весов.

В PyTorch слой Linear(in_features, out_features) хранит веса формы:

$$(out\_features,in\_features)$$

А вычисление концептуально соответствует:

$$Y=X{W}^T+b$$

Думать, что больше нейронов всегда лучше

Увеличение out_features повышает число параметров и выразительность слоя, но также увеличивает риск переобучения и вычислительную стоимость.

Забывать про функцию активации

Один полносвязный слой без активации выполняет линейное преобразование. Несколько таких слоёв подряд без нелинейности всё равно эквивалентны одному линейному слою.

Использовать полносвязный слой там, где важна структура

Если вход — изображение, граф или длинная последовательность, простое распрямление вектора и применение полносвязного слоя может потерять важную структуру данных.

Для таких данных часто лучше использовать специальные архитектурные блоки: Свёрточный слой, Рекуррентный слой, Attention или графовые слои.

Минимальный пример

Пусть на вход подаётся один объект с 5 признаками:

$$x=[x_1,x_2,x_3,x_4,x_5]$$

Полносвязный слой должен получить 3 выходных значения:

$$y=[y_1,y_2,y_3]$$

Каждое выходное значение зависит от всех входных признаков:

$$y_1=w_{11}{x}_1+w_{12}{x}_2+w_{13}{x}_3+w_{14}{x}_4+w_{15}{x}_5+b_1$$ $$y_2=w_{21}{x}_1+w_{22}{x}_2+w_{23}{x}_3+w_{24}{x}_4+w_{25}{x}_5+b_2$$ $$y_3=w_{31}{x}_1+w_{32}{x}_2+w_{33}{x}_3+w_{34}{x}_4+w_{35}{x}_5+b_3$$

Именно поэтому слой называется полносвязным: каждый выходной нейрон связан со всеми входными признаками.

Связанные понятия

• Регуляризация
• GAN
• Изображения
• Последовательности