Сопоставление потоков

Коротко

Definition

Сопоставление потоков, или Flow Matching, — это метод обучения генеративных моделей, при котором нейросеть учится векторному полю, переводящему точки из распределения шума в распределение данных.

Flow Matching, как и диффузионные модели, генерирует данные из шума. Но вместо обучения пошаговому удалению шума модель учится непрерывному направлению движения от шума к данным.

Интуитивно:

$$\text{noise}\to \text{data}$$

задаётся не через случайное блуждание, а через обучаемое векторное поле.

Интуиция

Представим две группы точек:

• $p_0$ — распределение шума, например гауссовское;
• $p_1$ — распределение реальных данных.

Нужно научиться превращать точки из $p_0$ в точки из $p_1$.

Flow Matching делает это через поле стрелок. В каждой точке пространства и в каждый момент времени $t$ модель должна сказать, куда и с какой скоростью двигаться.

Если мы знаем правильное векторное поле, можно взять случайный шум и провести его по этому полю до состояния, похожего на реальные данные.

Формальное описание

Flow Matching задаёт непрерывный путь между двумя распределениями:

$$p_t,t\in [0,1]$$

где:

• $p_0$ — начальное распределение, обычно шум;
• $p_1$ — целевое распределение данных;
• $p_t$ — промежуточное распределение в момент времени $t$.

Модель учится векторному полю:

$$v_t(x)$$

которое задаёт скорость движения точки $x$ в момент времени $t$.

Движение точки описывается ODE:

$$\frac{dx}{dt}=v_t(x)$$

Если векторное поле известно, можно начать из точки шума $x_0$ и численно проинтегрировать ODE до $t=1$, получив сгенерированный объект.

Probability path

Probability path — это сценарий, по которому распределение шума постепенно превращается в распределение данных.

Можно понимать это как непрерывную последовательность распределений:

$$p_0\to p_t\to p_1$$

В отличие от классической диффузии, где путь связан с постепенным зашумлением и обратным денойзингом, во Flow Matching путь можно выбирать явно.

Один из простых вариантов — linear interpolation между шумом и объектом данных.

Vector field

Vector field — это функция, которая в каждой точке пространства и в каждый момент времени задаёт направление и скорость движения.

Формально:

$$v_t(x)$$

Интуитивно это поле стрелок:

• где находится точка;
• какой сейчас момент времени;
• куда точке нужно двигаться дальше.

Нейросеть учится приближать это поле:

$${\psi }_{\theta }(x,t)\approx v_t(x)$$

где ${\psi }_{\theta }$ — модель с параметрами $\theta$.

ODE

Если известно векторное поле, траектория точки задаётся обыкновенным дифференциальным уравнением:

$$\frac{dx}{dt}=v_t(x)$$

Это означает: изменение положения точки равно скорости, которую задаёт векторное поле.

Для генерации нужно решить это ODE от $t=0$ до $t=1$:

$$x(0)\sim p_0$$ $$x(1)\sim p_1$$

На практике ODE решается численно, например методом Эйлера или более сложными ODE-solvers.

Conditional probability path

Простой вариант Flow Matching строит путь между конкретной точкой шума $x_0$ и конкретной точкой данных $x_1$.

Линейная интерполяция:

$$x_t=(1-t)x_0+t{x}_1$$

где:

• при $t=0$: $x_t=x_0$;
• при $t=1$: $x_t=x_1$;
• при $t=0.5$: точка находится посередине между шумом и данными.

Для такого прямого пути скорость постоянна:

$$u_t(x\mid x_0,x_1)=x_1-x_0$$

Это целевое направление, которое нейросеть должна научиться предсказывать.

Как обучается

Типовая процедура обучения:

1. Взять реальный объект $x_1$ из датасета.
2. Сэмплировать случайный шум $x_0$.
3. Выбрать случайный момент времени $t\in [0,1]$.
4. Построить промежуточную точку:

$$x_t=(1-t)x_0+t{x}_1$$

5. Вычислить целевую скорость:

$$u_t=x_1-x_0$$

6. Подать $x_t$ и $t$ в нейросеть.
7. Обучить сеть предсказывать $u_t$.

То есть модель учится отвечать на вопрос: если точка сейчас находится в $x_t$ в момент времени $t$, в какую сторону её нужно двигать, чтобы прийти к данным?

Функция потерь

Базовая функция потерь — MSE между предсказанной скоростью и целевой скоростью:

$$\mathcal{L}={\Vert {\psi }_{\theta }(x_t,t)-(x_1-x_0)\Vert }^2$$

где:

• ${\psi }_{\theta }(x_t,t)$ — предсказанное векторное поле;
• $x_1-x_0$ — целевая скорость для прямого пути.

В более общих вариантах Flow Matching путь и целевой vector field могут быть устроены сложнее, но базовая идея остаётся той же: сеть обучается сопоставлять точкам правильные направления движения.

Генерация

После обучения генерация начинается с шума:

$$x_0\sim p_0$$

Затем модель последовательно двигает точку по learned vector field от $t=0$ к $t=1$.

С помощью метода Эйлера:

$$x_{t+\Delta t}=x_t+{\psi }_{\theta }(x_t,t)\Delta t$$

Алгоритм:

1. Сэмплировать шум $x_0$.
2. Выбрать число шагов генерации.
3. Для каждого шага:
   • подать текущую точку $x_t$ и время $t$ в модель;
   • получить скорость ${\psi }_{\theta }(x_t,t)$;
   • сделать шаг по направлению скорости.
4. Получить финальный объект при $t=1$.

Чем больше шагов, тем точнее численное решение ODE, но тем медленнее генерация.

Сравнение с диффузионными моделями

Flow Matching и diffusion models похожи тем, что обе семьи методов учатся генерировать данные из шума.

Но есть важные различия.

Аспект	Diffusion models	Flow Matching
Основная идея	Учиться удалять шум по шагам	Учиться векторному полю от шума к данным
Математическая форма	Часто SDE или discrete Markov chain	Часто ODE / continuous normalizing flow perspective
Обучаемый таргет	Шум, score или velocity	Velocity / vector field
Sampling	Обычно много шагов денойзинга	Может требовать меньше ODE-шагов
Интуиция	Постепенно очистить шум	Провести точку по потоку

На практике современные методы могут сближаться: diffusion, score matching, flow matching и rectified flows связаны между собой математически.

Когда использовать

Flow Matching стоит изучать и использовать, если:

• интересны современные генеративные модели;
• нужно понимать альтернативы diffusion models;
• важна быстрая генерация;
• хочется работать с continuous-time generative modeling;
• задача связана с изображениями, аудио, молекулами или другими сложными данными;
• нужно понять связь между ODE, probability paths и generative modeling.

Flow Matching особенно важен как концептуальный мост между диффузионными моделями, score-based models и continuous normalizing flows.

Когда не использовать

Flow Matching может быть избыточен, если:

• задача не требует генерации;
• данных мало;
• нужна простая интерпретируемая модель;
• достаточно классической модели;
• нет ресурсов на обучение генеративной нейросети;
• проще использовать готовую diffusion-модель или VAE/GAN baseline.

Для учебных задач Flow Matching полезен, но в прикладном проекте важно сравнить его с более стандартными генеративными подходами.

Метрики оценки

Метрики зависят от типа данных.

Для изображений можно использовать:

• FID;
• Inception Score;
• precision and recall for generative models;
• human evaluation;
• diversity metrics.

Для научных данных нужны domain-specific metrics:

• валидность структуры;
• соблюдение физических или химических ограничений;
• разнообразие;
• novelty;
• соответствие заданным условиям.

Как и у других генеративных моделей, training loss не всегда полностью отражает качество сэмплов.

Типичные ошибки понимания

Думать, что Flow Matching просто «быстрая диффузия»

Flow Matching связан с diffusion models, но обучаемая цель формулируется иначе: модель учится векторному полю, а не обязательно пошаговому удалению шума.

Путать точки и распределения

$x_t$ — конкретная промежуточная точка. $p_t$ — распределение таких точек в момент времени $t$.

Думать, что путь всегда обязан быть прямым

Линейный путь между $x_0$ и $x_1$ — удобный частный случай. В общем случае probability path может быть другим.

Игнорировать численное решение ODE

Даже если модель хорошо выучила vector field, качество генерации зависит от того, как решается ODE: методом Эйлера, Runge-Kutta или другим solver.

Считать, что меньше шагов всегда лучше

Flow Matching может позволять делать крупные шаги, но слишком грубое численное решение всё равно может ухудшить качество.

Минимальный пример

Пусть шумовая точка:

$$x_0=[0,0]$$

а точка данных:

$$x_1=[2,4]$$

Выберем:

$$t=0.5$$

Промежуточная точка:

$$x_t=(1-0.5)[0,0]+0.5[2,4]=[1,2]$$

Целевая скорость для прямого пути:

$$u_t=x_1-x_0=[2,4]$$

Модель получает:

$$(x_t,t)=([1,2],0.5)$$

и должна предсказать скорость:

$${\psi }_{\theta }(x_t,t)\approx [2,4]$$

Во время генерации, начиная из шума, модель будет делать шаги по предсказанному векторному полю, пока не дойдёт до области данных.

Практические замечания

Хороший workflow:

1. Понять, какое распределение считается шумом $p_0$.
2. Определить data distribution $p_1$.
3. Выбрать probability path.
4. Сэмплировать пары шум–данные.
5. Обучить модель предсказывать velocity.
6. Проверить качество ODE sampling.
7. Сравнить разные solvers и число шагов.
8. Оценить diversity и качество сэмплов.
9. Сравнить с диффузионной моделью, GAN и VAE.
10. Проверить domain-specific constraints.

Для понимания Flow Matching особенно полезно держать в голове три объекта: probability path, vector field и ODE.

Связанные понятия

• Обратное распространение ошибки
• Обновление параметров
• Трансформер
• Attention
• Изображения
• Графовые данные
• Последовательности