В России ускорили генерацию изображений нейросетями до долей секунды

Ученые НИУ ВШЭ совместно с компанией Yandex Research разработали метод, позволяющий существенно ускорить работу диффузионных моделей — одного из ключевых инструментов генерации изображений. Об этом «Газете.Ru» сообщили в пресс-службе учебного заведения.

Новый метод под названием Scale-wise Distillation of Diffusion Models (SwD) позволяет сократить это время до 0,3-0,4 секунды без потери качества.

Подход основан на том, что на ранних этапах генерации формируется только общая структура изображения, а детали появляются позже. Исследователи предложили сначала работать с изображением низкого разрешения, постепенно улучшая его по мере уменьшения шума. Это позволяет избежать ненужных вычислений.

Второй ключевой элемент — тщательное изучение моделей. В этом процессе более простая «модель ученика» обучается воспроизводить результаты сложной «модели учителя», такой как FLUX или Stable Diffusion 3.5. В результате количество шагов генерации сокращается с десятков до 4–6.

Для обучения ученые использовали новую функцию потерь — максимальное среднее несоответствие (MMD). Он сравнивает представления внутренних изображений в моделях учителя и ученика, не требуя дополнительных вспомогательных нейронных сетей. Это упрощает и ускоряет обучение: в экспериментах время одной итерации сокращалось в семь раз.

По мнению разработчиков, предложенный метод делает современные генеративные модели более быстрыми и удешевляющими в использовании, что открывает путь к их более широкому использованию — от дизайна и медиа до научных задач.