ControlNet — это структура нейронной сети, предназначенной для управления диффузионными моделями путем добавления дополнительных условий.

В этой структуре веса блоков нейронной сети копируются в две версии: «заблокированную» и «обучаемую». Заблокированная версия используется для выполнения задач управления диффузионными моделями, в то время как обучаемая версия используется для обучения нейронной сети на основе данных. Дополнительные условия могут быть добавлены для управления поведением модели.

ControlNet представляет собой эффективный инструмент для управления диффузионными моделями в различных областях, таких как физика, химия и биология.