Controlnet в нейросети Stable diffusion

Question

Controlnet в нейросети Stable diffusion

Zimmermann Ученик (144), открыт 4 часа назад

Почему Stable diffusion (как A1111 так и Forge версии) игнорируют ControlNet? То есть закидываю в ControlNet позу или снимаю с картинки, но при генерации эта поза полностью игнорируется, но под сгенерированной картинкой написано, что была применена модель Controlnet.
Никаких ошибок ни в интерфейсе, ни в терминале не увидел. Просто игнор Controlnet.
Использовал SDXL и Pony модели.

Answer 1

Для использования функции openpose в ControlNet желательно установить еще расширение Posex, которое позволяет грамотно настроить скелет. Устанавливается стандартно на закладке Extentions по URL: https://github.com/hnmr293/posex.git . Потом на закладке txt2img открыть плашку Posex и поставить галку Sent this image to ControlNet, настроить скелет, включить ControlNet (галка Enable), выбрать Model=control_openpose-fp16.safetensors (Preprocessor не выбирать!), написать промпт и нажать [Generate].
А для чего же тогда Preprocessor=openpose? Его включать тогда, когда вы загружает существующую фотографию в блок ControlNet и хотите по какому-то промпту изобразить другого персонажа с точно такой же позой. В результате нейросеть сначала сама просчитает скелет и по нему выполнит заказ из промпта.
– Источник –