ControlNet

Подписчиков:

Постов:

Stable diffusionнейронные сетигайдControlNetautomatic1111

Правильная установка ControlNet в SD webui

Хочу поделиться с вами моим постом с github и reddit.

Я потратил много времени на поиск и решение проблемы с ошибками при установке ControlNet, десятки раз переустанавливал webui и перечитал море информации на github. Пока что данный способ самый рабочий из всех и позволяет обойти ошибки установки mediapipe, OSError и permissions при установке ControlNet.

Сперва я рекомендую сделать чистую установку SD webui, но если такой возможности нет, то удалите расширение controlnet в папке extensions и удалите папку venv, после чего запустите webui-user.bat, дождитесь пока webui восстановит удалённые папки и загрузит все файлы, затем закройте webui.

Перейдите в папку с SD webui, щелкните на строку с директориями и введите "cmd", нажмите enter.

stable-diffusion-webui X +
<- ^ G Щ
@ Создать ' LO ГО ® Й 0 I'l' Сортировать v = П|
i
f
> 4
6
I
A
Имя Дата изменения Тип
•git 29.03.2024 22:37 Папка с файлами
.github 29.03.2024 22:37 Папка с файлами
_pycache_ 29.03.2024 22:56 Папка с файлами
config_states 29.03.2024 22:56 Папка с

Откроется командная строка и вы увидите путь к вашей папке с webui.

Теперь вам нужно поочередно вводить эти команды, терпеливо дожидаясь завершения всех операций (я выделил команды жирным текстом):

F:\stable-diffusion-webui>venv\scripts\activate.bat

(venv) F:\stable-diffusion-webui>pip install mediapipe

(venv) F:\stable-diffusion-webui>pip install svglib

(venv) F:\stable-diffusion-webui>pip install fvcore

(venv) F:\stable-diffusion-webui>pip install "opencv-python>=4.8.0"

(venv) F:\stable-diffusion-webui>pip install https://github.com/Gourieff/Assets/raw/main/Insightface/insightface-0.7.3-cp310-cp310-win_amd64.whl --prefer-binary

(venv) F:\stable-diffusion-webui>deactivate

Готово. Теперь запустите файл webui-user.bat и установите/переустановите расширение controlnet. Сообщения об ошибках больше не должны появляться и расширение будет работать нормально. Если и появятся какие-то ошибки, то можете их игнорировать либо написать в комментариях, я попробую разобраться.

brightfuture0

QR-коднейромазнянейронные сетиStable diffusionControlNet

brightfuture0

ИгрыControlNetStable diffusionнейронные сетиBaldur's Gate 2Baldur's GateнейромазняViconia DeVirJaheiraKeldorn Firecam...

via sutrik

Отличный комментарий!

неповторимый оригинал

Afemi

23.03.2023, 13:24

ссылка

+31,2

brightfuture0

#AnimeфэндомыStable diffusionнейронные сетинейромемыControlNet

Anime 1 - 1 ControlNet

,Anime,RDR, Reshotka Democratic Republic,фэндомы,Stable diffusion,нейронные сети,нейромемы,ControlNet

via gasia112

myadib

Stable diffusionнейронные сетинейромазняControlNetгайддлиннопост

Практическое применение нейросетей

Раз уж я вошёл в мир нейросетей благодаря реактору (через слитую модель novelAi и гайду к ней), то хочу вернуть дань благодарности этим небольшим мануалом.

Вы сможете генерировать прикольные арты на основе любого логотипа \ текста буквально в пару шагов.

0) Нужен stable diffusion от automatic1111 свежей версии (как его устанавливать тут не буду описывать);

1) Устанавливаем расширение ControlNet:

a) Копируем ссылку: https://github.com/Mikubill/sd-webui-controlnet

b) Идём во вкладку extensions -> install from URL, в первое поле вставляем ссылку и жмакаем install

txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Settings l Extensions
Installed Available Install from URL — URL for extension's git repository
https://github.com/Mikubill/sd-webui-controlnetl Local directory name
Leave empty for auto
Install,Stable

c) Во вкладке installed на всякий случай проверяем апдейты: "Check for updates", и нажимаем "Apply and restart UI"

txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Settings
Extensions
l Installed Available Install from URL
Apply and restart Ul
Check for updates
Extension URL Version Update
@ openpose-editor https://github.com/fkunnl326/openpose-editor 124e47c5 (Sun Mar

После этих манипуляций у Вас перезагрузится web страница и появится вкладка "ControlNet" в txt2img:

$txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Setti bomberman blur, low quality, bad art, man, face, skull, text Sampling method Sampling steps 20 Euler a v v J Width 768 Batch count 4 ti Height 768 \ / Batch size 1 CFG Scale Seed -1$

(Если не появилась, то попробуйте Settings, нажать Apply и перезапустить Stable Diffusion полностью)

d) Загружаем модели для ControlNet:

для этого идём сюда: https://civitai.com/models/9251/controlnet-pre-trained-models

скачиваем все версии моделей (там есть раздел Versions с отдельной кнопкой загрузки);

все скачанные файлы закидываем в <путь до SD>\stable-diffusion-webui\extensions\sd-webui-controlnet\models

2) Генерируем арты:

a) подготавливаем свой логотип \ текст.

я сделал такую картинку в фш:

,Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

p.s: походу желательно не использовать прозрачный фон (у меня с ним ничего не вышло).

b) двигаем настройки ControlNet:

ControlNet
Invert colors if your image has white background.
Change your brush width to make it thinner if you want to draw something.
2. Нажимаем "Enable"; Invert Color (если фон белый); Low VRAM
@ Enable @ Invert Input Color RGBtoBGR @ Low VRAM Guess Mode
Preprocessor 3- p ^processor:

c) и наконец генерируем (выставляем размер, пишем promptы, жмакаем generate).

единственное НО: у меня не получилось подружить controlNet с "hiresfix". даже "latent(nearest)" начинает ломать образ. поэтому генерировал сразу в 768х768 (Вам, возможно, надо будет пробовать с 512х512)

Stable Diffusion Checkpoint ---------------------
dreamlikeDiffusionl0_10.ckpt [0aecbcfa2c] ^
SDVAE
G Automatic
G
Clip skip
r
2
Show live previews of the created image
txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Settings Extensions
2/75
bomberman

любые LORA, HyperNetwork, embeddings прекрасно работают.

модель на которой я генерил: https://civitai.com/models/1274/dreamlike-diffusion-10

ну и примеры того что у меня получилось:

Идея честно спизженна отсюда:

https://www.reddit.com/r/StableDiffusion/comments/11ku886/controlnet_unlimited_album_covers_graphic_design/

Ну и напоследок хочу сказать что это расширение умеет гораздо большее. например можно полностью копировать стиль фото \ любые позы \ выражения лиц и ДАЖЕ рисовать идеальные руки и ноги (причём с фокусом на них). Но и запариться там нужно чуть сильнее)

Здесь мы собираем самые интересные картинки, арты, комиксы, мемасики по теме ControlNet (+6 постов - ControlNet)