Результаты поиска по запросу

Дополнительные фильтры

Теги:

новый тег

Автор поста

Рейтинг поста:

-∞050100150200300400+

Найдено: 141

Сортировка:

рейтингдата

kubik.rubiks

Anime EroAnimeфэндомыmarcille donatoDungeon Meshiнагенерил самнейронные сетиAnime Unsorted

,Anime Ero,Взрослые Няшки,Anime,Аниме,фэндомы,marcille donato,Dungeon Meshi,нагенерил сам,нейронные сети,Anime Unsorted

kubik.rubiks

нейронные сетигайдтуториалStableDiffusionпесочница

Как перерисовать/раздеть любого персонажа с помощью Stable Diffusion

Сегодня я расскажу о способе дорисовывать любые рисунки с помощью инструментов Stable Diffusion. Но прежде чем я начну, убедитесь что у вас установлена свежая версия Stable Diffusion webui от Automatic1111 + расширение ControlNet 1.1 со всеми нужными моделями.
Вот видео-инструкции (смотреть по порядку):

Установили? Тогда начинаем.

Часть 1. ControlNet Inpaint

Ни для кого не секрет, что в SD существует фича под названием inpaint - это, по сути, способ сгенерировать что-то поверх существующего изображения. В интерфейсе от Automatic1111 под inpaint'ом обычно подразумевают один из режимов img2img. Это хоть и мощный инструмент, но, всё же, недостаточно точный и контролируемый. Тут на помощь приходит ControlNet Inpaint и исправляет главный недостаток "классического" inpaint'а - игнорирование контекста. Впрочем, достаточно теории переходим к практике.

Итак, возьмём изображение, которое мы хотим отредактировать.

И сразу же уменьшаем/увеличиваем его до нужного разрешения:
В моём случае с 1500x1500 до 640x640. По опыту скажу, что лучший результат получается при размере меньшей стороны от 512 до 768 пикселей, а большая сторона при этом желательно меньше 1024 пикселей.

Теперь открываем вкладку txt2img в web-gui, раскрываем ControlNet и переносим изображение на холст Unit 0, выбираем режим Inpaint и выставляем все нужные настройки (и включить не забудьте):

ControlNet Unit 0
ControlNet Unit 1
ControlNet Unit 2
ControlNet Unit3
Single Image
Set the preprocessor to (invert] If your image has white background and black lines.
D s * -*
Q Enable Low VRAM Pixel Perfect CD Allow Preview
Control Type
All Canny Depth Normal OpenPose MLSD Lineart

Теперь замазываем места, которые хотим перерисовать:

В промпт пишем то, что хотим в результате видеть. Ещё раз, пишем не то, что нужно нового добавить, а то, каким хотим видеть финальную картинку:

1girl, naked, completely nude, (best quality, masterpiece:1.2)

Негативный промпт как обычно:
EasyNegative, badhandv5, (worst quality, low quality, normal quality:1.4)

Модель подбираем поближе к стилю рисунка (реалистичный/стилизованный). В моё случае это MeinaMix_v11-inpaint.

Параметры генерации:

Sampling method
DPM++2M SDE Karras
Restore faces Tiling
Width
Sampling steps
Hires, fix 640
Batch count
n
640
Batch size,нейронные сети,гайд,туториал,StableDiffusion,песочница

Всё, можно нажимать Generate до тех пор пока не появится приемлемая картинка.

Столь хороший результат обеспечивается препроцессором inpaint_only+lama - он пытается дорисовать зону под маской с учётом "наружного контекста". Это же и обеспечивает генерацию правильного цвета.

Простой случай разобрали, переходим к чему-то посложнее:

Часть 2. Style transfer

Возьмём теперь другой рисунок попробуем повторить описанный выше процесс:

6
I
I PATREON.COM/CUTESEXYROBUTTS
PATREON.COM/CUTESEXYROBUTTS,нейронные сети,гайд,туториал,StableDiffusion,песочница

Мда, мало того, что поза поехала, так ещё и стиль оказался потерян. Одного ControlNet Inpaint тут недостаточно. Надо подключать дополнительные юниты.

Нам нужно решить 2 задачи:

Повторить существующий стиль рисункаСохранить силуэт

Для решения первой задачи будем использовать ControlNet reference и ControlNet T2IA - они оба позволяют копировать стиль с изображения-референса и как нельзя лучше работают в связке.

Возвращаемся к интерфейсу ControlNet'a. Копируем исходное изображение в Unit 1 и Unit 2. Настраиваем вот так:

0 Enable
Low VRAM
Pixel Perfect
Allow Preview
Control Type
All Canny Depth Normal OpenPose MLSD
Lineart SoftEdge Scribble Seg Shuffle Tile
Inpaint IP2P О Reference T2IA
Preprocessor
reference_only И
Control Weight i Starting Control о Ending Control
1

Style Fidelity (only for

0 Enable
Low VRAM
Pixel Perfect
Allow Preview
Control Type
All Canny Depth Normal OpenPose MLSD
Lineart SoftEdge Scribble
Inpaint IP2P Reference
Preprocessor
t2ia_style_clipvision
Control Weight i Starting Control
Seg Shuffle Tile
None
controlnetT2IAdapter_t2iAdapterColor [c58d: /

(Все нужные модели скачать не забыли?)
А в качестве четвёртого ControlNet'a можно использовать любой, что позволяет сохранить форму: canny, depth, softedge, lineart - на ваше усмотрение и под конкретную задачу.

0 Image,нейронные сети,гайд,туториал,StableDiffusion,песочница

(Вот тут softedge)

Интересный факт: никто не запрещает отредактировать выход предпроцессора в фотошопе. Что-то убрать, что-то подрисовать. Вот где могут понадобиться навыки рисования.

Ладно, всё 4 юнита активны. Нажимаем Generate и:

PATREON.COM/CUTESEXYROBUTTS,нейронные сети,гайд,туториал,StableDiffusion,песочница

Это совсем не то, нужно!
Формы сохранены, но промпт будто проигнорирован. Что случилось? Я вам скажу что: сила ControlNet'а оказалась слишком велика. Stable Diffusion попытался во время генерации воссоздать рисунок-референс да ещё и плюс inpaint там подсунул белый цвет с фона!

Как с этим бороться? Нужно уменьшить эффект двух юнитов переноса стиля (reference и T2IA), но при этом нельзя сильно уменьшать их силу, иначе перенос стиля будет ослаблен. В общем, нужно воспользоваться настройкой Starting Control Step. Она отвечает за то, на какую долю шагов генерации придётся действие ControlNet'a.

Starting Control Step 0.5, например, означает, что первую половину шагов генерация будет опираться только на промпт, а со второй половины подключится уже наш ControlNet.

В общем, план такой: слегка понижаем Control Weight (сила) у стилевых юнитов (примерно до 0.9). После этого начинаем постепенно поднимать границу начала действия стилевых юнитов. Также имеет смысл подобным же образом немного ослабить действие Inpaint'a - позволяет в некоторых случаях исправить цвета.

После нескольких попыток (и усиление промпта) получаем вот такую задницу:

Не идеально, но уже шаг в нужном направлении. На самом деле, сейчас можно (и нужно) уже именно это изображение сделать референсом. Другими словами, скопировать его во все 4 юнита и отталкиваться уже от него. И так сколько нужно раз. Пока не получится идеальный результат, либо ваша генерация окончательно не развалится.

Часть 3. img2img

Даже после получения хорошей генерации во вкладке txt2img имеет смысл несколько отшлифовать изображение уже через img2img inpaint. Главное не забудьте подключить 2 ControlNet'a для переноса стиля. Помните да, reference и T2IA.

Некоторые пункты в виде итога:

Ключ ко всему - это ControlNet (inpaint_only+lama) и ControlNet (reference_only, T2IA)
Генерацию лучше проводить поэтапно, чтобы было на что опереться в последующие шаги
Также имеет смысл разделять генерацию объектов нужной формы и затем покраску их в нужные цвета.
Подбирайте подходящие под задачу модели и/или лоры.
Не забудьте про параметры Control Weight, Starting Control Step, Ending Control Step. И про Control Mode в самом низу!

P.S. Хотел бы я чтобы кто-то обстоятельно протестировал этот метод и поделился бы потом результатами. Мне кажется, как-то можно добиться ещё большей близости к стилю оригинала, ведь задача состояла именно в этом.

Туториал закончен, теперь впечатления. Это охиренно мощная штука! Можно как угодно дорисовать любую картину, стиль вообще не важен, тем более что сейчас уже натренированы сотни моделей на все случаи жизни. Хоть скриншоты из мультфильмов/аниме, хоть картины маслом. Фильмы и фотографии вообще пройденный этап. Можно даже без использования inpaint'a просто сгенерировать сколько хочешь изображений с нуля, просто опираясь на единственный рисунок. А ведь ControlNet появился лишь в начале этого года. Короче, уже почти год прошёл, а всё это до сих пор кажется каким-то колдунством. Что грядущий день готовит...

Отличный комментарий!

а говорили что нейросети работу заберут
судя по этому туториалу теперь нужен Senior Stable Diffusion Manager чтобы только на жопу посмотреть )

imhosep

01.08.2023, 17:32

ссылка

+32,6

kubik.rubiks

Нейросетевые Барышниарт барышняartнагенерил самЭльфийкаElfFantasy raceSousou no FrierenStableDiffusionнейронные сети

,Нейросетевые Барышни,арт барышня,арт девушка, art барышня, art girl,art,арт,нагенерил сам,Эльфийка,Elf,Эльф,Fantasy race,Sousou no Frieren,Frieren: Beyond Journey`s End,StableDiffusion,нейронные сети

$ /г 11^ Ил \f T ri WJ,Нейросетевые Барышни,арт барышня,арт девушка, art барышня, art girl,art,арт,нагенерил сам,Эльфийка,Elf,Эльф,Fantasy race,Sousou no Frieren,Frieren: Beyond Journey`s End,StableDiffusion,нейронные сети$

kubik.rubiks

нейронные сетиAnime EroAnimeфэндомыgenjiruuраздетые нейросеткойAnime Unsorted

Расцензуренная версия вот этого поста: https://anime.reactor.cc/post/5766249

,нейронные сети,Anime Ero,Взрослые Няшки,Anime,Аниме,фэндомы,genjiruu,раздетые нейросеткой,Anime Unsorted

kubik.rubiks

Нейросетевые Барышниарт барышняartStableDiffusionнейронные сетинагенерил самKobeni HigashiyamaChainsaw ManAnimeфэндомы...

,Нейросетевые Барышни,арт барышня,арт девушка, art барышня, art girl,art,арт,StableDiffusion,нейронные сети,нагенерил сам,Kobeni Higashiyama,Higashiyama Kobeni, higashiyama kobeni,Chainsaw Man,chainsawman,Anime,Аниме,фэндомы,Anime Unsorted

kubik.rubiks

нейроартнейронные сетиAnime EroAnimeфэндомыPower (Chainsaw Man)Chainsaw ManAnime Ero Oppai

,нейроарт,нейронные сети,Anime Ero,Взрослые Няшки,Anime,Аниме,фэндомы,Power (Chainsaw Man),Chainsaw Man,chainsawman,Anime Ero Oppai,Грудастые Няшки, Anime Boobs, Аниме Сиськи, Oppai

kubik.rubiks

Anime EroAnimeфэндомыраздетые нейросеткойнейросетиDungeon Meshimarcille donatoЭльфийкаElfFantasy race...

,Anime Ero,Взрослые Няшки,Anime,Аниме,фэндомы,раздетые нейросеткой,нейросети,Dungeon Meshi,marcille donato,Эльфийка,Elf,Эльф,Fantasy race,Anime Unsorted

kubik.rubiks

нейронные сетигайдStable diffusionраздетые нейросеткой

Как отредактировать любой рисунок с помощью нейросети Stable Diffusion. Подробный гайд

Будем считать, что вы уже установили и настроили Automatic1111's Stable Diffusion web-gui, а также скачали расширение для ControlNet'a и модели для него. Нам нужно будет лишь controlNet Inpaint и controlNet Lineart.

В интернете уже есть гайд по установке. И не один. Да хоть на том же YouTube.

Будем учиться редактировать на примере вот этой картинки:

,нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Автор - Chaesu

Первым делом открываем фотошоп. Да, прежде чем загружать изображение в SD, его нужно подготовить. Проблема тут такая: SD 1.5 модели не могут нормально работать с изображениями больше 800 пикселей. Поэтому, выделяем в фотошопе вот такую область размером 600x900:

Не снимайте выделение сразу, оно ещё пригодится

Выделение есть, теперь Ctrl+C и вставляем скопированный кусок во вкладку txt2img в окошко ControlNet'а (в первые три, то есть вставляем три раза):

ControlNet vl.1.440
3 units
▼
ControlNet Unit 0 ControlNet Unit 1 ControlNet Unit 2 ControlNet Unit 3 Single Image Batch Multi-Inputs
Set the preprocessor to [invert] If your image has white background and black lines.
Q и ^ ^
Q Enable
Low VRAM
Pixel Perfect,нейронные сети,гайд,Stable

Вы ведь не забыли увеличить количество юнитов контролнета в настройках?

Теперь настраиваем сами юниты контролнета:
Unit 0:

Preprocessor
reference_only
Control Weight 0,95 Starting Control Step o,22 Ending Control Step
Style Fidelity (only for "Balanced" mode)
Control Mode
Balanced My prompt is more important Q ControlNet is more important,нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Первый юнит будет отвечать за перенос стиля

Unit 1:

Preprocessor
Model
inpaint_only+lama - u controlnetllModelsJnpaint [be8bc0e< ▼
Control Weight 1 Starting Control Step o Ending Control Step i
Control Mode
Balanced Q My prompt is more important ControlNet is more important
□,нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Второй отвечает за редактирование с сохранением контекста

Unit 2:

Preprocessor
Model
lineart_realistic - u controlnetllModelsJineart [5c23bl7d
Control Weight 0,8 Starting Control Step o Ending Control Step
Preprocessor Resolution
Control Mode
O Balanced My prompt is more important ControlNet is more important
- 0
0,8
600,нейронные сети,гайд,Stable

Ну и третий юнит для контроля генерации

После этого нажимайте на кнопку предпросмотра:

И скачивайте получившийся "негатив"

Single Image
Batch Multi-Inputs,нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Можно поиграться с другими препроцессорами, но lineart_realistic обычно выдаёт лучший результат

Смело открываем его в фотошопе (в новой вкладке, старую пока не трогаем) и начинаем редактировать. Надо лишь убрать всё лишнее и обозначить контур того, что хотим получить. Вот как-то так:

Контролирующий лайн готов. Теперь очищаем ControlNet Lineart и вставляем наш "линейный рисунок". Так как на вход теперь на вход контролнету сам лайн, то нам не нужен препроцессор - ставим его на none.

$Single Image Batch Multi-Inputs 0 Image (' /' ff l [/ / '! " Y Y i y /\. / 1 Start drawing ’i VJ 1 , У / \ L i • i xx • ! 1 Set the preprocessor to [invert] If your image has white background and black lines. D а ^ Q Enable Allow Preview Control Type Low VRAM Pixel Perfect Mask$

Это всё ещё Unit 2

Осталось только нарисовать маску inpaint'а. Переходим в ControlNet Inpaint (Unit 1) и прямо тут в веб-интерфейсе закрашиваем те части, которые хотим перерисовать:

Про тень от одежды не забудьте

Осталось лишь написать промпт (и негативный промпт), выбрать параметры генерации (размер 600x900 не забывайте) и нажимать Generate до тех пор, пока не увидите приемлемый результат.
Например:

Главное что стиль далеко не уехал

Это изображение неплохо бы отправить в img2img inpaint, чтобы поправить мелкие недоработки, но сейчас просто копируем его в буфер, возвращаемся в фотошоп и вставляем в нужное место (выделение пригодилось).

Сидит как влитая

Исправляется тем же образом:

Приемлемо

По тому же принципу делаем остальных

Видите недоработки? Исправить их - это ваше домашнее задание

А вот параметры генерации:

Модель для генерации логично выбирать близкую по стилю. Для не слишком реалистичных рисунков Kizuki Alternative почти идеальна.

Несколько советов:

- Уменьшайте исходное изображение заранее, облегчайте нейросети работу.

- Можно обойтись из без Lineart'а, и тогда сетка додумает форму самостоятельно.

- Если какие-то части получились хорошо, а какие-то нет, то просто перенесите результат во вкладки Reference и Inpaint и работайте уже с ним.

- Если исходное изображение слишком тёмное либо светлое, то модель сама по себе может не справиться и имеет смысл подключать затемняющую или осветляющую мини-модель (лору).