Потратил пару недель на експерименты с нейронками (StableDiffusion и Controlnet) и хочу поделиться опытом.
Модель yiffymix сама по себе уже даёт классные картинки и, например, мышь с свечкой нагенерит без всяких проблем. Но интерес в том, что бы опробовать более продвинутые техники генерации. На мышь ушло два вечера, вот с подружками-кошками пришлось повозиться прилично времени.
Хотелось опробовать варианты большего контроля над выводом нейронки, возможность делать комплексные сцены. Для експериментов использовался softadge и colormask.
Сам принцип довольно прост.
Генерим или находим в интернете нужную картинку. Получаем из неё softadge изображение при помощи набора нейронок из controlnet-а. Вот пару примеров.
,нейросетевые барышни,арт барышня,арт девушка, art барышня,art,арт,нейросетевые фурри,нагенерил сам,StableDiffusion,нейронные сети,furry art,furry,фурри,фэндомы,furry cat,furry feline,furry mouse,furry rodent
Далее закидываем это дело в графический редактор, стираем не нужное, дорисовываем желемое и фиксим проблемные места.
На выходе в случае с мышью у меня вышла вот такая картинка. Не идеально но для експериментов пойдёт. По ней уже нейронка вполне выдаст желаемое.
,нейросетевые барышни,арт барышня,арт девушка, art барышня,art,арт,нейросетевые фурри,нагенерил сам,StableDiffusion,нейронные сети,furry art,furry,фурри,фэндомы,furry cat,furry feline,furry mouse,furry rodent
Но как сделать желаемую цветовую гамму? В принципе с этим и описание в промпте справиться может но для сложных случаев можно спользовать модели t2ia_color_grid и t2iadapter_color.
В том же графическом редакторе рисуем крупными пятнами цвета.
,нейросетевые барышни,арт барышня,арт девушка, art барышня,art,арт,нейросетевые фурри,нагенерил сам,StableDiffusion,нейронные сети,furry art,furry,фурри,фэндомы,furry cat,furry feline,furry mouse,furry rodent
Прогоняем через t2ia_color_grid и получаем вот такую "смеху", в зависимости от настроек она может быть более или менее детализирована, это надо играться и искать лучший вариант.
,нейросетевые барышни,арт барышня,арт девушка, art барышня,art,арт,нейросетевые фурри,нагенерил сам,StableDiffusion,нейронные сети,furry art,furry,фурри,фэндомы,furry cat,furry feline,furry mouse,furry rodent
А далее уже магия контролнета выдаст результат, наиболее близкий к желаемому.
П.с. сам ещё не пробовал, но вполне возможно что этот приём может хорошо помочь при генерации персонажей с оружием. Нейронки плохо с ними справляються.