Stable Diffusion – нейросеть, пользующаяся большим спросом. Стабильность и предсказуемость лежат в основе метода генерации и обработки изображения в Stable Diffusion. AI работает по текстовым описаниям (промптам).
Среди недостатков нейросети отмечают:
- Влияние начальных условий. Пользователь не может получить несколько одинаковых моделей в результате генерации
- Зависимость от выбора параметров. Неизменное сочетание параметров не приводит к одним и тем же результатам во всех типах сегментации. По этой причине дизайнеры склоняются к выбору других нейросетей
- Нет фильтрации шума
В сравнении с Stable Diffusion, нейросеть Нейрохолст с высокой скоростью генерирует качественно прорисованную более точную модель по описанию дизайнера вне зависимости от параметров. В этом случае важна формулировка запросов.
Возможности Stable Diffusion
- Генерировать картинки по описанию в разных стилях: от эпохи Возрождения до NFT-арта
- Создавать ассеты (нужные игровые предметы). Нейросеть Stable Diffusion интегрирована в движок Unreal Engine
- Создавать визуальные проекты - покадровую анимацию, видео
- Редактировать картинки: Inpainting позволяет заменять объекты, а Outpainting - дорисовывать фон, в том числе несколько раз
- Генерировать тексты в заданном стиле, также обучать GAN
- Генерировать изображения человека по фотографии
Как можно работать с нейросетью Stable Diffusion?
Открыть онлайн-версию в браузере. Пользователям не понадобятся навыки в программировании, однако высокое качество сгенерированных картинок и многие функции в онлайн-версии доступны только по платной подписке
Скачать десктопное приложение. Требования к компьютеру в этом случае:
- ОС – Windows 10 или 11;
- ОЗУ – от 8 Гб;
- видеокарта NVidia 10хх с 4 Гб памяти;
- жесткий диск SSD, доступное место не менее 20 Гб
Можно ли скачать и установить Stable Diffusion?
Stable Diffusion можно скачать с официального сайта. Там же есть ссылки на нейросеть в Google Play Market и AppStore.
Кроме того, найти Stable Diffusion можно и на GitHub.com, где выложен открытый исходный код нейросети для её запуска. Из загруженной папки нужно запустить файл с расширением «.exe». Скачанная утилита сохраняется в отдельной папке на диске С или D. Необходимо поставить значок “галка” напротив пункта «Create Desktop Shortcut» и убрать напротив пункта, сразу запускающего программу.
Ядро нейросети запускается в командной строке, поэтому при работе она должна быть открытой.
Модели для Stable Diffusion
У каждой модели для нейросети своя специализация.
- Open Journey. Эту модель эстетика и качественные картинки
- Robo Diffusion - рисует роботов
- InkPunk Diffusion - картинки в панк-стиле, обучена на DreamBooth
- Anything V3 - аниме-арт. К сожалению, нарушает пропорции в изображениях женщин
- Embedding пираты - рисует пиратов и пиратские корабли
- Deliberate 2.0 - рисует людей
Инструкция по работе с моделями для Stable Diffusion:
- Скачать модель и вставить в каталог под названием stable-diffusion-ui\models\stable-diffusion
- Выбрать в настройках нужную модель, кликнув по ней левой кнопкой мыши
Как генерировать картинки в Stable Diffusion?
- Обучить модель на наборе данных
- Обозначить параметры обучения: скорость, количество шагов
- При плохом результате продолжить обучение
Как работать в Stable Diffusion по текстовым промптам?
Настройка и написание кода необходимы для работы с нейросетью по промптам:
- Установить библиотеки для нейронных сетей: TensorFlow, PyTorch или другие
- Использовать предобученную модель нейросети Stable Diffusion или обучить свою
- Написать функцию, принимающую текстовый промпт и использующую его для генерации изображения с помощью модели Stable Diffusion
- Перевести промпт в числовой вектор или другой доступный для обработки моделью формат. Возможно использование предварительно обученных моделей для обработки естественного языка (NLP)
- Подать преобразованный промпт.
- Оценить результат, настроить параметры
Как работать в Stable Diffusion по референсам?
Инструмент img2img перерисовывает картинку по введенному описанию. Sketch дорисовывает спрятанный под пятнами элемент.
Три инструмента Stable Diffusion бесплатно:
- Inpaint upload ― для загрузки картинки-маски
- Batch ― для обработки нескольких картинок сразу с помощью img2img
- Copy image to ― переключение между режимами
Как написать качественный промпт для Stable DIffusion?
- Выбрать высокое разрешение или оптимальное – 512х512 пикселей. Генерация картинки с высоким разрешением задействует всю мощность видеокарты
- Указать число шагов генерации: это влияет на качество и время создания картинки. Оптимально - 50 шагов
- Параметр степени свободы - значение 8
- Длина промпта - до 75 слов
Пример: «Сгенерируй изображение кофейной чашки на деревянном столе с приглушенным естественным освещением. Используя архитектуру Stable Diffusion, создай 3 варианта этой сцены с разными ракурсами и цветами».