Stable Diffusion в архитектурной визуализации

Создание визуализации окружения экстерьера с использование искусственного интеллекта Stable Diffusion

Создание визуализации окружения экстерьера с использование искусственного интеллекта Stable Diffusion

ПОСМОТРЕТЬ ПРОГРАММУ

Скачать материалы к уроку

Сцена экстерьера, исходные рендеры, маски, cutout, PSD, promt и все сгенерированные изображения

БЕСПЛАТНЫЙ | БАЗОВЫЙ КУРС

ТАЙМ-КОД ВИДЕО ПО УРОКУ:

00:03 - Вступление
01:10 - Рендер в 3Ds Max
03:30 - Коллаж в Photoshop
06:35 - Создание маски

08:45 - Генерация в Stable Diffusion
14:00 - Падающие тени
15:00 - Завершение

Коллажирование в Photoshop

Перед началом генерации в Stable Diffusion, вам необходимо добавить деревья и кустарники в окружающую среду на участке и вокруг дома. Для этого лучше всего использовать изображения Cutout, заранее подготовленные фотографии озеленения, вырезанные из фона.

Чтобы последующая генерация не влияла на само здание и элементы благоустройства, вам необходимо создать маску, где белым будут отображаться элементы, которые не нужно улучшать с помощью нейросетей.

Stable Diffusion

Онлайн-курс по использованию искусственного

интеллекта в архитектурной визуализации

Генерация в Stable Diffusion

Stable Diffusion, в отличие от платных аналогов типа DALL-E 2 и Midjourney, является нейросетью с открытым исходным кодом. Это означает, что вы можете свободно устанавливать её на своё устройство и пользоваться бесплатно. Для работы нам потребуется SD сборки Automatic1111, несколько моделей генерации с сайта civitai.com и расширение ControlNet с моделью Canny.

Stable Diffusion checkpoint - заранее обученные модели нейроси. В данном уроке мы будем использовать такие модели: absolutereality_v181, cyberrealistic_v42, photon_v1, realisticVisionV60B1_v51VAE. Все их вы можете найти на сайте civitai.com
Выбираем режим генерации img2img
Promt - photo of a large modern house with a green lawn in the back yard and a fenced in area, shadows from trees on the lawn
Negative prompt: asphalt, swimming pool, concrete floor, 3d, cartoon, anime, sketches, vignetting, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), (out of frame, cropped)
В раздел Inpaint upload подгружаем коллаж нашего рендера и его маску.

Mask mode - Inpaint not masked, указывает что вы хотим сгенерировать все что не замаскировано, то есть черные области маски.
Masked content - original, при генерации будет учитываться оригинальный контект нашего рендера.
Inpaint area - Whole picture, будем производить генерацию всего изображения.
Sampling steps - количество шагов генерации, выставляем от 20 до 40. Влияет на качество проработки деталей.
Resize to - разрешение генерации, чем выше тем четче и тем больше потребляется видеопамяти.
CFG Scale - выставляем на 5-7, на сколько сильно генерируемое изображение будет отвечать промту.
Denoising strength - 0,7-0,9, влияет на степень вносимых изменений в исходное изображение.

Подключаем ControlNet - Enable, а также отметку Pixel Perfect
Control Type - Canny для захвата очертаний растений и падающих теней отдеревьев.
Control Mode - ControlNet is more important, во время генерации ControlNet будет играть большую роль нежели наше описание в промте.

BARNHOUSE

Онлайн-курс 3D визуализации экстерьера
в 3Ds MAX и Corona Render

Generate - начать генерацию изображения. Первым делом Stable Diffusion сгенерирует целиком все изображение заново, а затем вставить в него замаскированную часть из оригинального рендера.