Диффузионная модель

Модели диффузии работают, обучаясь обращать вспять процесс добавления шума. Во время обучения чистые изображения постепенно искажаются за счет добавления гауссова шума на каждом этапе, пока не останется только случайный шум. Затем модель учится предсказывать и удалять шум на каждом этапе, эффективно восстанавливая изображения из шума. Во время генерации процесс начинается с чистого случайного шума и итеративно удаляет его в связное, детальное изображение. Каждый шаг шумоподавления улучшает изображение, переходя от широких форм и цветов к мелким деталям и текстурам.\n\nАрхитектор, использующий инструмент на основе диффузионной модели, может создавать фотореалистичные концепции дизайна интерьера. Начиная с текстового описания современной кухни с мраморной столешницей, модель начинается со случайного шума и постепенно преобразует его в детальную архитектурную визуализацию. Итеративный характер процесса позволяет модели сохранять глобальную согласованность (правильная перспектива, постоянное освещение), добавляя при этом локальные детали (мраморное зерно, фурнитуру для шкафов, затирку плитки) на более поздних этапах.\n\nДиффузионные модели представляют собой значительный прогресс по сравнению с предыдущими генеративными подходами. Генеративно-состязательные сети (GAN), предыдущее состояние техники, иногда вызывали коллапс режима (генерируя ограниченное разнообразие) или нестабильность обучения. Модели диффузии обучаются более стабильно, обеспечивают большее разнообразие и обеспечивают лучший контроль над процессом генерации. Они также естественным образом поддерживают такие операции редактирования, как закрашивание и закрашивание, определяя процесс шумоподавления в существующих областях изображения.\n\nMagic Eraser Возможности искусственного интеллекта основаны на технологии диффузионной модели. Когда инструмент заполняет области после удаления объекта, генерирует новый фоновый контент или создает расширения изображения, он использует итеративное шумоподавление для создания фотореалистичного контента, контекстуально соответствующего окружающему изображению. Итеративный процесс уточнения позволяет модели исправлять собственные ошибки на каждом этапе, постепенно улучшая согласованность и детализацию сгенерированного контента, чего не могут достичь методы однопроходной генерации, поэтому подходы, основанные на диффузии, производят заметно меньше визуальных артефактов и более последовательные результаты.