Modello di diffusione

I modelli di diffusione funzionano imparando a invertire un processo di aggiunta di rumore. Durante l'addestramento, le immagini pulite vengono progressivamente danneggiate aggiungendo rumore gaussiano ad ogni passaggio fino a quando rimane solo rumore casuale. Il modello impara quindi a prevedere e rimuovere il rumore ad ogni passaggio, imparando effettivamente a ricostruire le immagini dal rumore. Durante la generazione, il processo inizia con puro rumore casuale e lo denomina iterativamente in un'immagine coerente e dettagliata. Ogni passaggio di rimozione del rumore perfeziona ulteriormente l'immagine, passando da forme e colori ampi a dettagli e texture fini.\n\nUn architetto che utilizza uno strumento basato su modello di diffusione può generare concetti di interior design fotorealistici. Partendo da una descrizione testuale di una cucina moderna con ripiani in marmo, il modello inizia con un rumore casuale e lo risolve progressivamente in una visualizzazione architettonica dettagliata. La natura iterativa del processo consente al modello di mantenere la coerenza globale (prospettiva corretta, illuminazione coerente) aggiungendo dettagli locali (grana del marmo, ferramenta del mobile, malta delle piastrelle) nei passaggi successivi.\n\nI modelli di diffusione rappresentano un progresso significativo rispetto agli approcci generativi precedenti. Le Reti generative avversarie (GAN), lo stato dell’arte precedente, a volte producevano il collasso della modalità (generando una varietà limitata) o l’instabilità della formazione. I modelli di diffusione si addestrano in modo più stabile, producono una maggiore diversità e offrono un migliore controllo sul processo di generazione. Supportano inoltre naturalmente operazioni di modifica come l'inpainting e l'outpainting condizionando il processo di rimozione del rumore sulle regioni dell'immagine esistenti.\n\nLe funzionalità di intelligenza artificiale diMagic Eraser sono alimentate dalla tecnologia del modello di diffusione. Quando lo strumento riempie le aree dopo la rimozione dell'oggetto, genera nuovo contenuto di sfondo o crea estensioni di immagine, utilizza il denoising iterativo per produrre contenuti fotorealistici e contestualmente coerenti con l'immagine circostante. Il processo di perfezionamento iterativo consente al modello di correggere i propri errori in ogni fase, migliorando progressivamente la coerenza e il dettaglio del contenuto generato in un modo che i metodi di generazione a passaggio singolo non possono ottenere, motivo per cui gli approcci basati sulla diffusione producono notevolmente meno artefatti visivi e risultati più coerenti.