SwinDiffuser : accelerating diffusion models through parallel processing

Abstract

Diffusion models have emerged as a powerful generative approach in artificial intelligence, particularly for image, video, and audio synthesis. Despite their success, these models suffer from significant computational demands due to the iterative nature of the denoising process. This thesis introduces the SwinDiffuser, a novel method designed to accelerate diffusion models by leveraging parallel processing. The proposed method divides high-resolution images into smaller patches, allowing for simultaneous processing by multiple diffusers. Key innovations include the integration of global feature extractors and shifting windows to maintain coherence across patches, and the utilisation of a U-Net architecture for noise prediction. Experimental results demonstrate that the SwinDiffuser achieves comparable image quality to standard diffusion models while significantly reducing generation time. This advancement paves the way for practical applications of diffusion models in real-time scenarios and resource-constrained environments.

Diffusionsmodelle haben sich als mächtiger generativer Ansatz in der künstlichen Intelligenz etabliert, insbesondere für die Bild-, Video- und Audiogenerierung. Trotz ihres Erfolgs sind diese Modelle aufgrund der iterativen Natur des Rauschunterdrückungsprozesses mit erheblichen Rechenanforderungen verbunden. Diese Arbeit stellt den SwinDiffuser vor, eine neuartige Methode zur Beschleunigung von Diffusionsmodellen durch parallele Verarbeitung. Die vorgeschlagene Methode unterteilt hochauflösende Bilder in kleinere Abschnitte, die gleichzeitig von mehreren Diffusoren verarbeitet werden können. Zu den wichtigsten Innovationen gehören die Integration globaler Merkmalsextraktoren und verschiebbarer Fenster, um die Kohärenz zwischen den Abschnitten zu gewährleisten, sowie die Nutzung einer U-Net-Architektur zur Rauschvorhersage. Experimentelle Ergebnisse zeigen, dass der SwinDiffuser eine mit Standard-Diffusionsmodellen vergleichbare Bildqualität erreicht und gleichzeitig die Generierungszeit erheblich reduziert. Diese Weiterentwicklung ebnet den Weg für praktische Anwendungen von Diffusionsmodellen in Echtzeitszenarien und ressourcenbeschränkten Umgebungen.