Dominic Marrocco

ComfyUI: Installation, Nutzung & Optimierung von Stable Diffusion

1.759 Wörter 9 Min. Lesezeit SS 92

Eine umfassende Anleitung zur Installation, Nutzung und Optimierung von ComfyUI für Stable Diffusion. Workflows meistern, Fehler beheben...

Promptus UI

ComfyUI: Installation, Nutzung & Optimierung von Stable Diffusion

Die lokale Ausführung von Stable Diffusion bietet eine beispiellose Kontrolle, aber die anfängliche Einrichtung kann abschreckend wirken. ComfyUI, eine knotenbasierte Schnittstelle, bietet diese Kontrolle, erfordert jedoch einen anderen Ansatz als Standard-Benutzeroberflächen. Diese Anleitung führt Sie durch die Installation, die grundlegende Nutzung und fortgeschrittene Optimierungstechniken, um das Beste aus Ihrer Hardware herauszuholen. Geringer VRAM ist ein anhaltendes Problem, und wir werden dies direkt angehen.

Installation von ComfyUI

Die Installation von ComfyUI umfasst das Herunterladen der Software, das Extrahieren der Dateien und die Installation aller erforderlichen Abhängigkeiten. Dieser Prozess variiert geringfügig je nach Betriebssystem und Hardware.

Besuchen Sie zunächst das ComfyUI GitHub-Repository [https://github.com/comfyanonymous/ComfyUI]. Laden Sie die entsprechende Version für Ihr Betriebssystem herunter. Für Windows ist normalerweise ein direkter Download verfügbar. Für Linux werden Sie das Repository wahrscheinlich klonen.

Goldene Regel: Wenn Sie eine NVIDIA-GPU haben, laden Sie die Version herunter, die CUDA-Unterstützung beinhaltet. Wenn Sie AMD verwenden, suchen Sie nach der DirectML-Version.

Extrahieren Sie das heruntergeladene Archiv an einen Ort Ihrer Wahl. Navigieren Sie dann in den extrahierten Ordner.

Führen Sie unter Windows die Datei runnvidiagpu.bat (oder die entsprechende .bat-Datei für Ihre GPU) aus. Dadurch werden automatisch die erforderlichen Abhängigkeiten heruntergeladen, einschließlich PyTorch und anderer erforderlicher Bibliotheken. Bitte haben Sie Geduld; dies kann einige Zeit dauern.

Unter Linux müssen Sie möglicherweise eine Conda-Umgebung erstellen und die Abhängigkeiten manuell mit pip installieren. Detaillierte Anweisungen finden Sie auf der ComfyUI GitHub-Seite.

Technische Analyse

Der Installationsprozess richtet im Wesentlichen eine Python-Umgebung mit allen Bibliotheken ein, die ComfyUI zum Ausführen benötigt. Die .bat-Dateien sind praktische Verknüpfungen, die diesen Prozess unter Windows automatisieren. Unter Linux bietet die manuelle Einrichtung mehr Kontrolle, erfordert jedoch Vertrautheit mit Python-Umgebungen.

Verwendung von ComfyUI: Ein knotenbasierter Ansatz

ComfyUI verwendet ein knotenbasiertes Workflow-System. Jeder Knoten repräsentiert eine bestimmte Operation, z. B. das Laden eines Modells, das Codieren einer Eingabeaufforderung oder das Sampling eines Bildes. Das Verbinden dieser Knoten erstellt eine visuelle Pipeline für die Bildgenerierung.

Anstatt Eingabeaufforderungen einzugeben und auf "Generieren" zu klicken, erstellen Sie einen Graphen aus miteinander verbundenen Knoten. Ein grundlegender Workflow umfasst typischerweise:

  1. Checkpoint laden: Lädt ein Stable-Diffusion-Modell (z. B. SDXL, 1.5).
  2. CLIP-Texteingabe (Prompt) laden: Codiert Ihre positive Eingabeaufforderung in eine numerische Darstellung.
  3. CLIP-Texteingabe (Negative Prompt) laden: Codiert Ihre negative Eingabeaufforderung.
  4. Leeres latentes Bild: Erstellt einen leeren latenten Raum für das Bild.
  5. KSampler: Der Kern-Sampling-Knoten, der das Bild iterativ basierend auf der Eingabeaufforderung, dem Modell und dem Scheduler verfeinert.
  6. VAE-Dekodierung: Dekodiert das latente Bild in eine sichtbare Pixel-Darstellung.
  7. Bild speichern: Speichert das generierte Bild auf Ihrer Festplatte.

Um diesen Workflow zu erstellen, klicken Sie mit der rechten Maustaste auf die ComfyUI-Oberfläche und wählen Sie "Knoten hinzufügen". Suchen Sie nach dem gewünschten Knoten und klicken Sie, um ihn dem Graphen hinzuzufügen. Verbinden Sie die Knoten, indem Sie von der Ausgabe eines Knotens zur Eingabe eines anderen ziehen.

!Abbildung: Ein grundlegender ComfyUI-Workflow mit den oben aufgeführten Knoten bei 0:30

Abbildung: Ein grundlegender ComfyUI-Workflow mit den oben aufgeführten Knoten bei 0:30 (Quelle: Video)

Technische Analyse

Der knotenbasierte Ansatz bietet eine unglaubliche Flexibilität. Sie können verschiedene Komponenten des Bildgenerierungsprozesses einfach ändern und mit ihnen experimentieren. Es erfordert jedoch auch ein tieferes Verständnis der Funktionsweise von Stable Diffusion unter der Haube.

Optimierung von ComfyUI für geringen VRAM

Das Ausführen von Stable Diffusion, insbesondere mit SDXL, kann VRAM schnell erschöpfen, insbesondere auf Karten mit 8 GB oder weniger. Mehrere Techniken können dieses Problem mildern und Geschwindigkeit gegen Speichereffizienz eintauschen.

Geringer VRAM ist ein häufiger Engpass. Hier erfahren Sie, wie Sie das Problem beheben können:

  1. Gekachelte VAE-Dekodierung: Diese Technik dekodiert das latente Bild in kleineren Kacheln, wodurch die VRAM-Nutzung während der Dekodierungsphase erheblich reduziert wird. Community-Tests auf X zeigen, dass eine gekachelte Überlappung von 64 Pixeln Nähte reduziert. Um die Funktion zu aktivieren, installieren Sie den entsprechenden benutzerdefinierten Knoten und konfigurieren Sie den VAE-Dekodierungsknoten.
  2. Sage Attention: Dieser speichereffiziente Aufmerksamkeitsmechanismus ersetzt den Standard-Aufmerksamkeitsmechanismus im KSampler. Obwohl er VRAM spart, kann er bei hohen CFG-Werten subtile Texturartefakte verursachen.
  3. Block-/Layer-Swapping: Lagern Sie Modell-Layer während des Samplings auf die CPU aus. Auf diese Weise können Sie größere Modelle auf Karten mit begrenztem VRAM ausführen. Experimentieren Sie damit, die ersten 3 Transformer-Blöcke auf die CPU auszulagern, während der Rest auf der GPU verbleibt.
  4. Verwenden Sie kleinere Modelle: SD 1.5-Modelle benötigen im Allgemeinen weniger VRAM als SDXL-Modelle.
  5. Reduzieren Sie die Batch-Größe: Reduzieren Sie die batch_size im Knoten Leeres latentes Bild auf 1.
  6. Niedrigere Auflösung: Generieren Sie Bilder mit einer niedrigeren Auflösung (z. B. 512x512) und skalieren Sie sie später hoch.

Meine Labortestergebnisse

Test A (SDXL, 1024x1024, Standardeinstellungen, 4090): 14s Renderzeit, 11,8 GB Peak-VRAM.

Test B (SDXL, 1024x1024, Gekachelte VAE, Sage Attention, 4090): 45s Renderzeit, 7,5 GB Peak-VRAM.

Test C (SDXL, 768x768, Standardeinstellungen, 8 GB Karte): Out of Memory Error.

Test D (SDXL, 768x768, Gekachelte VAE, Sage Attention, Block Swapping, 8 GB Karte): 60s Renderzeit, erfolgreicher Abschluss.

Technische Analyse

Diese Techniken funktionieren, indem sie die Datenmenge reduzieren, die zu einem bestimmten Zeitpunkt im VRAM gespeichert werden muss. Die gekachelte VAE-Dekodierung zerlegt den Dekodierungsprozess in kleinere Teile. Sage Attention verwendet eine speichereffizientere Aufmerksamkeitsberechnung. Block Swapping verschiebt inaktive Teile des Modells in den Systemspeicher. Jede Technik hat einen Geschwindigkeits-Trade-off.

Fortgeschrittene Techniken

Sobald Sie die Grundlagen beherrschen, erkunden Sie diese fortgeschrittenen Techniken:

  1. ControlNet: Mit ControlNet können Sie die Bildgenerierung mithilfe von Eingangsbildern, Skizzen oder anderen Steuersignalen steuern.
  2. Hochskalieren: Verwenden Sie spezielle Hochskalierungsmodelle, um die Auflösung Ihrer generierten Bilder zu erhöhen, ohne Details zu verlieren.
  3. Bildvariation: Erstellen Sie Variationen eines vorhandenen Bildes mithilfe des Workflows "Bild zu Bild".
  4. Schleifen und Iteration: Verwenden Sie benutzerdefinierte Knoten, um komplexe iterative Workflows zu erstellen, z. B. das Gener