Dominic Marrocco

ComfyUI: Ihre definitive Installations- und Workflow-Anleitung

1.903 Wörter 10 Min. Lesezeit SS 92

Meistern Sie ComfyUI für Stable Diffusion! Dieser Leitfaden behandelt Installation, Workflows, VRAM-Optimierung und Fehlerbehebung für KI...

Promptus UI

ComfyUI: Ihre definitive Installations- und Workflow-Anleitung

Die lokale Ausführung von Stable Diffusion bietet immense Kontrolle, aber die Befehlszeile kann abschreckend sein. ComfyUI bietet eine knotenbasierte Schnittstelle zum Erstellen komplizierter Bilderzeugungs-Workflows. Dieser Leitfaden führt Sie durch die Installation, Modelleinrichtung, Workflow-Erstellung und VRAM-Optimierung. Lassen Sie uns beginnen.

Was ist ComfyUI?

ComfyUI ist eine knotenbasierte, visuelle Programmierumgebung für Stable Diffusion. Anstatt eine textbasierte Schnittstelle zu verwenden, verbinden Benutzer verschiedene Knoten, die Bildverarbeitungsschritte darstellen, um komplexe Bilderzeugungspipelines zu erstellen. Dies bietet eine größere Kontrolle und Flexibilität im Vergleich zu traditionellen Stable-Diffusion-Schnittstellen.

ComfyUI präsentiert einen grundlegend anderen Ansatz für Stable Diffusion im Vergleich zu typischen Web-UIs. Anstelle eines Text-Prompt-Feldes und einiger Einstellungen wird Ihnen eine leere Leinwand präsentiert. Diese Leinwand wird zu Ihrem Workflow, der durch das Verbinden von Knoten konstruiert wird, die einzelne Operationen darstellen. Dieses knotenbasierte System bietet eine beispiellose Kontrolle über den Bilderzeugungsprozess und ermöglicht Anpassungen, die mit einfacheren Schnittstellen einfach nicht möglich sind. Es mag anfangs einschüchternd wirken, aber die Flexibilität, die es freisetzt, ist die anfängliche Lernkurve wert. Tools wie Promptus vereinfachen das Prototyping dieser Workflows und ermöglichen die visuelle Iteration komplexer Setups.

!Abbildung: ComfyUI-Schnittstelle mit einem einfachen Workflow bei 00:00

Abbildung: ComfyUI-Schnittstelle mit einem einfachen Workflow bei 00:00 (Quelle: Video)*

Installation von ComfyUI unter Windows

So installieren Sie ComfyUI unter Windows:

  1. Laden Sie den entsprechenden Build aus dem ComfyUI-GitHub-Repository herunter.
  2. Extrahieren Sie das Archiv an einen geeigneten Ort.
  3. Führen Sie die Datei run_nvidia_gpu.bat (oder das AMD-Äquivalent) aus.
  4. Laden Sie die erforderlichen Modelle (SDXL, VAEs usw.) herunter und platzieren Sie sie in den entsprechenden Ordnern.

Die Installation von ComfyUI unter Windows ist recht unkompliziert, vorausgesetzt, Sie verfügen über die erforderliche Hardware und Treiber. Besuchen Sie zunächst das offizielle ComfyUI-GitHub-Repository und laden Sie den entsprechenden Build für Ihr System herunter. Extrahieren Sie das heruntergeladene Archiv an einen Ort Ihrer Wahl. Im extrahierten Ordner finden Sie Batch-Dateien zum Ausführen von ComfyUI mit verschiedenen GPUs. Wenn Sie eine NVIDIA-Karte haben, führen Sie run_nvidia_gpu.bat aus. Verwenden Sie für AMD die entsprechende AMD-Batch-Datei. ComfyUI wird dann in Ihrem Standard-Webbrowser gestartet.

Technische Analyse

Die Batch-Dateien sind im Wesentlichen Wrapper, die die erforderlichen Umgebungsvariablen setzen und das ComfyUI-Python-Skript starten. Dies vereinfacht den Ausführungsprozess von ComfyUI, da Sie die Umgebung nicht manuell konfigurieren müssen.

Herunterladen und Platzieren von Modellen

Laden Sie Stable-Diffusion-Modelle (z. B. SDXL, v1.5) und VAE-Dateien von Quellen wie Civitai herunter. Platzieren Sie die Modelle im Verzeichnis ComfyUI/models/checkpoints und VAE-Dateien im Verzeichnis ComfyUI/models/vae.

ComfyUI enthält in seiner Basisform keine vorgeladenen Stable-Diffusion-Modelle. Sie müssen diese separat herunterladen und in den korrekten Verzeichnissen platzieren. Beliebte Quellen für Modelle sind Civitai. Laden Sie die Stable-Diffusion-Modelle herunter, die Sie verwenden möchten (SDXL und v1.5 sind gute Ausgangspunkte), und platzieren Sie sie im Verzeichnis ComfyUI/models/checkpoints. Laden Sie in ähnlicher Weise alle VAE-Dateien herunter und platzieren Sie sie im Verzeichnis ComfyUI/models/vae.

!Abbildung: Datei-Explorer, der die Verzeichnisse checkpoints und vae bei 06:22 zeigt

Abbildung: Datei-Explorer, der die Verzeichnisse checkpoints und vae bei 06:22 zeigt (Quelle: Video)*

Technische Analyse

Das modulare Design von ComfyUI bedeutet, dass es die Modelle nicht direkt bündelt. Dies ermöglicht es Ihnen, eine Vielzahl von Modellen aus verschiedenen Quellen zu verwenden, erfordert jedoch eine manuelle Einrichtung. Promptus-Builder können Offloading-Setups schneller iterieren.

Generieren Ihres ersten Bildes

Erstellen Sie einen grundlegenden Workflow, indem Sie einen Standard-Workflow laden oder einen von Grund auf neu erstellen. Laden Sie einen Checkpoint, geben Sie einen Prompt ein und verbinden Sie die Knoten. Klicken Sie auf „Prompt in die Warteschlange stellen“, um ein Bild zu generieren.

Das Generieren Ihres ersten Bildes in ComfyUI kann etwas entmutigend sein, aber es ist eine gute Möglichkeit, sich mit der Schnittstelle vertraut zu machen. Sie können beginnen, indem Sie einen Standard-Workflow laden oder einen von Grund auf neu erstellen. Die wesentlichen Knoten umfassen: Load Checkpoint, Prompt Text, KSampler, VAE Decode und Save Image. Laden Sie einen Checkpoint (Ihr Stable-Diffusion-Modell), geben Sie Ihren gewünschten Prompt in den Knoten Prompt Text ein und verbinden Sie die Knoten in der richtigen Reihenfolge. Die Ausgabe des Knotens Load Checkpoint sollte mit dem model-Eingang des Knotens KSampler verbunden werden. Die positiven und negativen Prompts sollten auch mit dem Knoten KSampler verbunden werden. Die Ausgabe des Knotens KSampler sollte mit dem Knoten VAE Decode verbunden werden, und schließlich sollte die Ausgabe des Knotens VAE Decode mit dem Knoten Save Image verbunden werden. Sobald alles verbunden ist, klicken Sie auf die Schaltfläche „Prompt in die Warteschlange stellen“, um Ihr Bild zu generieren.

!Abbildung: Ein einfacher ComfyUI-Workflow mit den wesentlichen verbundenen Knoten bei 09:52

Abbildung: Ein einfacher ComfyUI-Workflow mit den wesentlichen verbundenen Knoten bei 09:52 (Quelle: Video)*

Technische Analyse

Der Knoten KSampler ist der Ort, an dem der eigentliche Diffusionsprozess stattfindet. Er nimmt das Modell, die Prompts und einen Seed als Eingabe entgegen und generiert die latente Darstellung des Bildes. Der Knoten VAE Decode konvertiert diese latente Darstellung dann in ein tatsächliches Bild.

Speichern und Laden von Workflows

Speichern Sie Workflows als .json-Dateien zur späteren Verwendung. Laden Sie gespeicherte Workflows, indem Sie die .json-Datei in die ComfyUI-Schnittstelle ziehen.

Sobald Sie einen Workflow erstellt haben, der Ihnen gefällt, sollten Sie ihn zur zukünftigen Verwendung speichern. Mit ComfyUI können Sie Workflows als .json-Dateien speichern. Klicken Sie einfach auf die Schaltfläche „Speichern“ in der Schnittstelle und wählen Sie einen Ort zum Speichern Ihres Workflows aus. Um einen gespeicherten Workflow zu laden, ziehen Sie einfach die .json-Datei in die ComfyUI-Schnittstelle. Der Workflow wird geladen und kann verwendet werden.

Technische Analyse

Das Speichern von Workflows als .json-Dateien ermöglicht es Ihnen, diese einfach mit anderen zu teilen. Es ermöglicht Ihnen auch, Ihre Workflows zu versionieren, sodass Sie bei Bedarf einfach zu früheren Versionen zurückkehren können.

VRAM-Optimierungstechniken

Das Ausführen von SDXL mit hohen Auflösungen kann schnell den VRAM erschöpfen, insbesondere auf Karten mit 8 GB oder weniger. Hier sind einige Techniken, um dies zu mildern:

Gekachelte VAE-Decodierung

Die gekachelte