Dominic Marrocco

ComfyUI: KI-Bilderzeugung meistern – Eine tiefgehende Analyse

1.986 Wörter 10 Min. Lesezeit SS 92

Entdecken Sie ComfyUI, den ultimativen Bildgenerator, mit diesem umfassenden Leitfaden. Lernen Sie fortgeschrittene Techniken für Text-zu-Bild,...

Promptus UI

ComfyUI: KI-Bilderzeugung meistern

Das Ausführen von SDXL mit hohen Auflösungen bringt oft selbst High-End-GPUs an ihre Grenzen. Dieser Leitfaden befasst sich mit der Optimierung von ComfyUI-Workflows für anspruchsvolle Aufgaben wie Text-zu-Bild, Bild-zu-Bild und Hochskalierung und behandelt Installation, fortgeschrittene Techniken und Tipps zur Fehlerbehebung. Dies ist keine Anfängeranleitung; wir setzen voraus, dass Sie bereits mit den Grundlagen von ComfyUI und Stable Diffusion vertraut sind.

Was ist ComfyUI?

ComfyUI ist eine graphbasierte Benutzeroberfläche für Stable Diffusion. Sie bietet eine modulare und flexible Umgebung für die Erstellung komplexer Bilderzeugungs-Workflows. Im Gegensatz zu einfacheren Oberflächen ermöglicht ComfyUI eine detaillierte Kontrolle über jeden Schritt des Prozesses, vom Laden von Modellen bis zum Anwenden von benutzerdefinierten Knoten und Skripten.

ComfyUI bietet eine beispiellose Kontrolle über die Bilderzeugungspipeline. Das knotenbasierte System ermöglicht es Ihnen, jeden Schritt zu visualisieren und zu modifizieren, was es ideal für Experimente und fortgeschrittene Workflows macht. Diese Flexibilität hat jedoch eine steilere Lernkurve im Vergleich zu einfacheren Oberflächen.

!Abbildung: ComfyUI-Schnittstelle mit Beispielworkflow bei 0:00

Abbildung: ComfyUI-Schnittstelle mit Beispielworkflow bei 0:00 (Quelle: Video)*

Installation

Der erste Schritt ist die Inbetriebnahme von ComfyUI. Die Installation ist unkompliziert, erfordert aber Git und Python. Das ComfyUI-GitHub-Repository (ComfyUI Official) bietet detaillierte Anweisungen für verschiedene Betriebssysteme [1:48].

Goldene Regel: Stellen Sie immer sicher, dass Sie die neuesten Treiber für Ihre GPU haben. Veraltete Treiber können Leistungsprobleme und Fehler verursachen.

Sobald Sie es installiert haben, müssen Sie die notwendigen Modelle herunterladen.

Herunterladen von Modellen

Das Herunterladen von Modellen ist essenziell, um Bilder in ComfyUI zu erstellen. Modelle werden von Seiten wie Civitai und Hugging Face heruntergeladen. Diese Modelle werden dann in den richtigen Ordner innerhalb von ComfyUI gelegt, um innerhalb des Knotengraphen darauf zuzugreifen.

ComfyUI wird nicht mit vorinstallierten Modellen geliefert. Sie müssen diese separat von Quellen wie Civitai und Hugging Face herunterladen [4:00]. Platzieren Sie die heruntergeladenen Modelldateien (typischerweise .ckpt oder .safetensors) im Verzeichnis ComfyUI/models/checkpoints. Ebenso gehören VAE-Dateien in ComfyUI/models/vae und LoRA-Modelle in ComfyUI/models/loras.

Text zu Bild

Text-zu-Bild ist ein grundlegender Workflow in ComfyUI. Es beinhaltet das Verbinden von Knoten zum Laden eines Checkpoints, zum Eingeben eines Prompts, zum Sampling, zum Dekodieren des Bildes und zum Speichern der Ausgabe. Durch Anpassen der Parameter jedes Knotens können Sie den Generierungsprozess steuern.

Der grundlegende Text-zu-Bild-Workflow beinhaltet mehrere Schlüsselknoten [7:25]:

  1. Checkpoint laden: Lädt das Stable Diffusion Modell.
  2. CLIP Text Encode (Prompt): Kodiert die positiven und negativen Prompts.
  3. Leeres latentes Bild: Erstellt einen leeren latenten Raum für das Bild.
  4. KSampler: Führt den Sampling-Prozess durch und generiert das latente Bild.
  5. VAE Decode: Dekodiert das latente Bild in ein Pixelbild.
  6. Bild speichern: Speichert das generierte Bild.

Verbinden Sie diese Knoten in der richtigen Reihenfolge und passen Sie Parameter wie Sampler, Scheduler und CFG-Skala im KSampler-Knoten an. Experimentieren Sie mit verschiedenen Prompts und Modell-Checkpoints, um zu sehen, wie sie die Ausgabe beeinflussen.

!Abbildung: Grundlegender Text-zu-Bild-Workflow-Knotengraph bei 10:00

Abbildung: Grundlegender Text-zu-Bild-Workflow-Knotengraph bei 10:00 (Quelle: Video)*

Navigation, Bearbeitung und Kurzbefehle

Das Navigieren und Bearbeiten von Workflows in ComfyUI wird durch die Verwendung von Kurzbefehlen vereinfacht. Diese Kurzbefehle erhöhen die Geschwindigkeit der Workflow-Entwicklung und die Effizienz.

ComfyUI bietet mehrere Tastenkombinationen, um die Workflow-Erstellung zu rationalisieren [21:30]:

Strg+C, Strg+V: Knoten kopieren und einfügen.

Strg+Umschalt+K: Prompt in die Warteschlange stellen.

Strg+B: Einen Knoten umgehen.

Doppelklick: Knoteneigenschaften öffnen.

Drag & Drop: Knoten verbinden.

Machen Sie sich mit diesen Kurzbefehlen vertraut, um Ihre Workflow-Effizienz zu verbessern.

Installation von ComfyUI Manager & Git

Die Installation von ComfyUI Manager und Git ist für die Verwaltung von Plugins und Abhängigkeiten erforderlich. Der ComfyUI Manager vereinfacht den Prozess der Installation, Aktualisierung und Entfernung von benutzerdefinierten Knoten und Erweiterungen. Git ist erforderlich, um den Manager selbst herunterzuladen und zu verwalten.

Der ComfyUI Manager vereinfacht die Installation und Verwaltung von benutzerdefinierten Knoten und Erweiterungen [26:15]. Um ihn zu installieren, benötigen Sie Git. Laden Sie Git von der offiziellen Website herunter und befolgen Sie die Installationsanweisungen. Klonen Sie dann das ComfyUI Manager-Repository in das Verzeichnis ComfyUI/custom_nodes.

Hochskalieren

Hochskalieren ist der Prozess der Erhöhung der Auflösung eines Bildes. In ComfyUI können Sie Bilder mit verschiedenen Techniken und Modellen hochskalieren. Das gekachelte Hochskalieren ist eine häufig verwendete Technik, um die VRAM-Nutzung beim Hochskalieren auf extreme Auflösungen zu reduzieren.

Das Hochskalieren ist entscheidend, um die Auflösung und Detailgenauigkeit generierter Bilder zu verbessern [28:43]. ComfyUI bietet verschiedene Hochskalierungsmethoden, darunter:

Latentes Hochskalieren:** Skaliert das latente Bild vor dem Dekodieren hoch.

Bild-Hochskalieren:** Skaliert das dekodierte Bild hoch.

Tile-Hochskalieren:** Teilt das Bild in Kacheln auf, skaliert jede Kachel separat hoch und fügt sie dann wieder zusammen. Dies reduziert die VRAM-Nutzung.

Für hochauflösendes Hochskalieren wird im Allgemeinen das Tile-Hochskalieren bevorzugt.

Bild zu Bild

Bild-zu-Bild ist ein Workflow, der ein vorhandenes Bild als Basis für die Generierung eines neuen Bildes verwendet. Es beinhaltet das Kodieren des Eingangsbildes in den latenten Raum, das Hinzufügen von Rauschen und das anschließende Leiten des Denoising-Prozesses mit einem Prompt.

Bild-zu-Bild ermöglicht es Ihnen, vorhandene Bilder mit Stable Diffusion zu transformieren [37:49]. Der grundlegende Workflow beinhaltet:

  1. Bild laden: Lädt das Eingangsbild.
  2. VAE Encode: Kodiert das Bild in den latenten Raum.
  3. Rauschen hinzufügen: Fügt dem latenten Bild Rauschen hinzu.
  4. KSampler: Führt den Sampling-Prozess durch, der von einem Prompt geleitet wird.
  5. VAE