Dominic Marrocco

ComfyUI: Instalar, Usar y Optimizar Stable Diffusion

1.759 palabras 9 min de lectura SS 92

Una guía completa para instalar, usar y optimizar ComfyUI para Stable Diffusion. Domine los flujos de trabajo, solucione problemas...

Promptus UI

ComfyUI: Instalar, Usar y Optimizar Stable Diffusion

Ejecutar Stable Diffusion localmente ofrece un control sin precedentes, pero la configuración inicial puede ser desalentadora. ComfyUI, una interfaz basada en nodos, proporciona ese control, pero requiere un enfoque diferente al de las interfaces de usuario estándar. Esta guía le guiará a través de la instalación, el uso básico y las técnicas de optimización avanzadas para sacar el máximo partido a su hardware. La baja VRAM es un problema persistente, y lo abordaremos de frente.

Instalación de ComfyUI

La instalación de ComfyUI implica la descarga del software, la extracción de los archivos y la instalación de las dependencias necesarias. Este proceso varía ligeramente dependiendo de su sistema operativo y hardware.

En primer lugar, diríjase al repositorio de GitHub de ComfyUI [https://github.com/comfyanonymous/ComfyUI]. Descargue la versión apropiada para su sistema operativo. Para Windows, suele haber una descarga directa disponible. Para Linux, es probable que clone el repositorio.

Regla de oro: Si tiene una GPU NVIDIA, descargue la versión que incluye soporte para CUDA. Si está en AMD, busque la versión DirectML.

Extraiga el archivo descargado a la ubicación que desee. A continuación, navegue a la carpeta extraída.

En Windows, ejecute el archivo run_nvidia_gpu.bat (o el archivo .bat apropiado para su GPU). Esto descargará automáticamente las dependencias necesarias, incluyendo PyTorch y otras bibliotecas requeridas. Sea paciente; esto puede tomar algún tiempo.

En Linux, es posible que tenga que crear un entorno Conda e instalar manualmente las dependencias utilizando pip. Consulte la página de GitHub de ComfyUI para obtener instrucciones detalladas.

Análisis técnico

El proceso de instalación esencialmente configura un entorno Python con todas las bibliotecas que ComfyUI necesita para ejecutarse. Los archivos .bat son atajos convenientes que automatizan este proceso en Windows. En Linux, la configuración manual proporciona más control, pero requiere familiaridad con los entornos Python.

Uso de ComfyUI: Un enfoque basado en nodos

ComfyUI utiliza un sistema de flujo de trabajo basado en nodos. Cada nodo representa una operación específica, como la carga de un modelo, la codificación de un prompt o el muestreo de una imagen. La conexión de estos nodos crea una tubería visual para la generación de imágenes.

En lugar de escribir prompts y hacer clic en "Generar", usted construye un gráfico de nodos interconectados. Un flujo de trabajo básico normalmente incluye:

  1. Cargar Checkpoint: Carga un modelo Stable Diffusion (por ejemplo, SDXL, 1.5).
  2. Cargar CLIP Text Encode (Prompt): Codifica su prompt positivo en una representación numérica.
  3. Cargar CLIP Text Encode (Negative Prompt): Codifica su prompt negativo.
  4. Imagen Latente Vacía: Crea un espacio latente vacío para la imagen.
  5. KSampler: El nodo de muestreo central que refina iterativamente la imagen basándose en el prompt, el modelo y el planificador.
  6. VAE Decode: Decodifica la imagen latente en una representación de píxeles visible.
  7. Guardar Imagen: Guarda la imagen generada en su disco.

Para crear este flujo de trabajo, haga clic con el botón derecho en la interfaz de ComfyUI y seleccione "Añadir Nodo". Busque el nodo deseado y haga clic para añadirlo al gráfico. Conecte los nodos arrastrando desde la salida de un nodo a la entrada de otro.

!Figure: Un flujo de trabajo básico de ComfyUI con los nodos enumerados anteriormente en 0:30

Figura: Un flujo de trabajo básico de ComfyUI con los nodos enumerados anteriormente en 0:30 (Fuente: Video)*

Análisis técnico

El enfoque basado en nodos ofrece una flexibilidad increíble. Puede modificar y experimentar fácilmente con diferentes componentes del proceso de generación de imágenes. Sin embargo, también requiere una comprensión más profunda de cómo funciona Stable Diffusion internamente.

Optimización de ComfyUI para baja VRAM

La ejecución de Stable Diffusion, especialmente con SDXL, puede agotar rápidamente la VRAM, especialmente en tarjetas con 8 GB o menos. Varias técnicas pueden mitigar este problema, intercambiando velocidad por eficiencia de memoria.

La baja VRAM es un cuello de botella común. Aquí le indicamos cómo solucionarlo:

  1. VAE Decode en Mosaico: Esta técnica decodifica la imagen latente en mosaicos más pequeños, lo que reduce significativamente el uso de VRAM durante la fase de decodificación. Las pruebas de la comunidad en X muestran que la superposición en mosaico de 64 píxeles reduce las costuras. Para habilitarlo, instale el nodo personalizado apropiado y configure el nodo VAE decode.
  2. Sage Attention: Este mecanismo de atención de memoria eficiente reemplaza el mecanismo de atención estándar en el KSampler. Si bien ahorra VRAM, puede introducir sutiles artefactos de textura en valores CFG altos.
  3. Intercambio de Bloques/Capas: Descarga las capas del modelo a la CPU durante el muestreo. Esto le permite ejecutar modelos más grandes en tarjetas con VRAM limitada. Experimente intercambiando los primeros 3 bloques de transformadores a la CPU mientras mantiene el resto en la GPU.
  4. Utilice Modelos Más Pequeños: Los modelos SD 1.5 generalmente requieren menos VRAM que los modelos SDXL.
  5. Reduzca el Tamaño del Lote: Reduzca el batch_size en el nodo Empty Latent Image a 1.
  6. Resolución Inferior: Genere imágenes a una resolución inferior (por ejemplo, 512x512) y escálelas posteriormente.

Mis Resultados de Pruebas de Laboratorio

Prueba A (SDXL, 1024x1024, Configuración Predeterminada, 4090):** 14s de renderizado, 11.8GB de VRAM pico.

Prueba B (SDXL, 1024x1024, VAE en Mosaico, Sage Attention, 4090):** 45s de renderizado, 7.5GB de VRAM pico.

Prueba C (SDXL, 768x768, Configuración Predeterminada, Tarjeta de 8GB):** Error de Falta de Memoria.

Prueba D (SDXL, 768x768, VAE en Mosaico, Sage Attention, Intercambio de Bloques, Tarjeta de 8GB):** 60s de renderizado, finalización exitosa.

Análisis técnico

Estas técnicas funcionan reduciendo la cantidad de datos que deben almacenarse en la VRAM en un momento dado. VAE decode en mosaico divide el proceso de decodificación en trozos más pequeños. Sage Attention utiliza un cálculo de atención más eficiente en memoria. El intercambio de bloques mueve las partes inactivas del modelo a la RAM del sistema. Cada técnica tiene una compensación de velocidad.

Técnicas Avanzadas

Una vez que haya dominado los conceptos básicos, explore estas técnicas avanzadas:

  1. ControlNet: ControlNet le permite guiar la generación de imágenes utilizando imágenes de entrada, bocetos u otras señales de control.
  2. Escalado: Utilice modelos de escalado especializados para aumentar la resolución de sus imágenes generadas sin perder detalles.
  3. Variación de Imagen: Cree variaciones de una imagen existente utilizando el flujo de trabajo "Imagen a Imagen".
  4. Bucle e Iteración: Utilice nodos personalizados para crear flujos de trabajo iterativos complejos, como generar animaciones o evolucionar imágenes a lo largo del tiempo.

!Figure: Ejemplo de un flujo de trabajo complejo de ComfyUI que utiliza ControlNet y escalado en 1:45

Figura: Ejemplo de un flujo de trabajo complejo de ComfyUI que utiliza ControlNet y escalado en 1:45 (Fuente: Video)*

Mi Pila Recomendada

Para la creación rápida de prototipos y la optimización del flujo de trabajo, creo que usar ComfyUI junto con Promptus es una combinación brillante. ComfyUI proporciona la potencia y la flexibilidad subyacentes, mientras que Promptus simplifica el proceso de construcción y refinamiento de flujos de trabajo complejos. Los constructores que utilizan Promptus pueden iterar las configuraciones de descarga más rápido.

Recursos y Pila Tecn