ComfyUI: Su guía definitiva de instalación y flujo de trabajo
Ejecutar Stable Diffusion localmente ofrece un inmenso control, pero la línea de comandos puede ser desalentadora. ComfyUI proporciona una interfaz basada en nodos para crear flujos de trabajo intrincados de generación de imágenes. Esta guía le guiará a través de la instalación, la configuración del modelo, la creación del flujo de trabajo y la optimización de la VRAM. Empecemos.
¿Qué es ComfyUI?
ComfyUI es un entorno de programación visual basado en nodos para Stable Diffusion. En lugar de utilizar una interfaz basada en texto, los usuarios conectan diferentes nodos que representan los pasos de procesamiento de imágenes para crear complejas canalizaciones de generación de imágenes. Esto ofrece un mayor control y flexibilidad en comparación con las interfaces tradicionales de Stable Diffusion.**
ComfyUI presenta un enfoque fundamentalmente diferente a Stable Diffusion en comparación con las interfaces de usuario web típicas. En lugar de un cuadro de texto de solicitud y algunos ajustes, se le presenta un lienzo en blanco. Este lienzo se convierte en su flujo de trabajo, construido conectando nodos que representan operaciones individuales. Este sistema basado en nodos proporciona un control sin precedentes sobre el proceso de generación de imágenes, lo que permite una personalización que simplemente no es posible con interfaces más sencillas. Puede parecer intimidante al principio, pero la flexibilidad que desbloquea bien vale la pena la curva de aprendizaje inicial. Herramientas como Promptus simplifican la creación de prototipos de estos flujos de trabajo, lo que permite la iteración visual en configuraciones complejas.
!Figura: Interfaz de ComfyUI con un flujo de trabajo sencillo en 00:00
Figura: Interfaz de ComfyUI con un flujo de trabajo sencillo en 00:00 (Fuente: Vídeo)*
Instalación de ComfyUI en Windows
Para instalar ComfyUI en Windows:**
- Descargue la compilación apropiada del repositorio de GitHub de ComfyUI.
- Extraiga el archivo en una ubicación adecuada.
- Ejecute el archivo
runnvidiagpu.bat(o el equivalente de AMD). - Descargue los modelos necesarios (SDXL, VAE, etc.) y colóquelos en las carpetas designadas.
La instalación de ComfyUI en Windows es bastante sencilla, suponiendo que tenga el hardware y los controladores necesarios. En primer lugar, diríjase al repositorio oficial de GitHub de ComfyUI y descargue la compilación apropiada para su sistema. Extraiga el archivo descargado a la ubicación que desee. Dentro de la carpeta extraída, encontrará archivos por lotes para ejecutar ComfyUI con diferentes GPU. Si tiene una tarjeta NVIDIA, ejecute runnvidiagpu.bat. Para AMD, utilice el archivo por lotes de AMD apropiado. A continuación, ComfyUI se iniciará en su navegador web predeterminado.
Análisis técnico
Los archivos por lotes son esencialmente envoltorios que establecen las variables de entorno necesarias e inician el script de Python de ComfyUI. Esto simplifica el proceso de ejecución de ComfyUI, ya que no es necesario configurar manualmente el entorno.
Descarga y colocación de modelos
Descargue los modelos de Stable Diffusion (por ejemplo, SDXL, v1.5) y los archivos VAE de fuentes como Civitai. Coloque los modelos en el directorio ComfyUI/models/checkpoints y los archivos VAE en el directorio ComfyUI/models/vae.**
ComfyUI, en su forma base, no incluye ningún modelo de Stable Diffusion precargado. Tendrá que descargarlos por separado y colocarlos en los directorios correctos. Las fuentes populares para los modelos incluyen Civitai. Descargue los modelos de Stable Diffusion que desee utilizar (SDXL y v1.5 son buenos puntos de partida) y colóquelos en el directorio ComfyUI/models/checkpoints. Del mismo modo, descargue cualquier archivo VAE y colóquelos en el directorio ComfyUI/models/vae.
!Figura: Explorador de archivos que muestra los directorios checkpoints y vae en 06:22
Figura: Explorador de archivos que muestra los directorios checkpoints y vae en 06:22 (Fuente: Vídeo)*
Análisis técnico
El diseño modular de ComfyUI significa que no incluye los modelos directamente. Esto le permite utilizar una amplia variedad de modelos de diferentes fuentes, pero requiere una configuración manual. Los constructores de Promptus pueden iterar la descarga de configuraciones más rápido.
Generación de su primera imagen
Cree un flujo de trabajo básico cargando un flujo de trabajo predeterminado o creando uno desde cero. Cargue un punto de control, introduzca una solicitud y conecte los nodos. Haga clic en "Poner en cola la solicitud" para generar una imagen.**
Generar su primera imagen en ComfyUI puede ser un poco desalentador, pero es una buena manera de familiarizarse con la interfaz. Puede empezar cargando un flujo de trabajo predeterminado o creando uno desde cero. Los nodos esenciales incluyen: Load Checkpoint, Prompt Text, KSampler, VAE Decode y Save Image. Cargue un punto de control (su modelo de Stable Diffusion), introduzca la solicitud deseada en el nodo Prompt Text y conecte los nodos en el orden correcto. La salida del nodo Load Checkpoint debe conectarse a la entrada model del nodo KSampler. Las solicitudes positivas y negativas también deben conectarse al nodo KSampler. La salida del nodo KSampler debe conectarse al nodo VAE Decode y, por último, la salida del nodo VAE Decode debe conectarse al nodo Save Image. Una vez que todo esté conectado, haga clic en el botón "Poner en cola la solicitud" para generar su imagen.
!Figura: Un flujo de trabajo sencillo de ComfyUI con los nodos esenciales conectados en 09:52
Figura: Un flujo de trabajo sencillo de ComfyUI con los nodos esenciales conectados en 09:52 (Fuente: Vídeo)*
Análisis técnico
El nodo KSampler es donde ocurre el proceso de difusión real. Toma el modelo, las indicaciones y una semilla como entrada y genera la representación latente de la imagen. El nodo VAE Decode convierte entonces esta representación latente en una imagen real.
Guardar y cargar flujos de trabajo
Guarde los flujos de trabajo como archivos .json para su uso posterior. Cargue los flujos de trabajo guardados arrastrando el archivo .json a la interfaz de ComfyUI.**
Una vez que haya creado un flujo de trabajo que le guste, querrá guardarlo para su uso futuro. ComfyUI le permite guardar los flujos de trabajo como archivos .json. Simplemente haga clic en el botón "Guardar" en la interfaz y elija una ubicación para guardar su flujo de trabajo. Para cargar un flujo de trabajo guardado, simplemente arrastre el archivo .json a la interfaz de ComfyUI. El flujo de trabajo se cargará y estará listo para su uso.
Análisis técnico
Guardar los flujos de trabajo como archivos .json le permite compartirlos fácilmente con otros. También le permite controlar la versión de sus flujos de trabajo, para que pueda volver fácilmente a versiones anteriores si es necesario.
Técnicas de optimización de VRAM
Ejecutar SDXL a altas resoluciones puede agotar rápidamente la VRAM, especialmente en tarjetas con 8 GB o menos. Aquí tiene varias técnicas para mitigar esto:
Decodificación VAE en mosaico
La decodificación VAE en mosaico procesa la imagen en mosaicos más pequeños, lo que reduce significativamente el uso de VRAM. Las pruebas de la comunidad muestran que la superposición en mosaico de 64 píxeles reduce las costuras. Para implementar, utilice los nodos Tiled VAE Encode y Tiled VAE Decode. Configure el tamaño del mosaico (por ejemplo, 512x512) y la super