Cómo usar SDXL en ComfyUI [Guía completa]
Usar Stable Diffusion en ComfyUI es muy potente ya que su interfaz basada en nodos te da mucha libertad sobre como generar una imagen.
¿Pero qué pasa si quieres usar modelos SDXL en ComfyUI?
En esta guía de ComfyUI SDXL, aprenderás a configurar modelos SDXL en la interfaz de ComfyUI para generar imágenes.
Si no has usado ComfyUI antes, asegúrate de echar un vistazo a mi guía para principiantes de ComfyUI primero para aprender cómo funciona.
Configurar SDXL en ComfyUI es muy sencillo y no lleva mucho tiempo. Usaremos algunos flujos de trabajo para usar SDXL en ComfyUI para que no tengas que construir un flujo de trabajo desde cero.
Dicho esto, empecemos.
Por qué usar ComfyUI para SDXL
SDXL funciona con otras interfaces de Stable Diffusion, como Automatic1111, pero su flujo de trabajo no es tan sencillo.
Dado que SDXL requiere que utilice tanto un modelo base como un modelo refinador, tendrá que cambiar de modelo durante el proceso de generación de imágenes.
Para hacer esto en Automatci1111, primero tendrá que generar su imagen y luego cambiar al modelo refinador y ejecutar la generación de nuevo. Esto es muy contraintuitivo y requiere trabajo manual.
Afortunadamente, ese no es el caso con ComfyUI ya que puedes construir flujos de trabajo donde puedes ejecutar la generación a través de ambos modelos base y refinador de una sola vez.
Esto te ahorra el tiempo de cambiar manualmente de modelo y no es tan confuso como Automatic1111.
Además, ComfyUI está más optimizado en rendimiento, por lo que es una mejor opción para ejecutar SDXL. También he tenido errores de memoria al intentar usar SDXL en Automatic1111.
Sin embargo, ese no es el caso en ComfyUI y mi tarjeta RTX3050 con 4GB vRAM puede generar imágenes 4K usando modelos SDXL.
Por lo tanto, mi recomendación es utilizar siempre ComfyUI al ejecutar modelos SDXL, ya que es simple y rápido.
Cómo usar SDXL en ComfyUI
Usar SDXL en ComfyUI no es tan complicado. De hecho, es lo mismo que usar cualquier otro modelo SD 1.5 excepto que tu imagen pasa por un segundo muestreador con el modelo refinador.
Aquí tienes las instrucciones paso a paso para usar SDXL en ComfyUI.
Instalar ComfyUI
Lo primero es lo primero, necesitas descargar e instalar ComfyUI en tu dispositivo. Asumiré que ya tienes ComfyUI instalado, pero si no es así, haz clic en el botón de abajo para descargar ComfyUI.
También recomiendo echar un vistazo a mi guía ComfyUI para empezar y entender cómo funciona.
Descargar modelos SDXL
Para usar SDXL, necesitarás descargar los dos modelos SDXL y colocarlos en tu carpeta de modelos de ComfyUI.
Descargue los modelos de base y refinador SDXL desde los enlaces que se indican a continuación:
- Base SDXL
- Refinador SDXL
Una vez descargados estos modelos, colócalos en el siguiente directorio:
ComfyUI_windows_portable\ComfyUI\models\checkpoints
A continuación, descargaremos el VAE SDXL, que se encarga de convertir la imagen del espacio latente al espacio de píxeles y viceversa.
Cómo intercambiar caras en Stable Diffu...Cuando utilices modelos SDXL, tendrás que usar el VAE SDXL y no puedes usar el VAE SD 1.5 porque estropearía la salida.
Haga clic en el siguiente enlace para descargar el modelo SDXL VAE:
Una vez descargado, coloque el modelo VAE en el siguiente directorio:
ComfyUI_windows_portable\ComfyUI\models\vae
Además de esto, también tendrás que descargar un modelo a escala ya que vamos a escalar nuestra imagen en ComfyUI.
Si no tienes ningún modelo a gran escala en ComfyUI, descarga el modelo 4x NMKD Superscale desde el enlace de abajo:
Después de descargar este modelo, colóquelo en el siguiente directorio:
ComfyUI_windows_portable\ComfyUI\models\upscale_models
Descargar ComfyUI SDXL Workflow
En lugar de construir un flujo de trabajo desde cero, vamos a utilizar un flujo de trabajo pre-construido diseñado para ejecutar SDXL en ComfyUI.
Puedes crear tus propios flujos de trabajo, pero no es necesario ya que hay muchos buenos flujos de trabajo ComfyUI por ahí.
Utilizaremos el flujo de trabajo SDXL Config ComfyUI Fast Generation, que suele ser mi flujo de trabajo preferido para ejecutar SDXL en ComfyUI.
Descarga este flujo de trabajo y extrae el archivo .zip. Encontrarás un archivo .json que es el archivo de flujo de trabajo de ComfyUI.
Ahora, inicia ComfyUI haciendo clic en el archivo run_nvidia_gpu.bat que abrirá ComfyUI en tu navegador.
Cargar flujo de trabajo SDXL en ComfyUI
En ComfyUI, haz clic en el botón Cargar de la barra lateral y selecciona el flujo de trabajo .json que acabamos de descargar.
El flujo de trabajo se cargará en ComfyUI con éxito.
Como puedes ver, este flujo de trabajo ComfyUI SDXL es muy simple y no tiene un montón de nodos que pueden ser abrumadores a veces.
Utilizaremos este flujo de trabajo para generar imágenes utilizando SDXL.
Nota: Si obtienes algún error cuando cargas el flujo de trabajo, significa que te faltan algunos nodos en ComfyUI. Descarga los nodos que faltan y vuelve a cargar el flujo de trabajo de nuevo y se cargará sin errores.
Genere su imagen
Así que, hemos cargado nuestro flujo de trabajo ComfyUI SDXL con éxito y ahora es el momento de generar una imagen.
Antes de hacerlo, déjame repasar algunos de los nodos importantes de este flujo de trabajo para que entiendas cómo funciona.
Voy a ir a través de cada paso y se puede seguir a lo largo y hacer los cambios mencionados.
Carga VAE
Este es el cargador VAE donde cargamos el modelo SDXL VAE que acabamos de descargar en el primer paso. Haz clic en el desplegable y selecciona el archivo sdxl_vae.safetensors.
Punto de control de carga (Base aquí)
Este es el nodo cargador de puntos de control normal para ComfyUI pero en este flujo de trabajo, se usa para cargar el modelo base de puntos de control SDXL.
La guía definitiva para pintar con Stab...Haga clic en el desplegable y seleccione el modelo sd_xl_base_1.0.safetensors.
Punto de control de carga (refinador aquí)
Este nodo carga el modelo de punto de control SDXL del refinador. Selecciona el modelo sd_xl_refiner_1.0.safetensors del desplegable.
Prompt positivo y negativo
Estos dos nodos se explican por sí mismos y en ellos se introducen las indicaciones positivas y negativas de la imagen que se desea generar.
Para este tutorial utilizaré las siguientes indicaciones positivas y negativas.
Prompt positivo:
foto de una mujer, ciberpunk, ciencia ficción, primer plano, retrato, fondo distópico
Prompt negativo:
borroso, logotipo, marca de agua, firma, recortado, fuera de cuadro, peor calidad, baja calidad, artefactos jpeg, mal iluminado, sobreexpuesto, subexpuesto, fallo, error, desenfocado, (semirrealista, cgi, 3d, render, boceto, dibujo animado, dibujo, arte digital, anime, manga:1.3), aficionado, (manos mal dibujadas, cara mal dibujada:1.2), iris deformado, pupilas deformadas, mórbido, duplicado, mutilado, dedos de más, manos mutadas, ojos mal dibujados, mutación, deformado, deshidratado, mala anatomía, malas proporciones, miembros de más, cara clonada, desfigurado, proporciones groseras, miembros malformados, brazos que faltan, piernas que faltan, brazos de más, piernas de más, dedos fusionados, demasiados dedos, cuello largo, incoherente
Puedes copiar estas sugerencias si quieres seguirlas o escribir las tuyas propias.
Tamaño de la imagen
Seleccione el ancho y alto de la imagen que desea generar. Hay muchas resoluciones de imagen que puede elegir para Stable Diffusion, pero para esta guía, voy a utilizar una resolución de 1024×1024.
El nodo Tamaño de imagen también tiene una opción para establecer el tamaño del lote para elegir cuántas imágenes desea generar. Puede establecerlo en 1 o aumentarlo si desea generar más imágenes.
KSampler
El nodo KSampler es responsable de la parte de generación de imágenes en Stable Diffusion. Este nodo tiene muchas opciones como semilla, pasos, CFG, muestreador y más.
Puedes dejarlas sin cambios si quieres, pero yo haré los siguientes cambios:
- Pasos: 15
- CFG: 5
- Nombre del muestreador: dpmpp_2m_sde_gpu
KSampler para Refiner
Este nodo KSampler es para el paso de refinador de la generación de la imagen. Este muestreador utilizará el modelo de refinador SDXL para añadir más detalles a nuestra imagen y hacer que la imagen de salida se vea mejor.
Es mejor dejar los ajustes de este nodo sin cambios. Si aumenta los pasos o el valor de eliminación de ruido, la imagen cambiará drásticamente con respecto a la imagen base generada.
Cargue el modelo de lujo:
Este nodo cargará el modelo de escalado para el proceso de escalado en el flujo de trabajo. Haga clic en el menú desplegable y seleccione el modelo a escala que hemos descargado. Sin embargo, si usted ya tiene otros modelos a escala, puede elegirlos también.
Ahora que sabes lo que hace cada uno de estos nodos en nuestro flujo de trabajo ComfyUI SDXL, vamos a generar nuestra imagen.
Haga clic en el botón Generar para iniciar el proceso de generación de imágenes. Una vez finalizado el proceso, verá dos imágenes mostradas en el flujo de trabajo.
Una es la imagen de salida sin el refinador y la otra con el refinador. De este modo, se puede apreciar la diferencia entre ambas y ver los detalles y las mejoras realizadas por el modelo de refinador.
El flujo de trabajo guarda las imágenes generadas en la carpeta Outputs de tu directorio ComfyUI.
Así de fácil es usar SDXL en ComfyUI usando este flujo de trabajo. Es rápido y muy simple e incluso si eres un principiante, puedes usarlo.
Mejores flujos de trabajo ComfyUI SDXL
Como he mencionado anteriormente, crear tu propio flujo de trabajo SDXL para ComfyUI desde cero no es siempre la mejor idea.
Eso es porque hay tantos flujos de trabajo para ComfyUI por ahí que no necesitas pasar por la molestia de crear el tuyo propio.
60 Mejores Prompts de Alimentos de Stabl...Hay muchos flujos de trabajo ComfyUI SDXL y aquí están mis principales recomendaciones.
1. SDXL Config ComfyUI Generación Rápida
Este es el flujo de trabajo SDXL que se demostró en la guía anterior y es mi flujo de trabajo SDXL favorito para ComfyUI.
Esto se debe a que es muy sencillo y genera imágenes muy rápido en comparación con otros flujos de trabajo.
Si eres nuevo en ComfyUI y quieres usar SDXL, este es el flujo de trabajo que te recomendaría usar para tus generaciones.
Hay otras versiones de este flujo de trabajo con soporte LoRA, face fix y LCM. La versión con soporte LoRA es muy buena si quieres usar modelos LoRA con SDXL.
Sin embargo, tenga en cuenta que sólo los modelos SDXL LoRA funcionan con los modelos SDXL de puntos de control.
2. Flujo de trabajo SDXL de Sytan
El flujo de trabajo SDXL de Sytan es otra gran opción para usar modelos SDXL en ComfyUI. Este flujo de trabajo también es muy sencillo y está bien optimizado para dispositivos con poca vRAM.
El flujo de trabajo tiene nodos para los modelos de base y refinador junto con un nodo de escala ascendente para la ampliación de la imagen.
El único inconveniente de este flujo de trabajo es que no permite utilizar modelos LoRA.
Aún así, este es un muy buen flujo de trabajo que puedes probar cuando uses SDXL en ComfyUI.
3. Searge-SDXL: EVOLVED
Si quieres lo último en flujo de trabajo SDXL para ComfyUI no busques más, Searge-SDXL: EVOLVED que es de lejos el flujo de trabajo más avanzado para ComfyUI.
Este flujo de trabajo te permite hacer todo en ComfyUI como txt2img, img2img, inpainting, y más. Puedes aplicar hasta 5 modelos LoRA a la vez en este flujo de trabajo permitiéndote usar varios estilos en Stable Diffusion.
Ser tan avanzado también significa que este flujo de trabajo no es para principiantes. Si eres nuevo en ComfyUI, encontrarás este flujo de trabajo muy abrumador ya que está lleno de nodos por todas partes.
Además de estos tres flujos de trabajo, también puede utilizar flujos de trabajo normales y modelos SDXL sin refinador.
He revisado modelos SDXL en este blog y muchos de ellos no requieren que utilices un modelo refinador. Estos modelos se pueden utilizar con varios flujos de trabajo ComfyUI que puedes encontrar aquí.
Preguntas frecuentes
Aquí tienes algunas preguntas frecuentes sobre el uso de SDXL en ComfyUI:
¿Es ComfyUI más rápido que Automatic1111?
ComfyUI utiliza la memoria GPU mucho mejor que Automatic1111 lo que resulta en un mejor rendimiento especialmente cuando se utilizan modelos SDXL.
¿Puedo usar modelos LoRA en ComfyUI?
Sí, puedes usar modelos LoRA en ComfyUI usando el nodo LoraLoader que te permite cargar y aplicar modelos LoRA.
¿Cuáles son los requisitos del sistema para ejecutar ComfyUI?
Los requisitos para ejecutar ComfyUI se basan en los requisitos del sistema Stable Diffusion que es tener una GPU con al menos 4GB vRAM con 8GB RAM y 15GB de espacio de almacenamiento.
Conclusión
Ejecutar modelos SDXL en ComfyUI es muy sencillo como habrás visto en esta guía. Todo lo que necesitas es descargar los modelos SDXL y utilizar el flujo de trabajo adecuado.
La generación de imágenes usando SDXL en ComfyUI es mucho más rápida comparada con Automatic1111 lo que la convierte en una mejor opción entre las dos.
Si tienes alguna pregunta sobre el uso de SDXL en ComfyUI, no dudes en hacerla en la sección de comentarios más abajo.
Mejores Modelos Anime Stable DiffusionSi quieres conocer otros artículos parecidos a Cómo usar SDXL en ComfyUI [Guía completa] puedes visitar la categoría Stable Diffusion.
Deja una respuesta
Contenido relacionado