Stable Diffusion VAE: ¿Qué es la VAE y cómo funciona?
Se necesitan muchas cosas para generar imágenes bellas e impactantes en Stable Diffusion. Es posible que ya esté familiarizado con los modelos de puntos de control que son cruciales para generar imágenes en Stable Diffusion.
Pero también hay una pieza del rompecabezas que muchos usuarios desconocen. Se llama VAE y puede cambiar el aspecto de tus imágenes de salida en Stable Diffusion.
Es posible que ya haya utilizado VAE en Stable Diffusion al generar imágenes. Pero, ¿te has preguntado alguna vez qué es VAE en Stable Diffusion y cómo funciona?
Pues bien, eso es lo que voy a responder en esta guía junto con muchas otras preguntas sobre la VAE de Stable Diffusion.
Así que, empecemos.
Qué es la VAE en Stable Diffusion
VAE son las siglas de Variable Auto Encoder, que forma parte del modelo de red neuronal de Stable Diffusion. Se encarga de codificar y descodificar imágenes del espacio latente al espacio de píxeles.
En la Stable Diffusion, las imágenes se generan en el espacio latente y luego se convierten en una imagen de mayor calidad con la ayuda de VAE. Gracias a la VAE, sus imágenes tendrán un aspecto más nítido y definido.
Stability AI, la empresa matriz de Stable Diffusion, ha publicado dos modelos de VAE que pueden utilizarse en Stable Diffusion.
Se trata de la media móvil exponencial (EMA) y el error cuadrático medio (MSE). La VAE EMA produce imágenes más nítidas y realistas, mientras que la VAE MSE produce imágenes suaves y menos ruidosas.
Stable Diffusion Fooocus: Guía para pri...Si todo esto es demasiado técnico para usted, todo lo que necesita saber es que puede utilizar cualquiera de estos modelos VAE en los modelos Stable Diffusion 1.5 y 2.0.
¿Necesito utilizar la VAE?
Aunque puede generar imágenes en Stable Diffusion sin ningún VAE, es muy recomendable utilizar VAE ya que produce mejores imágenes de salida.
Sin VAE, las imágenes suelen aparecer desaturadas y descoloridas. Aquí tienes un ejemplo de tres imágenes generadas con y sin VAE.
ft-EMA (izquierda), ft-MSE (centro), original (derecha)
Como se puede ver en los resultados anteriores, la imagen sin VAE se ve un poco desaturada y menos detallada, especialmente los ojos, mientras que la imagen con VAE se ve mucho mejor en comparación.
Aparte de producir imágenes más nítidas y realistas en Stable Diffusion, hay otra razón por la que es importante utilizar VAE.
Muchos modelos de punto de control dependen de la VAE para descodificar la imagen desde el espacio latente al espacio de píxeles. Sin la VAE, el modelo no consigue reconstruir la imagen desde el espacio latente al espacio de píxeles. Esto hace que las imágenes parezcan borrosas, ruidosas y llenas de artefactos.
En definitiva, es una buena práctica utilizar VAE en Stable Diffusion, ya que las imágenes de salida tendrán un aspecto mucho mejor.
Sin embargo, no siempre es así, ya que muchos modelos de puntos de control tienen un VAE cocido, lo que significa que el VAE está incluido dentro de los propios modelos de puntos de control.
![Cómo usar SDXL en ComfyUI [Guía completa]](https://ia.okey.uno/wp-content/uploads/ComfyUI-Workflows-SDXL-Config-ComfyUI-Fast-Generation-1-1-150x150.webp)
Cómo usar SDXL en ComfyUI [Guía comple...
Encontrarás muchos modelos de puntos de control en Civitai que dicen Baked VAE para los que no necesitas usar ningún VAE. Los modelos que requieren VAE suelen mencionar el modelo de VAE recomendado para usar.
Cómo utilizar la VAE en Stable Diffusion
Utilizar VAE en Stable Diffusion es un proceso muy sencillo. En primer lugar, debe descargar el modelo VAE. Estabilidad AI tiene dos modelos VAE que puede utilizar.
Aquí están los enlaces de descarga para ambos modelos:
Puede descargar cualquiera de ellos.
Una vez descargado, coloque el archivo .safetensor descargado del modelo en el siguiente directorio:
stable-diffusion-webui/models/VAE
Aquí se colocan los modelos VAE que se descargan.
Para cargar el modelo VAE en Stable Diffusion, vaya a la pestaña de configuración en Automatic1111 y seleccione la sección VAE. Desde aquí, elija el modelo VAE en el menú desplegable de la sección SD VAE.
Haga clic en el botón Aplicar configuración y se cargará su modelo VAE. Ahora, cada vez que genere imágenes en Stable Diffusion, se utilizará su modelo VAE seleccionado. No tiene que aplicar su VAE cada vez.
Cómo intercambiar caras en Stable Diffu...En caso de que estés usando ComfyUI, puedes elegir el modelo VAE usando el nodo VAE. Puedes consultar mi guía de ComfyUI para saber más sobre ello.
Una vez cargado tu VAE en Automatic1111 o ComfyUI, ya puedes empezar a generar imágenes utilizando VAE.
Preguntas frecuentes
He aquí algunas preguntas frecuentes sobre la VAE por Stable Diffusion:
¿Necesito una VAE independiente para SDXL?
Sí, tendrá que utilizar el modelo SDXL VAE que recomienda Stability AI. Este VAE está específicamente entrenado para todos los modelos SDXL y puede descargarse desde aquí.
¿Todos los modelos de puntos de control requieren VAE?
No todos los modelos de puntos de control requieren VAE, ya que algunos llevan VAE horneado. Siempre que descargues modelos de puntos de control de Civitai, asegúrate de comprobar en la descripción si el modelo requiere VAE o no.
¿Por qué mis imágenes salen mal cuando utilizo la VAE?
Si tus imágenes salen mal y con ruido al usar VAE, lo más probable es que estés usando el VAE incorrecto con el modelo de punto de control. Comprueba la descripción del modelo de punto de control para ver qué VAE recomiendan.
Conclusión
La VAE suele ser un concepto misterioso y muchos usuarios de la Stable Diffusion no comprenden qué es y cómo funciona.
Con esta guía, espero que haya aprendido más acerca de lo que es VAE y cómo se debe utilizar. El uso de VAE en Stable Diffusion puede cambiar completamente el aspecto de tus imágenes de salida.
Por eso no sólo es importante utilizar VAE, sino también utilizar la VAE adecuada con su modelo de punto de control.
La guía definitiva para pintar con Stab...Si tienes alguna pregunta sobre la VAE, no dudes en dejarla en la sección de comentarios.
Si quieres conocer otros artículos parecidos a Stable Diffusion VAE: ¿Qué es la VAE y cómo funciona? puedes visitar la categoría Stable Diffusion.
Deja una respuesta
Contenido relacionado