Cómo instalar Kobold AI API: Guía fácil paso a paso

Desde la escritura creativa a la creación de contenido profesional, KoboldAI es una de las grandes soluciones y una alternativa de OpenAI para la escritura asistida por IA. También proporciona una experiencia fluida e intuitiva que eleva su proceso de escritura.

Cuenta con un front-end basado en navegador que permite a los usuarios crear y editar historias, novelas, chatbots y mucho más con la ayuda de herramientas como Memoria, Nota del Autor, Información del Mundo, Guardar y Cargar y otras configuraciones ajustables de IA.

En esta guía vas a aprender cómo instalar y configurar Kobold AI y utilizarlo en tu navegador web. También aprenderás a usar la URL en Janitor AI o en Venus AI para chatear con los personajes.

Este tutorial no necesita ningún conocimiento técnico para llevarse a cabo. Usted puede configurar esto muy fácilmente y en cuestión de minutos usted tendrá su propio Kobold AI API en funcionamiento.

Configura gratis la IA de los kobolds en Colab

Colab es una herramienta de investigación creada por Google sobre el cuaderno Jupyter que puede utilizarse para desplegar modelos o scripts basados en los lenguajes Python o R. También recibirás gratis una GPU Nvidia Tesla T4. Esta GPU cuesta unos 250 dólares en Google Cloud.

Ahora vamos a configurar Kobold AI en Google Colab.

Ir al enlace con Kobold AI con GPU.

Reproducir archivo de audio para mantener viva la pestaña

Verás un texto de bienvenida "¡Bienvenido a KoboldAI en Google Colab, Edición GPU!".

Desplácese hasta la sección que se muestra a continuación.

Si utiliza un teléfono móvil para realizar esta operación, deberá hacer clic en el botón de reproducción para generar un audio. Esto se debe a que el despliegue tarda algún tiempo y también para mantener la pestaña viva en su navegador, es necesario reproducir el audio.

Haz clic en el icono de reproducción y empieza a reproducir el audio.

Aparecerá una advertencia: "Google no es el autor de este cuaderno".

Haga clic en Ejecutar de todos modos.

Waif un poco para que pueda ver un símbolo de garrapata cerca del botón de pago que indica que la ejecución se ha completado.

Ahora verás un reproductor de audio. Reproduce el audio.

Instalar Kobold AI API - Oficial

Ahora, en la siguiente sección, debe elegir el modelo que más le convenga. A continuación en la tabla se dan algunas descripciones sobre los modelos.

Elija uno de los modelos de la lista que necesite.

Si no necesitas utilizar Google Drive, puedes marcar la casilla (opcional). Si desea utilizar Google Drive, debe permitir el acceso cuando se le solicite.

Haga clic en el botón Reproducir para iniciar el despliegue.

El despliegue se iniciará con la siguiente salida del tipo de GPU que se utiliza para Kobold AI

+---------------------------------------------------------------------------+
| NVIDIA-SMI 525.85.12   Driver Version: 525.85.12   CUDA Version: 12.0     |
|------------------------------+---------------------+----------------------+
| GPU  Name       Persistence-M| Bus-Id       Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf Pwr:Usage/Cap|        Memory-Usage | GPU-Util  Compute M. |
|                              |                     |               MIG M. |
|==============================+=====================+======================|
|   0  Tesla T4           Off  | 00000000:00:04.0 Off|                    0 |
| N/A   37C    P8    9W /  70W |     0MiB / 15360MiB |      0%      Default |
|                              |                     |                  N/A |
+------------------------------+---------------------+----------------------+
                                                                            
+---------------------------------------------------------------------------+
| Processes:                                                                |
|  GPU   GI   CI       PID   Type   Process name                 GPU Memory |
|        ID   ID                                                 Usage      |
|===========================================================================|
|  No running processes found                                               |
+---------------------------------------------------------------------------+

Espere algún tiempo a que el despliegue se complete mediante la configuración de todos los controladores y paquetes que se requieren para ejecutar Kobold AI API.

Una vez que el despliegue se haya completado obtendrá una salida similar a la de abajo, a partir de ahí obtendrá una URL para comprobar su Kobold AI en su navegador.

INIT    | Starting   | LUA bridge
INIT    | OK         | LUA bridge
INIT    | Starting   | LUA Scripts
INIT    | OK         | LUA Scripts
INIT    | OK         | Webserver
MESSAGE | KoboldAI has finished loading and is available at the following link: https://petersburg-source-shark-blade.trycloudflare.com

MENSAJE | KoboldAI ha terminado de cargar y está disponible en el siguiente enlace: https://petersburg-source-shark-blade.trycloudflare.com

En el MENSAJE verá su URL. Esta salida se genera cuando la versión elegida es la oficial.

Usted tendrá la antigua interfaz de usuario que se parece a uno de abajo.

Herr podrás ver todos los detalles de Kobold AI como el estado de conexión, el modelo que se utiliza y muchos más.

Instalar Kobold AI United

Para utilizar la nueva interfaz de usuario en Kobold UI United, sólo tiene que realizar un único cambio en la configuración antes de la implementación.

Elija Versión como Unidos.

Haz clic en el botón Reproducir.

Una vez completado el despliegue, obtendrá las siguientes URLs

• Kobold AI Old UI
• Kobold AI Nueva interfaz de usuario
• Kobold AI Lite
• URL de la API de Kobold AI

Una vez que haya recibido las URL, deberá esperar un tiempo hasta que se carguen los tensores. Una vez hecho esto, puede empezar a utilizar la nueva interfaz de usuario.

Kobold AI - Nueva salida de interfaz de usuario

INFO    | modeling.inference_models.hf:set_input_parameters:191 - {'use_gpu': True, '0_Layers': 32, 'CPU_Layers': 0, 'Disk_Layers': 0, 'id': 'KoboldAI/OPT-6B-nerys-v2', 'model': 'KoboldAI/OPT-6B-nerys-v2', 'path': None, 'menu_path': ''}
INIT    | Starting   | Flask
INIT    | OK         | Flask
INIT    | Starting   | Webserver
INIT    | OK         | Webserver
MESSAGE | KoboldAI has finished loading and is available at the following link for UI 1: https://claimed-g-jokes-undertaken.trycloudflare.com
MESSAGE | KoboldAI has finished loading and is available at the following link for UI 2: https://claimed-g-jokes-undertaken.trycloudflare.com/new_ui
MESSAGE | KoboldAI has finished loading and is available at the following link for KoboldAI Lite: https://claimed-g-jokes-undertaken.trycloudflare.com/lite
MESSAGE | KoboldAI has finished loading and is available at the following link for the API: https://claimed-g-jokes-undertaken.trycloudflare.com/api

La nueva interfaz de usuario de tu Kobold AI es similar a la siguiente.

Eso es todo, ahora tienes tu servidor Kobold AI en funcionamiento.

Limpiar el espacio de trabajo de Colab

Una vez que haya completado sus experimentos necesitará limpiar Colab para ahorrar recursos. Por favor, siga los siguientes pasos para realizar una limpieza.

1. Haga clic en el botón de parada (antes era un botón de reproducción) para detener el servidor web.
2. Vaya a Tiempo de ejecución y haga clic en Desconectar y eliminar tiempo de ejecución.

Ahora ya puede empezar. Si desea configurar de nuevo, puede intentar la misma configuración como se mencionó anteriormente.

Conclusión

Ahora usted ha aprendido cómo configurar Kobold AI en Google Colab de forma gratuita con Nvidia T4 Tesla GPU.

Si quieres conocer otros artículos parecidos a Cómo instalar Kobold AI API: Guía fácil paso a paso puedes visitar la categoría Herramientas IA.