Skip to main content

IA

image.png


Requisitos

Ubuntu 24.04 o superior instalado

Drivers Nvidia instalados

  • Ollama → ejecuta el modelo LLM local (usa tu GPU NVIDIA).

  • Open WebUI → interfaz web tipo ChatGPT con historial persistente, usuarios, adjuntos y memoria/Knowledge Base.

  • (Opcional) ChromaDB → memoria vectorial para que “aprenda” de tus chats y documentos (RAG).

Instalar OLLAMA

curl -fsSL https://ollama.com/install.sh | sh

# Arranca el servicio (si no arrancó solo):
sudo systemctl enable --now ollama


Prueba el modelo (descarga automática y usa la GPU si la detecta):

ollama run llama3.1

Consejo: si el prompt responde fluido y nvidia-smi muestra uso durante la generación, está usando GPU.

Ejecuta el contenedor usando CPU solo

 docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama docker.io/ollama/ollama

Ejecuta el contenedor usando gpu

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Ejecuta modelo

Now you can run a model:

docker exec -it ollama ollama run llama3

Open WEBUI

🏡 Home | Open WebUI

Installing Open WebUI with Bundled Ollama Support​

This installation method uses a single container image that bundles Open WebUI with Ollama, allowing for a streamlined setup via a single command. Choose the appropriate command based on your hardware setup:

  • With GPU Support: Utilize GPU resources by running the following command:

    sudo podman run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

  • For CPU Only: If you're not using a GPU, use this command instead:

    podman run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Both commands facilitate a built-in, hassle-free installation of both Open WebUI and Ollama, ensuring that you can get everything up and running swiftly.

After installation, you can access Open WebUI at http://localhost:3000. Enjoy! 😄

Back to top