NVIDIA

Ubuntu 22.04 LTS : NVIDIA Graphic Driver : Install : Server World

Para instalar el driver de NVIDIA en Ubuntu, podemos usar los controladores propietarios oficiales proporcionados por NVIDIA o a través de los repositorios de Ubuntu:

✅ 1. Identifica modelo de GPU

lspci | grep -i nvidia
01:00.0 VGA compatible controller: NVIDIA Corporation GA104 [GeForce RTX 3060 Ti Lite Hash Rate] (rev a1)
01:00.1 Audio device: NVIDIA Corporation GA104 High Definition Audio Controller (rev a1)

✅ 2. Identifica e instala el driver recomendado para tu tarjeta

# Instala ubuntu-drivers-common
sudo apt install ubuntu-drivers-common -y
# Identifica el driver
sudo ubuntu-drivers devices

Busca una línea como:

driver : nvidia-driver-535 - distro non-free recommended

sudo apt install nvidia-driver-535

Cambia 535 por la versión que te recomiende el comando anterior (si es diferente).

✅ 3. Reinicia tu equipo

sudo reboot

✅ 4. Verifica la instalación

Después de reiniciar, ejecuta:

nvidia-smi

Deberías ver una tabla con detalles de tu GPU

📝 Herramientas adicionales para IA

NVIDIA CUDA Toolkit

Conjunto de herramientas y librerías oficiales de NVIDIA que permiten programar y ejecutar código en la GPU (en lugar de solo en la CPU).

🔹 En palabras simples: Es el “motor base” que hace que tu tarjeta NVIDIA pueda hacer cálculos de IA, ciencia de datos, y renderizado en vez de solo gráficos.

Usos:

El software de IA moderno (PyTorch, TensorFlow, Ollama, etc.) usa CUDA debajo.

Ollama y Open WebUI dependen de CUDA para acelerar la inferencia de modelos LLM.
Stable Diffusion, Whisper, y casi todos los frameworks de deep learning se apoyan en CUDA + cuDNN.

Sin el CUDA Toolkit, los programas no pueden compilar ni ejecutar kernels GPU.

# Instalar
sudo apt install nvidia-cuda-toolkit
# Comprobar
nvcc --version

NVIDIA Container Toolkit

Conjunto de herramientas que permite a los contenedores Docker (u otros runtimes como Podman o Kubernetes) acceder a la GPU NVIDIA del host.

👉 En palabras simples: Es lo que “puentea” tu GPU física con los contenedores Docker, para que dentro de ellos se pueda usar CUDA, TensorRT, PyTorch, etc.

+----------------------------+
| Docker Container           |
|   (PyTorch, TensorFlow...) |
+------------+---------------+
             ↑
  NVIDIA Container Toolkit
             ↓
+-----------------------------+
| Host Ubuntu 24.04           |
|  ├─ NVIDIA Driver (550.xx)  |
|  ├─ CUDA Toolkit            |
|  └─ Tarjeta RTX física      |
+-----------------------------+

Cuando corres algo como:

docker run --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi

Docker por sí solo no sabe cómo usar la GPU.
El NVIDIA Container Toolkit intercepta esa petición (--gpus all), inyecta los drivers y librerías CUDA del host dentro del contenedor, y configura las variables de entorno (CUDA_VISIBLE_DEVICES, etc.).

Sin eso, los contenedores verían solo CPU.

Instalación

# Añade el repo correcto y la clave
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
 | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
 | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
 | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# Instala el toolkit
sudo apt update && sudo apt install -y nvidia-container-toolkit



# Integra con Docker y reinicia
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Prueba

sudo docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.95.05              Driver Version: 580.95.05      CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3060 Ti     Off |   00000000:01:00.0 Off |                  N/A |
| 31%   36C    P8             15W /  200W |       7MiB /   8192MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+