tutoriales:configurarservidor
Tabla de Contenidos
¡Esta es una revisión vieja del documento!
Configurar un servidor con Ollama
Para configurar un servidor con ollama hay que seguir los siguientes pasos:
Tarjeta gráfica
- Instalar la tarjeta gráfica
ubuntu-drivers devices sudo apt install nvidia-driver-595-server-open sudo reboot nvidia-smi sudo apt install nvtop nvtop
NGINX
- Instalar NGINX
sudo apt install nginx sudo systemctl status nginx
- Crear el fichero
/etc/nginx/sites-available/servicios.conf
# --- SERVICIO 1 ---
server {
listen 80;
server_name ollama.iabd2.cip.fpmislata.com;
location / {
proxy_pass http://127.0.0.1:11434;
# Forzamos las cabeceras para que Ollama crea que la petición es local
proxy_set_header Host "localhost";
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
# IMPORTANTE: A veces Ollama necesita que el Origin sea explícito
proxy_hide_header 'Access-Control-Allow-Origin';
add_header 'Access-Control-Allow-Origin' '*';
}
}
# --- OTRO SERVICIO ---
server {
listen 80;
server_name OTROSERVICIO.iabd2.cip.fpmislata.com;
location / {
proxy_pass http://127.0.0.1:OTROPUERTO;
include proxy_params;
}
}
# --- SERVICIO POR DEFECTO (Opcional) ---
# Esto responde si alguien entra por IP o un dominio no configurado
server {
listen 80 default_server;
server_name _;
return 444; # Cierra la conexión sin responder nada
}
Si quieres añadir otro servicio además de ollama, copia las líneas
server y modifica el nombre de dominio y el puerto interno.
- Modificar
nginx.confy añade la lineaclient_max_body_size 100M;es para permitir subir ficheros grandes.
http {
sendfile on;
tcp_nopush on;
types_hash_max_size 2048;
# server_tokens off;
client_max_body_size 100M;
...
}
- Finalizar la configuración
sudo ln -s /etc/nginx/sites-available/servicios.conf /etc/nginx/sites-enabled/ sudo rm /etc/nginx/sites-enabled/default
- Comprobar si la instalación es correcta
sudo nginx -t
- Si es correcta, reiniciar NGINX
sudo systemctl reload nginx
Programas de seguridad
- Evitar ataques de fuerza bruta.
sudo apt install fail2ban
- Instalar automáticamente los parches de seguridad
sudo apt update && sudo apt install unattended-upgrades update-notifier-common -y sudo dpkg-reconfigure --priority=low unattended-upgrades
- En
/etc/apt/apt.conf.d/50unattended-upgradesdescomentar las siguiente líneas y dejarlas como se indica:
Unattended-Upgrade::Automatic-Reboot "true"; Unattended-Upgrade::Automatic-Reboot-Time "04:00"; Unattended-Upgrade::Remove-Unused-Dependencies "true";
- Comprobar si está bien configurado
sudo unattended-upgrades --dry-run --debug
Ollama
- Instalar Ollama
curl -fsSL https://ollama.com/install.sh | sh
- Comprobar que el servicio está activo y escuchando en el puerto
11434
sudo systemctl status ollama curl http://127.0.0.1:11434
El instalador detecta la GPU NVIDIA automáticamente (por eso este paso va después de instalar los drivers). Para confirmar que Ollama usa la GPU, ejecuta
nvtopmientras hay un modelo en marcha.</note>
- Descargar (pull) un modelo
ollama pull llama3.1
- Comprobar los modelos descargados y probar uno
ollama list ollama run llama3.1 "Hola, ¿funcionas?"
tutoriales/configurarservidor.1781011039.txt.gz · Última modificación: por Lorenzo
