Lección 02: Configuración vLLM

Introducción

vLLM es el motor de inferencia que impulsa AVA SDK. Basado en PagedAttention, ofrece rendimiento de clase industrial para modelos de lenguaje en hardware local. En esta lección aprenderás a instalar, configurar y optimizar vLLM para ejecutar modelos como Llama 3, Mistral y Qwen directamente en tu GPU.

¿Cómo funciona vLLM?

vLLM utiliza PagedAttention, un novedoso sistema de gestión de memoria que elimina la fragmentación del KV cache. Esto permite:

Paso 1: Iniciar el servidor vLLM

Con Docker ya configurado (Lección 01), lanzar vLLM es tan simple como:

1docker run --gpus all \
2    -v ~/.cache/huggingface:/root/.cache/huggingface \
3    -p 8000:8000 \
4    --ipc=host \
5    vllm/vllm-openai:latest \
6    --model meta-llama/Meta-Llama-3.1-8B-Instruct

Paso 2: Elegir un modelo

vLLM es compatible con decenas de modelos open-source. Para AVA SDK recomendamos:

Paso 3: Conectar vLLM con AVA SDK

Una vez el servidor vLLM esté corriendo, configura AVA SDK para que lo use como backend de inferencia local:

1from openai import OpenAI
2
3# AVA SDK - Configuración de inferencia local
4client = OpenAI(
5    base_url="http://localhost:8000/v1",
6    api_key="not-needed"  # vLLM no requiere API key
7)
8
9response = client.chat.completions.create(
10    model="meta-llama/Meta-Llama-3.1-8B-Instruct",
11    messages=[
12        {"role": "system", "content": "Eres AVA, un asistente táctico."},
13        {"role": "user", "content": "¿Qué comandos básicos de AVA conoces?"}
14    ],
15    temperature=0.7,
16    max_tokens=512
17)
18
19print(response.choices[0].message.content)

Benchmark: vLLM vs OpenAI

Resultados comparativos en una GPU NVIDIA RTX 4090 (24 GB VRAM) con Llama 3.1 8B vs GPT-4o mini:

Optimización de rendimiento

Solución de problemas