Capacidad con evidencia
Cómo probar una IA local con varias personas a la vez
Una respuesta rápida para una persona no determina cómo funcionará el mismo equipo cuando coincidan varias tareas. Antes de dimensionar una instalación, acuerda un ensayo que reproduzca documentos, preguntas y esperas parecidos a los del trabajo previsto. Lo que sigue es un protocolo propuesto; no son resultados medidos ni capacidades prometidas para nuestros equipos.
Describe qué trabajo llega y cuándo
Anota las tareas que compartirán el equipo: consultas breves, lectura de documentos o generación de borradores largos. Para cada una guarda una entrada sintética o autorizada, el tamaño aproximado y la salida esperada. Dos personas con tareas distintas pueden exigir más que un grupo mayor haciendo preguntas cortas.
Describe también el ritmo. Un lote que empieza a la misma hora, consultas repartidas y una reunión donde todos preguntan a la vez son escenarios diferentes. Elige los que representan tu actividad y deja los demás fuera de la conclusión.
Fija la configuración de la comparación
Registra modelo y versión, formato o cuantización, memoria, servidor de inferencia, límite de contexto y configuración de generación. Conserva la versión de los ejemplos. Si cambias varias cosas a la vez, será difícil atribuir el resultado a una de ellas. Si aún dudas entre servidores, explicamos cuándo usar Ollama o vLLM.
Distingue el arranque inicial de una sesión ya preparada. Si las cachés cambian la respuesta del sistema, anota qué se reutiliza en cada ensayo. Un caso idéntico repetido puede favorecer una ruta que no representa documentos nuevos.
Mide el trabajo terminado y la espera
Observa cuánto tarda en empezar la respuesta, cuánto tarda en completarse y cuántas solicitudes fallan o quedan esperando. Conserva la distribución de tiempos y los casos lentos, además del resumen. Un promedio puede ocultar la experiencia de quien llegó durante el pico.
La herramienta de pruebas de servicio de vLLM documenta parámetros de carga y métricas de latencia y rendimiento. Es una referencia técnica para quien realiza la medición, no una obligación de instalar vLLM ni una garantía de compatibilidad con cualquier equipo.
Sube la carga con un límite acordado
Empieza por un usuario y aumenta gradualmente hasta los escenarios acordados, dejando que cada ensayo termine. Define antes las condiciones de parada: errores, memoria agotada o esperas incompatibles con la tarea. Realiza la prueba en un entorno preparado para ello, sin interrumpir trabajo real.
En un ejemplo ficticio, un borrador puede esperar en cola, mientras que una consulta durante una llamada necesita respuesta antes. Elige criterios distintos para ambas tareas y registra quién los acepta. No conviertas ese ejemplo en un límite universal de segundos o usuarios.
Revisa calidad antes de decidir
Comprueba que las salidas conservan los hechos y terminan completas. Acortar el contexto o la respuesta puede mejorar una cifra de velocidad a costa del trabajo útil. Utiliza los ejemplos de evaluación preparados y cuenta también el tiempo humano de corrección.
El resultado debe incluir configuración, carga ensayada, tiempos, fallos, calidad revisada y escenarios sin comprobar. Decide si basta con repartir las tareas, limitar concurrencia, ajustar la configuración o estudiar otra capacidad. Fuente revisada el 20 de septiembre de 2026.