Publicada el · Actualizada el
LiteLLM: una sola interfaz para llamar a 100 modelos de IA librería y proxy en Python
LiteLLM es una librería de código abierto con más de 53.000 estrellas en GitHub y licencia MIT. Ofrece una única interfaz para llamar a OpenAI, Anthropic (Claude), Google, Azure, AWS Bedrock, Cohere, HuggingFace y otros proveedores, todo en formato compatible con OpenAI. Se puede usar como librería Python o como servidor proxy.
Lo que hay dentro, de principio a fin
Qué hace en la práctica una interfaz, todos los modelos
LiteLLM (github.com/BerriAI/litellm) te da una sola interfaz para llamar a más de cien proveedores de IA, todo en el formato estándar de OpenAI. Escribes el código una vez y cambias el nombre del modelo para saltar de proveedor. Encima de eso, añade tracking de gasto, balanceo de carga, guardrails y logging.
Dos formas de uso:
- Como librería Python dentro de tu código.
- Como servidor proxy (una pasarela) al que apunta todo tu equipo o tu aplicación.
Por qué mola a quien construye lo que resuelve
| Capacidad | Qué te aporta |
|---|---|
| Sin lock-in de proveedor | Pasas de GPT a Claude cambiando un string |
| Tracking de coste | Ves lo que cuesta cada llamada por modelo |
| Balanceo de carga | Repartes llamadas entre claves y modelos para esquivar rate limits |
| Fallbacks | Si un proveedor cae, enruta automáticamente a otro |
| Logging | Visibilidad completa de cada petición |
Arranque rápido con la librería una llamada, cualquier modelo
Con un solo cambio en el nombre del modelo, cambias de proveedor.
Instalación:
pip install litellm
Llamada a cualquier modelo con la misma función:
from litellm import completion
import os
os.environ["OPENAI_API_KEY"] = "your-key"
# OpenAI
r = completion(model="gpt-4o", messages=[{"role": "user", "content": "hola"}])
# Cambias a Claude solo cambiando el nombre del modelo
r = completion(model="claude-3-5-sonnet-20240620", messages=[{"role": "user", "content": "hola"}])Misma función, cualquier proveedor. Esa es la magia.
Arranque rápido del proxy un endpoint local para todo el equipo
Pégale este mensaje exactoCuando necesites que toda tu app o tu equipo apunten a un solo sitio con control de gasto, levanta el proxy.
Instalación y arranque:
pip install 'litellm[proxy]' litellm --model gpt-4o
Te da un endpoint local compatible con OpenAI. Apunta cualquier código que ya use OpenAI y consigues logging, control de gasto y enrutamiento entre modelos. Revisa la documentación para añadir un fichero de configuración con varios modelos y presupuestos.
Antes de lanzar un job grande sobre un modelo caro, prueba con uno barato. El proxy facilita mucho las llamadas y eso puede disparar la factura. Ojo. Las claves de API van en variables de entorno, nunca hardcodeadas ni subidas a Git.
Conclusión la fontanería que ahorra semanas
Si estás construyendo cualquier cosa sobre modelos de IA, LiteLLM es la fontanería que te ahorra semanas: una interfaz, todos los proveedores, sin lock-in y con visibilidad total del coste. Empieza con la librería, salta al proxy cuando necesites una pasarela compartida y no pierdas de vista el presupuesto. Sencillo, potente y gratis.