vLLM

Que veut dire « vLLM » dans le jargon de l’IA ?

Moteur d'inférence haute performance pour servir des modèles open-weights à grande échelle, optimisant la mémoire GPU et le débit. Brique courante d'un hub IA auto-hébergé.

Autres formes : vLLM.