vLLM

Conteneur LXC DevScripts v0.31.0

Script en développement. À essayer sur une machine de test seulement.

Script en développement : le projet demande de ne pas l'utiliser en production.

Accès par défaut

Adresse: http://ADRESSE-IP:8000Remplacez ADRESSE-IP par l'adresse donnée à la fin de l'installation.
Compte et mot de passe: Aucun identifiant fixe publié par la source : ils se créent à l'installation ou à la première connexion.
Console et SSH: Console du conteneur dans l'interface Proxmox : compte root, connexion automatique sans mot de passe. Le SSH de root n'est ouvert que si vous l'avez demandé à l'installation.
Configuration: /opt/vllm/vllm.env

vLLM is a high-throughput, memory-efficient inference and serving engine for LLMs. It exposes an OpenAI-compatible HTTP API (/v1) so existing OpenAI clients can serve local models.

Site ↗ Documentation ↗ Dépôt de l'application ↗ Voir le code du script ↗

Installer

Cœurs: 4
Mémoire: 8 Go
Disque: 20 Go
Système: Debian 13

bash -c "$(curl -fsSL https://raw.githubusercontent.com/community-scripts/DevScripts/main/ct/vllm.sh)"

Configuration : /opt/vllm/vllm.env

Dans le shell du nœud Proxmox. Exécutez cette commande dans le shell du nœud Proxmox, pas dans une VM. Lisez le script d'abord.

Générateur : préparer la commande avec vos réglages

Remplissez seulement ce que vous voulez changer. Les valeurs vides gardent le réglage par défaut du script.

Cœurs Nombre de cœurs du conteneur. Mémoire (Mo) Mémoire vive en mégaoctets. Disque (Go) Taille du disque en gigaoctets. Nom de la machine Identifiant du conteneur Laissez vide pour le prochain identifiant libre. Pont réseau Pont ou réseau virtuel auquel brancher le conteneur. Adresse « dhcp » ou une adresse avec masque (10.64.250.10/24). Passerelle Seulement avec une adresse fixe. VLAN Stockage du conteneur Stockage des modèles Conteneur non privilégié Recommandé : oui. Accès SSH pour root Étiquettes Séparées par des points-virgules. Affichage détaillé

Tutoriel pas à pas

De l'interface de Proxmox jusqu'à la première connexion, pour vLLM.

Ouvrez l'interface de Proxmox dans votre navigateur et connectez-vous.
Dans l'arbre de gauche, cliquez sur votre nœud, puis sur « Shell ».
Vérifiez que le nœud a la place pour ce conteneur : 4 cœurs, 8 Go de mémoire, 20 Go de disque.

Copiez cette commande, collez-la dans le shell et appuyez sur Entrée.

bash -c "$(curl -fsSL https://raw.githubusercontent.com/community-scripts/DevScripts/main/ct/vllm.sh)"

À la question « Use Default Settings? », répondez oui pour garder les réglages par défaut. Répondez non pour choisir vous-même l'identifiant, l'adresse, le disque ou le réseau.
Attendez la fin de l'installation : le script affiche l'adresse du conteneur.
Ouvrez http://ADRESSE-IP:8000 dans votre navigateur, en remplaçant ADRESSE-IP par l'adresse affichée.
Pour entrer dans le conteneur : sélectionnez-le dans Proxmox, puis « Console ». La session root s'ouvre sans mot de passe.
Pour mettre à jour plus tard : tapez update dans la console du conteneur.
Le fichier de configuration se trouve ici : /opt/vllm/vllm.env

À savoir

Select NVIDIA GPU passthrough at container creation. vLLM installs the CUDA build by default and requires an NVIDIA GPU for usable performance; CPU-only inference is impractically slow.
Model, port, dtype, VRAM share and HuggingFace token can be chosen up front in the script generator; they are written to /opt/vllm/vllm.env. Restart the service after changing the file: systemctl restart vllm
Flags not covered by a field go into VLLM_SERVE_ARGS in /opt/vllm/vllm.env, which is appended to 'vllm serve' verbatim.
The configured model is downloaded from HuggingFace on first service start, which needs internet access and disk space. For gated/private models set HF_TOKEN in /opt/vllm/vllm.env. Resource needs scale heavily with the chosen model.

Options propres à ce script

Variable	Rôle	Type
`var_model`	Model	text
`var_hf_token`	HuggingFace Token	password
`var_api_key`	API Key	password
`var_port`	API Port	number
`var_dtype`	Data Type	select
`var_vram_utilization`	VRAM Utilization	text
`var_max_model_len`	Max Model Length	number
`INSTALL_NVIDIA_DRIVERS`	Install NVIDIA driver libraries	boolean

Notes de la version v0.31.0

v0.31.0

Highlights

This release features 717 commits from 307 contributors (96 new)!

DeepSeek-V4.1-Flash performance: FlashMLA mega attention with the V4.1 NVFP4 compressed KV cache is now the SM100 default (#56935); DeepGEMM sparse MQA logits for the indexer (#56254) and Mega-Gate fusing the gate GEMM with expert selection (#56266); decoder boundaries fuse the TP all-reduce, mHC input preparation (#57643) and the MoE finalize (#58586); a fused small-batch WO-A with inverse …

Alpine-IT-Tools

Conteneur LXC

IT-Tools is a web-based suite of utilities designed to streamline and simplify various IT tasks, providing tools for developers and system administrators to manage their…

Mise à jour Port 80

Alpine-Wakapi

Conteneur LXC

Wakapi is an open-source tool that helps you keep track of the time you have spent coding on different projects in different programming languages and more. Ideal for st…

Mise à jour Port 3000

AnythingLLM

Conteneur LXC

AnythingLLM is an all-in-one AI application: turn documents, websites and other content into a chat-ready knowledge base with RAG, agents and multi-user workspaces. It c…

Mise à jour Port 3001

ByteStash

Conteneur LXC

ByteStash is a self-hosted web application designed to store, organise, and manage your code snippets efficiently. With support for creating, editing, and filtering snip…

Mise à jour Port 3000

CLIProxyAPI

Conteneur LXC

CLIProxyAPI is a proxy server that provides OpenAI-compatible API endpoints for multiple AI CLI tools including Claude Code, Gemini CLI, OpenAI Codex, and more. It enabl…

Mise à jour Port 8317

Coder Code Server

Complément

Coder Code Server is an open-source project that enables you to run Visual Studio Code (VS Code) on a remote machine, such as a desktop PC or virtual server. It serves a…

Port 8680