llama.cpp

Conteneur LXC DevScripts v0.6.0

Script désactivé par ses mainteneurs. Currently disabled for Testing, because the Project doesnt release tarballs anymore.

Script en développement : le projet demande de ne pas l'utiliser en production.

Accès par défaut

Adresse: http://ADRESSE-IP:8080Remplacez ADRESSE-IP par l'adresse donnée à la fin de l'installation.
Compte et mot de passe: Aucun identifiant fixe publié par la source : ils se créent à l'installation ou à la première connexion.
Console et SSH: Console du conteneur dans l'interface Proxmox : compte root, connexion automatique sans mot de passe. Le SSH de root n'est ouvert que si vous l'avez demandé à l'installation.
Configuration: /opt/llama-cpp.env

llama.cpp runs GGUF language models directly in C/C++ with no Python runtime. This installs llama-server, which serves a built-in web chat UI plus an OpenAI-compatible API on the same port, so it can back tools like AnythingLLM, Open WebUI or Claude Code. Lighter and closer to the metal than Ollama.

Site ↗ Documentation ↗ Dépôt de l'application ↗ Voir le code du script ↗

Installer

Cœurs: 4
Mémoire: 8 Go
Disque: 30 Go
Système: Debian 13

bash -c "$(curl -fsSL https://raw.githubusercontent.com/community-scripts/DevScripts/main/ct/llama-cpp.sh)"

Configuration : /opt/llama-cpp.env

Dans le shell du nœud Proxmox. Exécutez cette commande dans le shell du nœud Proxmox, pas dans une VM. Lisez le script d'abord.

Tutoriel pas à pas

De l'interface de Proxmox jusqu'à la première connexion, pour llama.cpp.

Ouvrez l'interface de Proxmox dans votre navigateur et connectez-vous.
Dans l'arbre de gauche, cliquez sur votre nœud, puis sur « Shell ».
Vérifiez que le nœud a la place pour ce conteneur : 4 cœurs, 8 Go de mémoire, 30 Go de disque.

Copiez cette commande, collez-la dans le shell et appuyez sur Entrée.

bash -c "$(curl -fsSL https://raw.githubusercontent.com/community-scripts/DevScripts/main/ct/llama-cpp.sh)"

À la question « Use Default Settings? », répondez oui pour garder les réglages par défaut. Répondez non pour choisir vous-même l'identifiant, l'adresse, le disque ou le réseau.
Attendez la fin de l'installation : le script affiche l'adresse du conteneur.
Ouvrez http://ADRESSE-IP:8080 dans votre navigateur, en remplaçant ADRESSE-IP par l'adresse affichée.
Pour entrer dans le conteneur : sélectionnez-le dans Proxmox, puis « Console ». La session root s'ouvre sans mot de passe.
Pour mettre à jour plus tard : tapez update dans la console du conteneur.
Le fichier de configuration se trouve ici : /opt/llama-cpp.env

À savoir

On first start llama-server downloads the model set in LLAMA_ARG_HF_REPO (default: ggml-org/gemma-3-1b-it-GGUF, roughly 800 MB) into /opt/llama-cpp_data/models, so the container is usable straight away. Swap it for any GGUF repo, or point LLAMA_ARG_MODEL at a local file, then restart.
The web UI and the OpenAI-compatible API share port 8080: /v1/chat/completions, /v1/models and friends. There is no authentication unless an API key is set - supply one at install time or set LLAMA_ARG_API_KEY in /opt/llama-cpp.env.
The build variant is chosen at install time: cpu or vulkan, or auto to follow the passed-through GPU. Upstream publishes no Linux CUDA or ROCm build, so every GPU is served by the vulkan build - AMD through RADV, NVIDIA through the driver's Vulkan ICD, which has to be present in the container. The choice is remembered in /opt/llama-cpp_data/.backend so updates keep it.
RAM is the limiting factor: the model must fit alongside the KV cache. 8 GB comfortably runs models up to roughly 7B at Q4. Raise LLAMA_ARG_CTX_SIZE only if you have headroom.

Options propres à ce script

Variable	Rôle	Type
`var_backend`	Build Variant	select
`var_model_repo`	Model Repository	text
`var_ctx_size`	Context Size	number
`var_offload_layers`	GPU Layers	number
`var_api_key`	API Key	password
`var_port`	Port	number
`INSTALL_NVIDIA_DRIVERS`	Install NVIDIA driver libraries	boolean

Notes de la version v0.6.0

Overview

llama.cpp v0.6.0 introduces the new llama_batch_ext extended batch API (with llama_process) for mixed token/embedding inputs and MTP/deepstack state embeddings, adds support for the GLM-5.3-Flash (GLM5-Next) 320B hybrid model, the Clef decision model (text and vision) and MTP speculative decoding for Qwen4Exp, ships a new /v1/systemone server API for decision models (laya, julia-1, lev, openjev, kev, nimble), overhauls the Web UI with a Hugging Face Hub data layer and model…

Alpine-IT-Tools

Conteneur LXC

IT-Tools is a web-based suite of utilities designed to streamline and simplify various IT tasks, providing tools for developers and system administrators to manage their…

Mise à jour Port 80

Alpine-Wakapi

Conteneur LXC

Wakapi is an open-source tool that helps you keep track of the time you have spent coding on different projects in different programming languages and more. Ideal for st…

Mise à jour Port 3000

AnythingLLM

Conteneur LXC

AnythingLLM is an all-in-one AI application: turn documents, websites and other content into a chat-ready knowledge base with RAG, agents and multi-user workspaces. It c…

Mise à jour Port 3001

ByteStash

Conteneur LXC

ByteStash is a self-hosted web application designed to store, organise, and manage your code snippets efficiently. With support for creating, editing, and filtering snip…

Mise à jour Port 3000

CLIProxyAPI

Conteneur LXC

CLIProxyAPI is a proxy server that provides OpenAI-compatible API endpoints for multiple AI CLI tools including Claude Code, Gemini CLI, OpenAI Codex, and more. It enabl…

Mise à jour Port 8317

Coder Code Server

Complément

Coder Code Server is an open-source project that enables you to run Visual Studio Code (VS Code) on a remote machine, such as a desktop PC or virtual server. It serves a…

Port 8680