llama.cpp – Installationsanleitungen

Dieses Repository bündelt meine Erfahrungen bei der Einrichtung von llama.cpp. Die Anleitungen sollen dir Umwege und typische Stolperstellen ersparen. Die Installationswege sind nach Hardware und verwendeten Werkzeugen getrennt, damit du direkt die passende Anleitung auswählen kannst.

Zielsystem: Debian 13 im Headless-Betrieb (ohne grafische Desktop-Umgebung). Die Einrichtung erfolgt über die Kommandozeile, lokal oder per SSH.

Wähle deinen Installationsweg

Installationsweg	Beschreibung
NVIDIA-GPU	Einrichtung mit NVIDIA-Treiber und CUDA am Beispiel einer GeForce RTX 3060.
CPU mit AVX-512 VNNI	Einrichtung für CPU-Inferenz auf einer Intel-CPU mit AVX-512-VNNI-Unterstützung unter Verwendung von Intel oneAPI und MKL.
NVIDIA-GPU und CPU mit AVX-512 VNNI	Kombinierte Einrichtung mit CUDA, Intel oneAPI und MKL.

Nutzung und Konfiguration

• Kommandozeilenparameter erklärt: Thematische Referenz mit Erläuterungen zu den Parametern und Standardwerten aus der llama-server Dokumenation und Startbeispielen für den Headless-Betrieb.

Beispiel-Startskripte

Die Startskripte unter Skripte sind für folgende Systemkonfiguration ausgelegt:

• Betriebssystem: Debian 13 headless
• CPU: Intel Xeon E5-2695 v4
• Arbeitsspeicher: 128 GB RAM
• GPUs: 2 × NVIDIA GeForce RTX 3060 mit jeweils 12 GB VRAM

Die Einstellungen beziehen sich auf dieses System und die im jeweiligen Skript angegebenen Modelle. Passe Modellpfade, Kontextgröße, Threadzahl und GPU-Verteilung an deine eigene Umgebung an.

Hinweise zu den Anleitungen

Die Anleitungen beschreiben konkrete Beispielkonfigurationen mit Debian-/APT-Befehlen. Prüfe vor der Installation, ob die angegebenen Betriebssystemversionen, Paketquellen und Hardware-Einstellungen zu deinem System passen. Insbesondere beziehen sich die CUDA-Einstellungen in den GPU-Anleitungen auf die RTX 3060.