From d70b7d5ad29f9137d3f43bd8dfa22155d617f529 Mon Sep 17 00:00:00 2001 From: GRayHook Date: Sun, 3 May 2026 10:08:16 +0700 Subject: [PATCH] bup comment --- docker-compose.yml | 5 ++++- 1 file changed, 4 insertions(+), 1 deletion(-) diff --git a/docker-compose.yml b/docker-compose.yml index bccdc1b..be6e624 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -1,4 +1,7 @@ -# llama.cpp + CUDA (Qwen3.x / крупные GGUF на 12 ГБ VRAM: гибрид GPU+CPU). +# llama.cpp + CUDA в Docker (Qwen3.x / крупные GGUF на 12 ГБ VRAM: гибрид GPU+CPU). +# Образ по умолчанию: server-cuda (CUDA 12 в контейнере) — совместим с большинством GPU и драйверов. +# Альтернатива: server-cuda13 — только если GPU/драйвер тянут CUDA 13; иначе ggml_cuda_init: +# «forward compatibility was attempted on non supported HW» → оставьте server-cuda. # Нужны: драйвер NVIDIA, NVIDIA Container Toolkit, runtime nvidia в Docker. # # Модель: ./models/ + MODEL_FILE в .env.