diff --git a/docker-compose.yml b/docker-compose.yml index bccdc1b..be6e624 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -1,4 +1,7 @@ -# llama.cpp + CUDA (Qwen3.x / крупные GGUF на 12 ГБ VRAM: гибрид GPU+CPU). +# llama.cpp + CUDA в Docker (Qwen3.x / крупные GGUF на 12 ГБ VRAM: гибрид GPU+CPU). +# Образ по умолчанию: server-cuda (CUDA 12 в контейнере) — совместим с большинством GPU и драйверов. +# Альтернатива: server-cuda13 — только если GPU/драйвер тянут CUDA 13; иначе ggml_cuda_init: +# «forward compatibility was attempted on non supported HW» → оставьте server-cuda. # Нужны: драйвер NVIDIA, NVIDIA Container Toolkit, runtime nvidia в Docker. # # Модель: ./models/ + MODEL_FILE в .env.