|
|
|
|
@ -1,4 +1,7 @@
|
|
|
|
|
# llama.cpp + CUDA (Qwen3.x / крупные GGUF на 12 ГБ VRAM: гибрид GPU+CPU).
|
|
|
|
|
# llama.cpp + CUDA в Docker (Qwen3.x / крупные GGUF на 12 ГБ VRAM: гибрид GPU+CPU).
|
|
|
|
|
# Образ по умолчанию: server-cuda (CUDA 12 в контейнере) — совместим с большинством GPU и драйверов.
|
|
|
|
|
# Альтернатива: server-cuda13 — только если GPU/драйвер тянут CUDA 13; иначе ggml_cuda_init:
|
|
|
|
|
# «forward compatibility was attempted on non supported HW» → оставьте server-cuda.
|
|
|
|
|
# Нужны: драйвер NVIDIA, NVIDIA Container Toolkit, runtime nvidia в Docker.
|
|
|
|
|
#
|
|
|
|
|
# Модель: ./models/ + MODEL_FILE в .env.
|
|
|
|
|
|
