bump

2026-08-05 18:42:39 +07:00
parent a0713b260b
commit 7a3333b2f8
3 changed files with 12 additions and 5 deletions
@@ -1,14 +1,14 @@
-MODEL_FILE=Qwen3.6-35B-A3B-MXFP4_MOE.gguf
+MODEL_FILE=Qwen3.5-9B-MTP-UD-Q4_K_XL.gguf
 # Для -1 в .env лучше кавычки — иначе часть парсеров .env ломается на ведущем минусе.
 N_GPU_LAYERS="-1"

 # Доп. ключи docker-compose (опционально; дефолты заданы в compose)
 CTX_SIZE=65536
-THREADS=8
+THREADS=1
 CACHE_TYPE_K=q8_0
 CACHE_TYPE_V=q8_0

 # MoE (Qwen3.5-35B-A3B-Q4_K_M / MXFP4_MOE и т.д.): при OOM на GPU — CPU_MOE=1 или частично N_CPU_MOE=8
 # Для dense (Qwopus 27B, Qwen 9B) держите оба 0.
 CPU_MOE=0
-N_CPU_MOE=29
+N_CPU_MOE=0