init

2026-05-02 19:54:28 +07:00
commit 5a5cef0c90
3 changed files with 86 additions and 0 deletions
@@ -0,0 +1,14 @@
+MODEL_FILE=Qwen3.6-35B-A3B-MXFP4_MOE.gguf
+# Для -1 в .env лучше кавычки — иначе часть парсеров .env ломается на ведущем минусе.
+N_GPU_LAYERS="-1"
+
+# Доп. ключи docker-compose (опционально; дефолты заданы в compose)
+CTX_SIZE=65536
+THREADS=8
+CACHE_TYPE_K=q8_0
+CACHE_TYPE_V=q8_0
+
+# MoE (Qwen3.5-35B-A3B-Q4_K_M / MXFP4_MOE и т.д.): при OOM на GPU — CPU_MOE=1 или частично N_CPU_MOE=8
+# Для dense (Qwopus 27B, Qwen 9B) держите оба 0.
+CPU_MOE=0
+N_CPU_MOE=29