tune and run local with turboquant

2026-06-22 10:37:43 +07:00
parent a0713b260b
commit 2b5977b605
3 changed files with 39 additions and 6 deletions
@@ -1,10 +1,10 @@
-MODEL_FILE=Qwen3.6-35B-A3B-MXFP4_MOE.gguf
+MODEL_FILE=Qwen3.6-35B-A3B-MTP-MXFP4_MOE.gguf
 # Для -1 в .env лучше кавычки — иначе часть парсеров .env ломается на ведущем минусе.
-N_GPU_LAYERS="-1"
+N_GPU_LAYERS="99"

 # Доп. ключи docker-compose (опционально; дефолты заданы в compose)
-CTX_SIZE=65536
-THREADS=8
+CTX_SIZE=175000
+THREADS=12
 CACHE_TYPE_K=q8_0
 CACHE_TYPE_V=q8_0