15 lines
578 B
Bash
15 lines
578 B
Bash
MODEL_FILE=Qwen3.6-35B-A3B-MXFP4_MOE.gguf
|
|
# Для -1 в .env лучше кавычки — иначе часть парсеров .env ломается на ведущем минусе.
|
|
N_GPU_LAYERS="-1"
|
|
|
|
# Доп. ключи docker-compose (опционально; дефолты заданы в compose)
|
|
CTX_SIZE=65536
|
|
THREADS=8
|
|
CACHE_TYPE_K=q8_0
|
|
CACHE_TYPE_V=q8_0
|
|
|
|
# MoE (Qwen3.5-35B-A3B-Q4_K_M / MXFP4_MOE и т.д.): при OOM на GPU — CPU_MOE=1 или частично N_CPU_MOE=8
|
|
# Для dense (Qwopus 27B, Qwen 9B) держите оба 0.
|
|
CPU_MOE=0
|
|
N_CPU_MOE=29
|