MODEL_FILE=Qwen3.6-35B-A3B-MXFP4_MOE.gguf # Для -1 в .env лучше кавычки — иначе часть парсеров .env ломается на ведущем минусе. N_GPU_LAYERS="-1" # Доп. ключи docker-compose (опционально; дефолты заданы в compose) CTX_SIZE=65536 THREADS=8 CACHE_TYPE_K=q8_0 CACHE_TYPE_V=q8_0 # MoE (Qwen3.5-35B-A3B-Q4_K_M / MXFP4_MOE и т.д.): при OOM на GPU — CPU_MOE=1 или частично N_CPU_MOE=8 # Для dense (Qwopus 27B, Qwen 9B) держите оба 0. CPU_MOE=0 N_CPU_MOE=29