tune and run local with turboquant

podman-llama.sh

@@ -30,7 +30,7 @@ fi
 : "${CACHE_TYPE_K:=q8_0}"
 : "${CACHE_TYPE_V:=turbo2}"
 : "${THREADS:=8}"
-: "${IMAGE:=ghcr.io/ggml-org/llama.cpp:server-cuda}"
+: "${IMAGE:=ghcr.io/ggml-org/llama.cpp:server-cuda13}"
 : "${BIND_HOST:=0.0.0.0}"
 
 # Разбить по пробелам для podman (пусто = только CDI-устройство).
@@ -42,6 +42,7 @@ podman run -d \
   --replace \
   --restart no \
   --shm-size 1g \
+  --cpuset-cpus="0-11" \
   --ulimit memlock=-1:-1 \
   -p "${BIND_HOST}:${PORT}:8080" \
   -v "${ROOT}/models:/models:ro" \
@@ -52,7 +53,9 @@ podman run -d \
   -m "/models/${MODEL_FILE}" \
   --host 0.0.0.0 \
   --port 8080 \
+  -ngl "${N_GPU_LAYERS}" \
   --n-cpu-moe "${N_CPU_MOE}" \
+  --spec-type draft-mtp --spec-draft-n-max 3 \
   -c "${CTX_SIZE}" \
   -np 1 \
   -fa on \
@@ -61,7 +64,7 @@ podman run -d \
   --no-mmap \
   --mlock \
   --ctx-checkpoints 1 \
-  --cache-ram 0 \
+  --cache-ram -1 \
   --jinja \
   --reasoning on \
   --reasoning-budget -1 \