Leonid Pershin
9a4b87dc06
- Reduced default values for IDLE_MINUTES from 60 to 30 and IDLE_GRACE_MINUTES from 90 to 45 across configuration files and documentation. - Updated related documentation to reflect the new default idle time settings, ensuring consistency in user guidance and system behavior.
90 lines
3.4 KiB
Plaintext
90 lines
3.4 KiB
Plaintext
# gpu-rent.vars — локальные параметры запуска (не секреты).
|
|
# Скопируй в gpu-rent.vars и правь. Файл в .gitignore.
|
|
# Читают: gpu-rent.ps1 / .bat / .sh и python -m gpu_rent (после .env).
|
|
# Секреты (OS_PASSWORD, CIVITAI_*, HF_TOKEN) — только в .env.
|
|
|
|
# Если запуск без аргументов (двойной клик / .\gpu-rent.ps1):
|
|
# GPU_RENT_DEFAULT_ARGS=up --yes
|
|
|
|
# Доп. флаги ко ВСЕМ вызовам (после твоих аргументов):
|
|
# GPU_RENT_EXTRA_ARGS=
|
|
|
|
# ---------------------------------------------------------------------------
|
|
# Базовые (несекретные дефолты; те же имена, что в env.example)
|
|
# ---------------------------------------------------------------------------
|
|
# UPDATE_GIT=true
|
|
# DEFAULT_SPOT=true
|
|
# SCAN_POOLS=ru-6,ru-7
|
|
# FLAVOR_PREFERENCE=4090-24,4090-48,a5000,a100-40
|
|
# SWARMUI_LOCAL_PORT=17801
|
|
# DATA_VOLUME_SIZE_GB=100
|
|
# ENABLE_SWARMUI=true
|
|
# IDLE_MINUTES=30
|
|
# IDLE_GRACE_MINUTES=45
|
|
# NOTIFY_READY=true
|
|
# UP_STOP_ON_FAIL=true # при падении up гасить GPU (default); false / --keep-on-fail
|
|
# Prefer auto /32 (leave unset). Spike/WARP only:
|
|
# GPU_RENT_SSH_CIDR=0.0.0.0/0
|
|
|
|
# ---------------------------------------------------------------------------
|
|
# LLM — кейсы тонкой настройки (раскомментируй один блок)
|
|
# Подробнее: docs/llm.md
|
|
# ---------------------------------------------------------------------------
|
|
|
|
# --- A) Default: SwarmUI + llama.cpp (auto: CUDA если nvcc на VM, иначе Vulkan) ---
|
|
# LLM_RUNTIME=llamacpp
|
|
# ENABLE_SWARMUI=true
|
|
# LLAMACPP_TAG=b10545
|
|
# LLAMACPP_BACKEND=auto
|
|
|
|
# --- B) Только LLM, без SwarmUI ---
|
|
# WORKLOAD=llm
|
|
# LLM_RUNTIME=llamacpp
|
|
# LLAMACPP_TAG=b10545
|
|
|
|
# --- C) Явно CUDA (и снести старый Vulkan-бинарь) ---
|
|
# LLM_RUNTIME=llamacpp
|
|
# LLAMACPP_TAG=b10545
|
|
# LLAMACPP_BACKEND=cuda
|
|
# LLAMACPP_FORCE_REINSTALL=1
|
|
|
|
# --- C2) Явно быстрый Vulkan, без compile ---
|
|
# LLM_RUNTIME=llamacpp
|
|
# LLAMACPP_BACKEND=vulkan
|
|
# LLAMACPP_BUILD_CUDA=0
|
|
|
|
# --- D) Свой бинарь / pin URL (supply-chain) ---
|
|
# LLM_RUNTIME=llamacpp
|
|
# LLAMACPP_ASSET_URL=https://github.com/ggml-org/llama.cpp/releases/download/b10545/llama-b10545-bin-ubuntu-vulkan-x64.tar.gz
|
|
# LLAMACPP_SHA256=<sha256 архива>
|
|
# LLAMACPP_FORCE_REINSTALL=1
|
|
|
|
# --- E) Делим 4090 со SwarmUI: меньше слоёв / короче контекст ---
|
|
# LLM_RUNTIME=llamacpp
|
|
# LLAMACPP_NGL=40
|
|
# LLAMACPP_CTX=4096
|
|
# LLAMACPP_EXTRA_ARGS=--flash-attn on
|
|
|
|
# --- F) Длинный контекст / почти весь VRAM под LLM (llm-only) ---
|
|
# WORKLOAD=llm
|
|
# LLM_RUNTIME=llamacpp
|
|
# LLAMACPP_NGL=99
|
|
# LLAMACPP_CTX=32768
|
|
# LLAMACPP_EXTRA_ARGS=--parallel 1
|
|
|
|
# --- G) Ollama вместо llama.cpp + pin версии ---
|
|
# LLM_RUNTIME=ollama
|
|
# OLLAMA_VERSION=0.6.5
|
|
# OLLAMA_SHA256=<sha256 of ollama-linux-amd64.tgz>
|
|
# OLLAMA_LOCAL_PORT=17811
|
|
|
|
# --- H) Выключить LLM (гасит unit’ы на следующем up) ---
|
|
# LLM_RUNTIME=none
|
|
|
|
# Порты туннеля (localhost):
|
|
# OLLAMA_LOCAL_PORT=17811
|
|
# LLAMACPP_LOCAL_PORT=17812
|
|
# Свой путь к манифесту GGUF/pull:
|
|
# LLAMACPP_MODELS_MANIFEST=
|
|
# OLLAMA_MODELS_MANIFEST=
|