Leonid Pershin
2ab32a8ab5
- Removed references to llamacpp from configuration files, scripts, and documentation, streamlining the LLM setup process to focus solely on Ollama. - Updated environment variables and paths to eliminate llamacpp-related entries, ensuring clarity in the configuration. - Adjusted CLI commands and help messages to reflect the removal of llamacpp, enhancing user experience and reducing confusion. - Revised documentation to provide clear guidance on using Ollama exclusively, including updates to setup instructions and runtime options.
55 lines
2.2 KiB
Plaintext
55 lines
2.2 KiB
Plaintext
# gpu-rent.vars — локальные параметры запуска (не секреты).
|
|
# Скопируй в gpu-rent.vars и правь. Файл в .gitignore.
|
|
# Читают: gpu-rent.ps1 / .bat / .sh и python -m gpu_rent (после .env).
|
|
# Секреты (OS_PASSWORD, CIVITAI_*, HF_TOKEN) — только в .env.
|
|
|
|
# Если запуск без аргументов (двойной клик / .\gpu-rent.ps1):
|
|
# GPU_RENT_DEFAULT_ARGS=up --yes
|
|
|
|
# Доп. флаги ко ВСЕМ вызовам (после твоих аргументов):
|
|
# GPU_RENT_EXTRA_ARGS=
|
|
|
|
# ---------------------------------------------------------------------------
|
|
# Базовые (несекретные дефолты; те же имена, что в env.example)
|
|
# ---------------------------------------------------------------------------
|
|
# UPDATE_GIT=true
|
|
# DEFAULT_SPOT=true
|
|
# SCAN_POOLS=ru-6,ru-7
|
|
# FLAVOR_PREFERENCE=4090-24,4090-48,a5000,a100-40
|
|
# SWARMUI_LOCAL_PORT=17801
|
|
# DATA_VOLUME_SIZE_GB=100
|
|
# ENABLE_SWARMUI=true
|
|
# IDLE_MINUTES=30
|
|
# IDLE_GRACE_MINUTES=45
|
|
# NOTIFY_READY=true
|
|
# UP_STOP_ON_FAIL=true # при падении up гасить GPU (default); false / --keep-on-fail
|
|
# Prefer auto /32 (leave unset). Spike/WARP only:
|
|
# GPU_RENT_SSH_CIDR=0.0.0.0/0
|
|
|
|
# ---------------------------------------------------------------------------
|
|
# LLM — кейсы тонкой настройки (раскомментируй один блок)
|
|
# Подробнее: docs/llm.md
|
|
# ---------------------------------------------------------------------------
|
|
|
|
# --- A) Default: SwarmUI + Ollama ---
|
|
# LLM_RUNTIME=ollama
|
|
# ENABLE_SWARMUI=true
|
|
# OLLAMA_LOCAL_PORT=17811
|
|
|
|
# --- B) Только LLM, без SwarmUI ---
|
|
# WORKLOAD=llm
|
|
# LLM_RUNTIME=ollama
|
|
|
|
# --- C) Pin версии Ollama (supply-chain) ---
|
|
# LLM_RUNTIME=ollama
|
|
# OLLAMA_VERSION=0.6.5
|
|
# OLLAMA_SHA256=<sha256 of ollama-linux-amd64.tgz>
|
|
|
|
# --- D) Выключить LLM (гасит unit’ы на следующем up) ---
|
|
# LLM_RUNTIME=none
|
|
|
|
# Порт туннеля (localhost):
|
|
# OLLAMA_LOCAL_PORT=17811
|
|
# Свой путь к манифесту pull:
|
|
# OLLAMA_MODELS_MANIFEST=
|