Enhance LLM and SwarmUI integration with improved configuration options
- Updated `env.example` and `gpu-rent.vars.example` to include new variables for LLM runtime and SwarmUI options. - Refactored CLI commands to support interactive selection of LLM runtime and workload type (SwarmUI, LLM, or both). - Improved access link generation to handle cases where SwarmUI is disabled, providing clearer user feedback. - Enhanced provisioning logic to conditionally bootstrap SwarmUI based on user configuration, allowing for LLM-only setups. - Updated documentation across multiple files to reflect changes in LLM integration, CLI usage, and configuration management.
This commit is contained in:
+16
-6
@@ -49,6 +49,7 @@ chmod +x gpu-rent.sh
|
||||
- `env.example` → `.env`
|
||||
- `models.example.yaml` → `models.yaml`
|
||||
- `extensions.example.yaml` → `extensions.yaml`
|
||||
- `ollama-models.example.yaml` / `llamacpp-models.example.yaml` → соответствующие yaml (лаунчер / setup)
|
||||
- `gpu-rent.vars.example` → `gpu-rent.vars`
|
||||
|
||||
Секреты только в `<repo>/.env` и runtime в `<repo>/.gpu-rent/` (оба в `.gitignore`).
|
||||
@@ -59,7 +60,7 @@ chmod +x gpu-rent.sh
|
||||
.\gpu-rent.ps1 setup
|
||||
```
|
||||
|
||||
Спросит LLM (none/ollama/llamacpp) и local-watchdog. Можно пропустить и настроить позже.
|
||||
Спросит (нумерованные меню): LLM runtime → пресет моделей → local-watchdog. Можно пропустить и настроить позже (`LLM_RUNTIME` / `up`).
|
||||
|
||||
Для разработки / pytest:
|
||||
|
||||
@@ -215,15 +216,23 @@ copy models.example.yaml models.yaml
|
||||
|
||||
Первый прогон долгий (образ, SwarmUI, Comfy, seed): ориентир **20–40 минут**. Не закрывай терминал посередине bootstrap.
|
||||
|
||||
Без вопросов (CI / двойной клик):
|
||||
|
||||
```powershell
|
||||
.\gpu-rent.ps1 up --yes
|
||||
```
|
||||
|
||||
Интерактивно (меню LLM, пресет, **flavor / диск / preemptible**, confirm):
|
||||
|
||||
```powershell
|
||||
.\gpu-rent.ps1 up
|
||||
```
|
||||
|
||||
Что произойдёт:
|
||||
|
||||
1. Снова короткий doctor (кратко; полный — `up -v`).
|
||||
2. Create/unshelve preemptible GPU + диски.
|
||||
3. Bootstrap SwarmUI, extensions, autocomplete, Civitai-seed, push локальных папок.
|
||||
1. Короткий doctor (полный — `up -v`).
|
||||
2. Create/unshelve GPU + диски (после confirm).
|
||||
3. Bootstrap SwarmUI, extensions, autocomplete, Civitai-seed, push локальных папок; optional LLM.
|
||||
4. Туннель на `localhost:17801`, access-card с URL / MCP.
|
||||
5. Процесс ждёт: **Ctrl+C** закрывает только туннель, GPU остаётся.
|
||||
|
||||
@@ -233,9 +242,10 @@ copy models.example.yaml models.yaml
|
||||
| --- | --- |
|
||||
| `--no-tunnel` | только облако; UI потом: `tunnel --open` |
|
||||
| `--no-update` | не `git pull` SwarmUI/extensions |
|
||||
| `--ollama` | поднять Ollama рядом ([llm.md](llm.md)) |
|
||||
| `--ollama` / `--llamacpp` | LLM рядом ([llm.md](llm.md)) |
|
||||
| `--no-swarm` / `--llm-only` | только LLM, без SwarmUI (нужен runtime) |
|
||||
| `--no-spot` | обычный (не preemptible) тариф |
|
||||
| `--flavor ID` | явный flavor, без фоллбека |
|
||||
| `--flavor ID` | явный flavor (пропускает меню flavor) |
|
||||
|
||||
Двойной клик без аргументов: в `gpu-rent.vars` задай `GPU_RENT_DEFAULT_ARGS=up --yes`. Сам `gpu-rent` без args показывает **help**, не поднимает GPU.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user