Leonid Pershin
71f4e4c2e3
- Added support for a new extension, `swarm-assistent`, in `extensions.example.yaml` with a requirement for `ollama`. - Enhanced the README.md to clarify the setup process and provide a quick start guide for using extensions. - Updated documentation in `llm.md` to reflect the opt-in nature of LLM support and provide clearer instructions for enabling it. - Improved the `autocomplete.md` to detail the automatic setup of word lists during the initial launch. - Revised `cli.md` to include new commands and options related to LLM runtime handling and extension management. - Enhanced the `spike-notes.md` to guide users through the first live run with a focus on LLM integration.
127 lines
3.5 KiB
Markdown
127 lines
3.5 KiB
Markdown
# Spike notes — первый живой прогон
|
||
|
||
Заполняй **руками** после зелёного `doctor`. Без секретов и без личных имён чекпоинтов.
|
||
|
||
Подготовка ключей: [setup.md](setup.md). Цель — один раз пройти панель + CLI на реальном GPU и зафиксировать факты (времена, цены, имя образа).
|
||
|
||
---
|
||
|
||
## 0. Перед прогоном
|
||
|
||
| Шаг | Дата | Результат |
|
||
| --- | --- | --- |
|
||
| Квота GPU в панели (лимит) | | 0 / N |
|
||
| Тикет в поддержку (номер), если был | | |
|
||
| Сервисный пользователь `member` + `.env` | | да / нет |
|
||
| `gpu-rent doctor` exit 0 | | |
|
||
|
||
Текст тикета: [setup.md §2.3](setup.md#23-тикет-в-поддержку).
|
||
|
||
---
|
||
|
||
## 1. Preflight
|
||
|
||
```powershell
|
||
.\gpu-rent.ps1 doctor
|
||
.\gpu-rent.ps1 flavors
|
||
.\gpu-rent.ps1 dry-run
|
||
```
|
||
|
||
| Проверка | OK? | Заметка |
|
||
| --- | --- | --- |
|
||
| Keystone token | | |
|
||
| GPU quota > 0 | | |
|
||
| Flavor из `FLAVOR_PREFERENCE` | | id / имя |
|
||
| Image Driver 580 (без Docker) | | имя образа |
|
||
| Volume type в AZ | | |
|
||
| Civitai `.red` + token (если используешь) | | |
|
||
|
||
---
|
||
|
||
## 2. Первый `up`
|
||
|
||
```powershell
|
||
.\gpu-rent.ps1 up --yes
|
||
```
|
||
|
||
Первый bootstrap долгий (ориентир 20–40 мин). Не рви терминал посередине.
|
||
|
||
| Метрика | Значение |
|
||
| --- | --- |
|
||
| Flavor фактически | |
|
||
| Spot / preemptible | |
|
||
| ACTIVE через (мин) | |
|
||
| SSH через (мин) | |
|
||
| Backend Idle через (мин) | |
|
||
| Seed Civitai (мин / GB) | |
|
||
| Boot snapshot `gpu-rent-boot-ok` | да / нет / ошибка |
|
||
| ₽/час GPU (панель) | |
|
||
| ₽/мес data disk (панель) | |
|
||
| Access-card / URL :17801 | да / нет |
|
||
|
||
---
|
||
|
||
## 3. Туннель и API
|
||
|
||
Если закрыл туннель (Ctrl+C):
|
||
|
||
```powershell
|
||
.\gpu-rent.ps1 tunnel --open
|
||
```
|
||
|
||
| Шаг | OK? |
|
||
| --- | --- |
|
||
| UI http://127.0.0.1:17801 | |
|
||
| `/API/GetNewSession` | |
|
||
| MCP `/mcp` (если нужно) | |
|
||
| `nvidia-smi` через `gpu-rent ssh` | |
|
||
|
||
---
|
||
|
||
## 4. Idle-killer / hold
|
||
|
||
| Шаг | OK? | Заметка |
|
||
| --- | --- | --- |
|
||
| `systemctl status gpu-rent-idle-killer.timer` (по SSH) | | |
|
||
| `gpu-rent hold` пишет hold-until | | |
|
||
| Качалка модели в UI | | hold, если killer не видит busy |
|
||
|
||
---
|
||
|
||
## 5. Preempt / диски / stop
|
||
|
||
| Шаг | OK? |
|
||
| --- | --- |
|
||
| EXPIRED → `tunnel` unshelve или `up` | |
|
||
| `stop` — диски живы | |
|
||
| Второй `up` — те же модели на data | |
|
||
| Boot из snapshot `gpu-rent-boot-ok` | |
|
||
|
||
---
|
||
|
||
## 6. (Опц.) LLM
|
||
|
||
```powershell
|
||
.\gpu-rent.ps1 up --yes --ollama
|
||
```
|
||
|
||
| Шаг | OK? |
|
||
| --- | --- |
|
||
| Ollama на :17811 через туннель | |
|
||
| `ollama pull` из манифеста | |
|
||
| `LLM_RUNTIME=none` гасит unit на следующем up | |
|
||
|
||
См. [llm.md](llm.md).
|
||
|
||
---
|
||
|
||
## Выводы для кода / конфига
|
||
|
||
- Имя GPU-образа в пуле:
|
||
- Реальные flavor id (не в git):
|
||
- Хватает ли `IDLE_GRACE_MINUTES=45`:
|
||
- Application credential с узкими access_rules: ок / ошибка (fail closed):
|
||
- Прочее:
|
||
|
||
Когда spike закрыт — отметь пункты в [roadmap.md](roadmap.md) §0.
|