Leonid Pershin
71f4e4c2e3
- Added support for a new extension, `swarm-assistent`, in `extensions.example.yaml` with a requirement for `ollama`. - Enhanced the README.md to clarify the setup process and provide a quick start guide for using extensions. - Updated documentation in `llm.md` to reflect the opt-in nature of LLM support and provide clearer instructions for enabling it. - Improved the `autocomplete.md` to detail the automatic setup of word lists during the initial launch. - Revised `cli.md` to include new commands and options related to LLM runtime handling and extension management. - Enhanced the `spike-notes.md` to guide users through the first live run with a focus on LLM integration.
3.5 KiB
3.5 KiB
Spike notes — первый живой прогон
Заполняй руками после зелёного doctor. Без секретов и без личных имён чекпоинтов.
Подготовка ключей: setup.md. Цель — один раз пройти панель + CLI на реальном GPU и зафиксировать факты (времена, цены, имя образа).
0. Перед прогоном
| Шаг | Дата | Результат |
|---|---|---|
| Квота GPU в панели (лимит) | 0 / N | |
| Тикет в поддержку (номер), если был | ||
Сервисный пользователь member + .env |
да / нет | |
gpu-rent doctor exit 0 |
Текст тикета: setup.md §2.3.
1. Preflight
.\gpu-rent.ps1 doctor
.\gpu-rent.ps1 flavors
.\gpu-rent.ps1 dry-run
| Проверка | OK? | Заметка |
|---|---|---|
| Keystone token | ||
| GPU quota > 0 | ||
Flavor из FLAVOR_PREFERENCE |
id / имя | |
| Image Driver 580 (без Docker) | имя образа | |
| Volume type в AZ | ||
Civitai .red + token (если используешь) |
2. Первый up
.\gpu-rent.ps1 up --yes
Первый bootstrap долгий (ориентир 20–40 мин). Не рви терминал посередине.
| Метрика | Значение |
|---|---|
| Flavor фактически | |
| Spot / preemptible | |
| ACTIVE через (мин) | |
| SSH через (мин) | |
| Backend Idle через (мин) | |
| Seed Civitai (мин / GB) | |
Boot snapshot gpu-rent-boot-ok |
да / нет / ошибка |
| ₽/час GPU (панель) | |
| ₽/мес data disk (панель) | |
| Access-card / URL :17801 | да / нет |
3. Туннель и API
Если закрыл туннель (Ctrl+C):
.\gpu-rent.ps1 tunnel --open
| Шаг | OK? |
|---|---|
| UI http://127.0.0.1:17801 | |
/API/GetNewSession |
|
MCP /mcp (если нужно) |
|
nvidia-smi через gpu-rent ssh |
4. Idle-killer / hold
| Шаг | OK? | Заметка |
|---|---|---|
systemctl status gpu-rent-idle-killer.timer (по SSH) |
||
gpu-rent hold пишет hold-until |
||
| Качалка модели в UI | hold, если killer не видит busy |
5. Preempt / диски / stop
| Шаг | OK? |
|---|---|
EXPIRED → tunnel unshelve или up |
|
stop — диски живы |
|
Второй up — те же модели на data |
|
Boot из snapshot gpu-rent-boot-ok |
6. (Опц.) LLM
.\gpu-rent.ps1 up --yes --ollama
| Шаг | OK? |
|---|---|
| Ollama на :17811 через туннель | |
ollama pull из манифеста |
|
LLM_RUNTIME=none гасит unit на следующем up |
См. llm.md.
Выводы для кода / конфига
- Имя GPU-образа в пуле:
- Реальные flavor id (не в git):
- Хватает ли
IDLE_GRACE_MINUTES=45: - Application credential с узкими access_rules: ок / ошибка (fail closed):
- Прочее:
Когда spike закрыт — отметь пункты в roadmap.md §0.