Leonid Pershin
2005b00175
- Added `ollama-models.yaml` to .gitignore and implemented logic to copy it in gpu-rent.ps1 and gpu-rent.sh. - Enhanced env.example to include new variables for LLM runtime options and local watchdog configuration. - Updated CLI commands to support LLM options during setup and execution, including new flags for Ollama and llama.cpp. - Improved documentation in cli.md and README.md to reflect changes in LLM integration and local watchdog functionality. - Adjusted architecture and decisions documentation to clarify the role of LLMs and local watchdog in the system.
1.3 KiB
1.3 KiB
Открытые вопросы
Пока пусто по продуктовым развилкам — см. decisions.md.
Осталось подтвердить на spike, не в споре:
- Качалка модели в UI: отдельного poll-API нет (
DoModelDownloadWSтолько WS) → v1 считает busy черезwaiting_gens/live_gens/loading_models/ backend≠idle; иначе пользователь жмётhold. - Реальная цена 100 GB сетевого диска в выбранном сегменте и цена 1×4090 preemptible ₽/час (в OpenStack API нет).
- Имя GPU-образа (без Docker) и flavor id в твоём пуле (в git не класть); какие из списка фоллбека реально есть.
- Хватает ли application credential с access_rules (delete/GET server) на Selectel — при отказе CLI падает назад на unrestricted cred и пишет в лог.
- Snapshot attached boot volume после Idle: время и можно ли сразу create from snapshot.
Если spike покажет, что 45 минут льготы мало на первую установку ComfyUI — поднять IDLE_GRACE_MINUTES, не отключать killer.