Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
1947b26913 | ||
|
|
cbd3cde01d |
No files matched your search
@@ -0,0 +1,2 @@
|
||||
* text=auto eol=lf
|
||||
*.sh text eol=lf
|
||||
@@ -151,13 +151,16 @@ curl -fsSL https://backup.example.com/restore.sh | sudo bash -s -- --token bm_..
|
||||
|
||||
1. Показывается сводка бэкапа и запрашивается подтверждение.
|
||||
2. Базовая подготовка системы (`internal/restore/provision.sh`): пользователь с sudo, hostname, fail2ban, UFW, blocklist, SSH hardening. Docker, Caddy и Telegraf ставятся **тех же версий apt-пакетов**, если такие версии ещё есть в репозитории. Спрашиваются только логин и пароль пользователя.
|
||||
3. Распаковка: файлы ложатся на свои места, docker-тома — прямо в тома.
|
||||
4. Категории восстанавливаются по порядку:
|
||||
3. Системные параметры старого сервера: часовой пояс (от него зависит время cron-заданий), swap-файл того же размера, вручную поставленные пакеты (`apt-mark showmanual`), если они есть в репозиториях.
|
||||
4. Распаковка: файлы ложатся на свои места, docker-тома — прямо в тома.
|
||||
5. Категории восстанавливаются по порядку:
|
||||
- 3x-ui, Nebula и sing-box ставятся той версии, что была на старом сервере. Если скачать не получилось, используется копия бинарника из бэкапа;
|
||||
- база x-ui кладётся на место;
|
||||
- compose-проекты: образы закрепляются по digest (`compose.restore.yml`), базы поднимаются, в них заливаются дампы, затем запускается весь проект;
|
||||
- systemd-сервисы включаются и запускаются так, как было на старом сервере.
|
||||
5. В конце выводятся итог и список того, что осталось сделать: DNS, lighthouse, перезагрузка.
|
||||
- systemd-сервисы включаются и запускаются так, как было на старом сервере;
|
||||
- sshd проверяется (`sshd -t`) и перезапускается со старым конфигом и ключами хоста;
|
||||
- свои systemd-юниты включаются и запускаются как на старом сервере.
|
||||
6. В конце выводятся итог и список того, что осталось сделать: DNS, lighthouse, перезагрузка. Перезагрузка нужна в том числе для того, чтобы все сервисы перечитали восстановленные конфиги.
|
||||
|
||||
Флаги:
|
||||
- `--backup ID` — конкретный бэкап;
|
||||
@@ -171,17 +174,32 @@ curl -fsSL https://backup.example.com/restore.sh | sudo bash -s -- --token bm_..
|
||||
|
||||
| Категория | Что входит |
|
||||
|---|---|
|
||||
| system | правила UFW, все crontab (`/var/spool/cron/crontabs`), `ban-blacklist`, `/etc/sysctl.d` |
|
||||
| xui | `/etc/x-ui` (снимок базы через `VACUUM INTO`, без логина в панель), `/root/cert`, версия 3x-ui |
|
||||
| system | весь `/etc/ufw` и `/etc/default/ufw`, все crontab (`/var/spool/cron/crontabs`) и свои файлы `/etc/cron.d`, `/etc/sysctl.conf`, `/etc/sysctl.d`, `/etc/hosts`, `ban.sh` |
|
||||
| ssh | `sshd_config`, `sshd_config.d`, ключи хоста, `authorized_keys` root и пользователей |
|
||||
| certs | `/etc/letsencrypt`, `/root/.acme.sh` |
|
||||
| xui | `/etc/x-ui` (снимок базы через `VACUUM INTO`, без логина в панель), `/root/cert`, свои geo-файлы `/usr/local/x-ui/bin/*.dat` (ipcheck, discord и т.п., кроме штатных), сертификаты по путям из базы (панель, подписка, инбаунды), версия 3x-ui |
|
||||
| fail2ban | `jail.local`, `jail.d/` (в т.ч. `3x-ipl.local`), IP-лимит 3x-ui (`filter.d`/`action.d/3x-ipl.conf`), свои `*.local`; при восстановлении создаются логи `3xipl.log` |
|
||||
| nebula | `/etc/nebula`, юнит, версия |
|
||||
| caddy | `/etc/caddy`, `/var/www`, сертификаты |
|
||||
| telegraf | `/etc/telegraf`, sudoers |
|
||||
| caddy | `/etc/caddy`, `/var/www`, сертификаты; бинарник — если Caddy собран с плагинами |
|
||||
| telegraf | `/etc/telegraf`, sudoers, `/etc/default/telegraf` |
|
||||
| docker | `/etc/docker/daemon.json`, логины в registry (`/root/.docker/config.json`) |
|
||||
| sing-box-warp | `/opt/sing-box-warp`, `/etc/sing-box-warp`, юнит, sysctl, версия sing-box-extended |
|
||||
| scripts | `/var/scripts`, `update-geosite.sh` |
|
||||
| pnvpanel | `/opt/PnvPanel` целиком, кроме `pgdata`; `pg_dump`; том `ticket_uploads` |
|
||||
| stoat | `/opt/stoat`, кроме `data/db` и `data/rabbit`; `mongodump`; `data/minio` идёт отдельной heavy-частью раз в неделю |
|
||||
| stoat-mbot | `/opt/stoat-mbot` целиком, восстанавливается после stoat |
|
||||
| etc | страховка: изменённые конфиги любых пакетов (`dpkg` conffiles) и свои файлы в `/etc`, кроме привязанного к железу и облаку (сеть, диски, cloud-init, apt, загрузчик) |
|
||||
| psiphon | отключён |
|
||||
| units | свои systemd-юниты (не из пакетов) с состоянием enabled/active и drop-in переопределения `*.service.d` |
|
||||
|
||||
Кроме файлов, в манифест записываются часовой пояс, swap и список вручную поставленных пакетов.
|
||||
|
||||
Агент ищет то, что могло не попасть в бэкап, и показывает это в карточке клиента как предупреждения:
|
||||
- скрипты из crontab и программы из юнитов, которые не покрыты ни одной категорией;
|
||||
- каталоги в `/opt` и программы в `/usr/local/bin` и `/usr/local/sbin` без категории;
|
||||
- контейнеры, запущенные через `docker run`, а не через compose.
|
||||
|
||||
Ненужное убирается глобальным `exclude` в конфиге клиента.
|
||||
|
||||
Compose-проекты, которых нет в каталоге, находятся автоматически (`docker compose ls`). Они бэкапятся с настройками по умолчанию и помечаются в морде как «авто». Базы распознаются по образу (postgres, mongo, mysql, mariadb) и дампятся без остановки.
|
||||
|
||||
|
||||
@@ -93,14 +93,18 @@ func Collect(ctx context.Context, cat *catalog.Config, spool string, heavyDue bo
|
||||
c.plan.Manifest.Parts = []string{manifest.MainPart}
|
||||
c.fillSystem()
|
||||
|
||||
var composeSpecs []catalog.Spec
|
||||
var composeSpecs, unitSpecs []catalog.Spec
|
||||
for _, s := range cat.Categories {
|
||||
if s.Disabled {
|
||||
continue
|
||||
}
|
||||
if s.Type == catalog.TypeCompose {
|
||||
switch s.Type {
|
||||
case catalog.TypeCompose:
|
||||
composeSpecs = append(composeSpecs, s)
|
||||
continue
|
||||
case catalog.TypeUnits:
|
||||
unitSpecs = append(unitSpecs, s) // после остальных: им нужно знать, что уже покрыто
|
||||
continue
|
||||
}
|
||||
mc, err := c.collectSpec(s)
|
||||
if err != nil {
|
||||
@@ -113,7 +117,13 @@ func Collect(ctx context.Context, cat *catalog.Config, spool string, heavyDue bo
|
||||
if err := c.collectCompose(composeSpecs); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
for _, s := range unitSpecs {
|
||||
if mc := c.collectUnits(s); mc != nil {
|
||||
c.plan.Manifest.Categories = append(c.plan.Manifest.Categories, *mc)
|
||||
}
|
||||
}
|
||||
c.checkCron()
|
||||
c.checkCoverage()
|
||||
return c.plan, nil
|
||||
}
|
||||
|
||||
@@ -139,6 +149,11 @@ func (c *collector) fillSystem() {
|
||||
SSHHardened: sysx.Exists("/etc/ssh/sshd_config.d/00-hardening.conf"),
|
||||
}
|
||||
m.SudoUsers = sysx.GroupMembers("sudo")
|
||||
m.Timezone = sysx.Timezone(c.ctx)
|
||||
for p, size := range sysx.SwapFiles() {
|
||||
m.Swap = append(m.Swap, manifest.SwapFile{Path: p, Size: size})
|
||||
}
|
||||
m.ManualPackages = sysx.ManualPackages(c.ctx)
|
||||
}
|
||||
|
||||
// collectSpec обрабатывает категории files/systemd/xui. nil — категория неактивна.
|
||||
@@ -155,13 +170,28 @@ func (c *collector) collectSpec(s catalog.Spec) (*manifest.Category, error) {
|
||||
RestoreAfter: s.RestoreAfter,
|
||||
}
|
||||
skip := archive.NewMatcher(c.cat.Exclude, s.Exclude)
|
||||
for _, p := range s.Paths {
|
||||
for _, p := range expandPaths(s.Paths) {
|
||||
if !sysx.Exists(p) {
|
||||
continue
|
||||
}
|
||||
mc.Paths = append(mc.Paths, p)
|
||||
c.add(manifest.MainPart, filesItem(s.Name, p, skip))
|
||||
}
|
||||
extra := c.unowned(s.Unowned)
|
||||
if s.ModifiedConffiles {
|
||||
extra = append(extra, sysx.ModifiedConffiles(c.ctx)...)
|
||||
}
|
||||
if len(extra) > 0 {
|
||||
covered := c.covered() // то, что уже взяли другие категории, не дублируем
|
||||
for _, p := range extra {
|
||||
ps := filepath.ToSlash(p)
|
||||
if archive.Covers(mc.Paths, ps) || archive.Covers(covered, ps) || skip.Match(ps) {
|
||||
continue
|
||||
}
|
||||
mc.Paths = append(mc.Paths, p)
|
||||
c.add(manifest.MainPart, filesItem(s.Name, p, skip))
|
||||
}
|
||||
}
|
||||
|
||||
if s.Type == catalog.TypeXUI {
|
||||
if err := c.snapshotXUI(mc); err != nil {
|
||||
@@ -177,7 +207,11 @@ func (c *collector) collectSpec(s catalog.Spec) (*manifest.Category, error) {
|
||||
return nil, nil
|
||||
}
|
||||
|
||||
for _, b := range s.KeepBinaries {
|
||||
keepBins := s.KeepBinaries
|
||||
if s.KeepBinariesIf != "" && sysx.Shell(c.ctx, s.KeepBinariesIf) != nil {
|
||||
keepBins = nil
|
||||
}
|
||||
for _, b := range expandPaths(keepBins) {
|
||||
if sysx.Exists(b) {
|
||||
mc.Binaries = append(mc.Binaries, b)
|
||||
c.add(manifest.MainPart, binItem(s.Name, b))
|
||||
@@ -186,6 +220,15 @@ func (c *collector) collectSpec(s catalog.Spec) (*manifest.Category, error) {
|
||||
if len(s.VersionCmd) > 0 && sysx.Exists(s.VersionCmd[0]) {
|
||||
mc.Version = c.version(s)
|
||||
}
|
||||
if mc.Version == "" && s.Service != "" {
|
||||
// сервис из apt-пакета с тем же именем (caddy, telegraf, docker → docker-ce)
|
||||
for _, pkg := range []string{s.Service, s.Service + "-ce"} {
|
||||
if v := c.plan.Manifest.Packages[pkg]; v != "" {
|
||||
mc.Version = v
|
||||
break
|
||||
}
|
||||
}
|
||||
}
|
||||
if s.Service != "" && sysx.UnitLoaded(c.ctx, s.Service) {
|
||||
en, ac := sysx.UnitState(c.ctx, s.Service)
|
||||
mc.Service = &manifest.ServiceState{Unit: s.Service, Enabled: en, Active: ac}
|
||||
@@ -236,6 +279,52 @@ func (c *collector) cmdDump(cat string, d catalog.CmdDump, mc *manifest.Category
|
||||
return nil
|
||||
}
|
||||
|
||||
// expandPaths раскрывает маски (*, ?, [...]) в путях категории; пути без масок — как есть.
|
||||
func expandPaths(paths []string) []string {
|
||||
var out []string
|
||||
for _, p := range paths {
|
||||
if !strings.ContainsAny(p, "*?[") {
|
||||
out = append(out, p)
|
||||
continue
|
||||
}
|
||||
m, _ := filepath.Glob(p)
|
||||
out = append(out, m...)
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
// unowned раскрывает маски и оставляет только обычные файлы, не принадлежащие пакетам.
|
||||
func (c *collector) unowned(patterns []string) []string {
|
||||
var files []string
|
||||
for _, p := range expandPaths(patterns) {
|
||||
if fi, err := os.Lstat(p); err == nil && fi.Mode().IsRegular() {
|
||||
files = append(files, p)
|
||||
}
|
||||
}
|
||||
owned := sysx.DpkgOwned(c.ctx, files)
|
||||
var out []string
|
||||
for _, f := range files {
|
||||
if !owned[f] {
|
||||
out = append(out, f)
|
||||
}
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
// covered — все пути, которые уже попадают в бэкап (для проверок покрытия).
|
||||
func (c *collector) covered() []string {
|
||||
var out []string
|
||||
for _, mc := range c.plan.Manifest.Categories {
|
||||
for _, p := range mc.Paths {
|
||||
out = append(out, filepath.ToSlash(p))
|
||||
}
|
||||
for _, p := range mc.Binaries {
|
||||
out = append(out, filepath.ToSlash(p))
|
||||
}
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
func anyExists(paths []string) bool {
|
||||
for _, p := range paths {
|
||||
if sysx.Exists(p) {
|
||||
|
||||
@@ -0,0 +1,95 @@
|
||||
package agent
|
||||
|
||||
import (
|
||||
"os"
|
||||
"path/filepath"
|
||||
"slices"
|
||||
"testing"
|
||||
|
||||
"gitea.hsrv.site/mrleo1nid/backup-master/internal/archive"
|
||||
"gitea.hsrv.site/mrleo1nid/backup-master/internal/catalog"
|
||||
)
|
||||
|
||||
func TestExpandPaths(t *testing.T) {
|
||||
dir := t.TempDir()
|
||||
for _, n := range []string{"ipcheck.dat", "geoip.dat", "x.txt"} {
|
||||
if err := os.WriteFile(filepath.Join(dir, n), nil, 0o644); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
got := expandPaths([]string{filepath.Join(dir, "*.dat"), "/etc/x-ui", filepath.Join(dir, "*.none")})
|
||||
want := []string{filepath.Join(dir, "geoip.dat"), filepath.Join(dir, "ipcheck.dat"), "/etc/x-ui"}
|
||||
if !slices.Equal(got, want) {
|
||||
t.Fatalf("expandPaths = %v, want %v", got, want)
|
||||
}
|
||||
}
|
||||
|
||||
// Свои geo-файлы попадают в бэкап, штатные из релиза 3x-ui — нет.
|
||||
func TestXUIGeoExcludes(t *testing.T) {
|
||||
cat, err := catalog.Default()
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
s := cat.Find("xui")
|
||||
skip := archive.NewMatcher(cat.Exclude, s.Exclude)
|
||||
cases := map[string]bool{
|
||||
"/usr/local/x-ui/bin/ipcheck.dat": false,
|
||||
"/usr/local/x-ui/bin/discord-geosite.dat": false,
|
||||
"/usr/local/x-ui/bin/geoip.dat": true,
|
||||
"/usr/local/x-ui/bin/geosite_RU.dat": true,
|
||||
"/usr/local/x-ui/bin/geoip_IR.dat": true,
|
||||
"/usr/local/x-ui/bin/ipcheck.dat.bak": true,
|
||||
"/etc/x-ui/x-ui.db": true,
|
||||
}
|
||||
for p, want := range cases {
|
||||
if got := skip.Match(p); got != want {
|
||||
t.Errorf("exclude(%s) = %v, want %v", p, got, want)
|
||||
}
|
||||
}
|
||||
f2b := cat.Find("fail2ban")
|
||||
if f2b == nil || !slices.Contains(f2b.Paths, "/etc/fail2ban/jail.d") || !slices.Contains(f2b.Paths, "/etc/fail2ban/filter.d/3x-ipl.conf") {
|
||||
t.Fatalf("категория fail2ban: %+v", f2b)
|
||||
}
|
||||
}
|
||||
|
||||
func TestUnitExecPaths(t *testing.T) {
|
||||
f := filepath.Join(t.TempDir(), "x.service")
|
||||
unit := "[Service]\nExecStartPre=-/opt/app/prepare.sh --x\nExecStart=/usr/local/bin/app run\nExecReload=/bin/kill -HUP $MAINPID\nEnvironment=A=/tmp/x\n"
|
||||
if err := os.WriteFile(f, []byte(unit), 0o644); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
got := unitExecPaths(f)
|
||||
want := []string{"/opt/app/prepare.sh", "/usr/local/bin/app", "/bin/kill"}
|
||||
if !slices.Equal(got, want) {
|
||||
t.Fatalf("unitExecPaths = %v, want %v", got, want)
|
||||
}
|
||||
}
|
||||
|
||||
func TestEtcCategoryExcludes(t *testing.T) {
|
||||
cat, err := catalog.Default()
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
s := cat.Find("etc")
|
||||
if s == nil || !s.ModifiedConffiles {
|
||||
t.Fatal("нет категории etc")
|
||||
}
|
||||
skip := archive.NewMatcher(cat.Exclude, s.Exclude)
|
||||
for p, want := range map[string]bool{
|
||||
"/etc/netplan/50-cloud-init.yaml": true,
|
||||
"/etc/apt/sources.list.d/ubuntu.sources": true,
|
||||
"/etc/systemd/system/my.service": true,
|
||||
"/etc/fstab": true,
|
||||
"/etc/wireguard/wg0.conf": false,
|
||||
"/etc/nginx/sites-available/site": false,
|
||||
"/etc/security/limits.conf": false,
|
||||
"/etc/systemd/journald.conf": false,
|
||||
} {
|
||||
if got := skip.Match(p); got != want {
|
||||
t.Errorf("etc exclude(%s) = %v, want %v", p, got, want)
|
||||
}
|
||||
}
|
||||
if cat.Find("units") == nil || cat.Find("ssh") == nil || cat.Find("docker") == nil {
|
||||
t.Fatal("нет категорий units/ssh/docker")
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,137 @@
|
||||
package agent
|
||||
|
||||
import (
|
||||
"bufio"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"slices"
|
||||
"strings"
|
||||
|
||||
"gitea.hsrv.site/mrleo1nid/backup-master/internal/archive"
|
||||
"gitea.hsrv.site/mrleo1nid/backup-master/internal/catalog"
|
||||
"gitea.hsrv.site/mrleo1nid/backup-master/internal/manifest"
|
||||
"gitea.hsrv.site/mrleo1nid/backup-master/internal/sysx"
|
||||
)
|
||||
|
||||
// collectUnits собирает свои systemd-юниты (не из пакетов и не описанные другими
|
||||
// категориями) вместе с состоянием enabled/active, а также drop-in каталоги *.d —
|
||||
// переопределения пакетных юнитов (например, docker.service.d/override.conf).
|
||||
func (c *collector) collectUnits(s catalog.Spec) *manifest.Category {
|
||||
mc := &manifest.Category{Name: s.Name, Type: catalog.TypeUnits, PostRestore: s.PostRestore, RestoreAfter: s.RestoreAfter}
|
||||
covered := c.covered()
|
||||
services := map[string]bool{}
|
||||
for _, cat := range c.plan.Manifest.Categories {
|
||||
if cat.Service != nil {
|
||||
services[cat.Service.Unit] = true
|
||||
}
|
||||
}
|
||||
skip := archive.NewMatcher(c.cat.Exclude, s.Exclude)
|
||||
|
||||
for _, f := range c.unowned(s.Unowned) {
|
||||
unit := filepath.Base(f)
|
||||
name := strings.TrimSuffix(strings.TrimSuffix(unit, ".service"), ".timer")
|
||||
if archive.Covers(covered, filepath.ToSlash(f)) || services[name] || services[unit] {
|
||||
continue
|
||||
}
|
||||
mc.Paths = append(mc.Paths, f)
|
||||
c.add(manifest.MainPart, filesItem(s.Name, f, skip))
|
||||
st := manifest.ServiceState{Unit: unit}
|
||||
if sysx.UnitLoaded(c.ctx, unit) {
|
||||
st.Enabled, st.Active = sysx.UnitState(c.ctx, unit)
|
||||
}
|
||||
mc.Units = append(mc.Units, st)
|
||||
c.checkExec(unit, f, covered)
|
||||
}
|
||||
for _, d := range expandPaths(s.Paths) {
|
||||
if fi, err := os.Stat(d); err != nil || !fi.IsDir() || archive.Covers(covered, filepath.ToSlash(d)) {
|
||||
continue
|
||||
}
|
||||
mc.Paths = append(mc.Paths, d)
|
||||
c.add(manifest.MainPart, filesItem(s.Name, d, skip))
|
||||
}
|
||||
if len(mc.Paths) == 0 {
|
||||
return nil
|
||||
}
|
||||
return mc
|
||||
}
|
||||
|
||||
// checkExec предупреждает, если юнит запускает программу, которая не попадает в бэкап
|
||||
// и не ставится пакетом: после восстановления такой сервис не стартует.
|
||||
func (c *collector) checkExec(unit, file string, covered []string) {
|
||||
var missing []string
|
||||
for _, p := range unitExecPaths(file) {
|
||||
if archive.Covers(covered, p) || archive.Covers(systemBinDirs, p) || slices.Contains(missing, p) {
|
||||
continue
|
||||
}
|
||||
if !sysx.Exists(p) {
|
||||
continue
|
||||
}
|
||||
if sysx.DpkgOwned(c.ctx, []string{p})[p] {
|
||||
continue
|
||||
}
|
||||
missing = append(missing, p)
|
||||
}
|
||||
for _, p := range missing {
|
||||
c.warn("юнит %s запускает %s, но он не попадает в бэкап — добавьте путь в категорию", unit, p)
|
||||
}
|
||||
}
|
||||
|
||||
// unitExecPaths извлекает пути программ из Exec*= строк unit-файла.
|
||||
func unitExecPaths(file string) []string {
|
||||
f, err := os.Open(file)
|
||||
if err != nil {
|
||||
return nil
|
||||
}
|
||||
defer f.Close()
|
||||
var out []string
|
||||
sc := bufio.NewScanner(f)
|
||||
for sc.Scan() {
|
||||
k, v, ok := strings.Cut(strings.TrimSpace(sc.Text()), "=")
|
||||
if !ok || !strings.HasPrefix(k, "Exec") {
|
||||
continue
|
||||
}
|
||||
// префиксы systemd: -, @, :, +, !
|
||||
v = strings.TrimLeft(strings.TrimSpace(v), "-@:+!")
|
||||
if fields := strings.Fields(v); len(fields) > 0 && strings.HasPrefix(fields[0], "/") {
|
||||
out = append(out, fields[0])
|
||||
}
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
// checkCoverage ищет типичные места, где лежит что-то своё, не попавшее в бэкап:
|
||||
// каталоги в /opt, программы в /usr/local/bin и sbin, контейнеры без compose.
|
||||
func (c *collector) checkCoverage() {
|
||||
covered := c.covered()
|
||||
ignore := []string{"/opt/containerd", "/usr/local/bin/backupctl"}
|
||||
for _, s := range c.cat.Categories {
|
||||
if s.Disabled && s.Dir != "" {
|
||||
ignore = append(ignore, filepath.ToSlash(s.Dir)) // отключено сознательно
|
||||
}
|
||||
}
|
||||
check := func(pattern, what string) {
|
||||
matches, _ := filepath.Glob(pattern)
|
||||
for _, p := range matches {
|
||||
ps := filepath.ToSlash(p)
|
||||
if archive.Covers(covered, ps) || slices.Contains(ignore, ps) || c.global.Match(ps) {
|
||||
continue
|
||||
}
|
||||
c.warn("%s %s не попадает в бэкап — добавьте его в категорию или в глобальный exclude, если он не нужен", what, p)
|
||||
}
|
||||
}
|
||||
check("/opt/*", "каталог")
|
||||
check("/usr/local/bin/*", "программа")
|
||||
check("/usr/local/sbin/*", "программа")
|
||||
|
||||
if sysx.HasCommand("docker") {
|
||||
out, err := sysx.Output(c.ctx, "docker", "ps", "--format", `{{.Names}} {{.Label "com.docker.compose.project"}}`)
|
||||
if err == nil {
|
||||
for _, line := range strings.Split(out, "\n") {
|
||||
name, project, _ := strings.Cut(line, "\t")
|
||||
if name != "" && project == "" {
|
||||
c.warn("контейнер %s запущен без docker compose (docker run) — его настройки и данные не бэкапятся", name)
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -5,9 +5,12 @@ import (
|
||||
"fmt"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"regexp"
|
||||
"strings"
|
||||
|
||||
"gitea.hsrv.site/mrleo1nid/backup-master/internal/archive"
|
||||
"gitea.hsrv.site/mrleo1nid/backup-master/internal/manifest"
|
||||
"gitea.hsrv.site/mrleo1nid/backup-master/internal/sysx"
|
||||
|
||||
_ "modernc.org/sqlite"
|
||||
)
|
||||
@@ -32,9 +35,63 @@ func (c *collector) snapshotXUI(mc *manifest.Category) error {
|
||||
}
|
||||
mc.Dumps = append(mc.Dumps, manifest.Dump{Name: "x-ui.db", Kind: "sqlite", Target: xuiDB})
|
||||
c.add(manifest.MainPart, dumpItem(mc.Name, out, "x-ui.db"))
|
||||
|
||||
// сертификаты панели, подписки и инбаундов могут лежать где угодно — берём пути из базы
|
||||
for _, p := range xuiCertPaths(out) {
|
||||
if !sysx.Exists(p) {
|
||||
c.warn("xui: в настройках указан %s, но файла нет", p)
|
||||
continue
|
||||
}
|
||||
if archive.Covers(mc.Paths, filepath.ToSlash(p)) {
|
||||
continue
|
||||
}
|
||||
mc.Paths = append(mc.Paths, p)
|
||||
c.add(manifest.MainPart, filesItem(mc.Name, p, nil))
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
var certFileRe = regexp.MustCompile(`"(?:certificateFile|keyFile)"\s*:\s*"([^"]+)"`)
|
||||
|
||||
// xuiCertPaths читает из снимка базы 3x-ui пути к сертификатам и ключам.
|
||||
func xuiCertPaths(dbPath string) []string {
|
||||
db, err := sql.Open("sqlite", "file:"+dbPath+"?mode=ro")
|
||||
if err != nil {
|
||||
return nil
|
||||
}
|
||||
defer db.Close()
|
||||
seen := map[string]bool{}
|
||||
var out []string
|
||||
addPath := func(p string) {
|
||||
p = strings.TrimSpace(p)
|
||||
if strings.HasPrefix(p, "/") && !seen[p] {
|
||||
seen[p] = true
|
||||
out = append(out, p)
|
||||
}
|
||||
}
|
||||
if rows, err := db.Query(`SELECT value FROM settings WHERE key IN ('webCertFile','webKeyFile','subCertFile','subKeyFile')`); err == nil {
|
||||
for rows.Next() {
|
||||
var v string
|
||||
if rows.Scan(&v) == nil {
|
||||
addPath(v)
|
||||
}
|
||||
}
|
||||
rows.Close()
|
||||
}
|
||||
if rows, err := db.Query(`SELECT stream_settings FROM inbounds`); err == nil {
|
||||
for rows.Next() {
|
||||
var v string
|
||||
if rows.Scan(&v) == nil {
|
||||
for _, m := range certFileRe.FindAllStringSubmatch(v, -1) {
|
||||
addPath(m[1])
|
||||
}
|
||||
}
|
||||
}
|
||||
rows.Close()
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
func vacuumInto(src, dst string) error {
|
||||
_ = os.Remove(dst)
|
||||
db, err := sql.Open("sqlite", "file:"+src+"?_pragma=busy_timeout(10000)")
|
||||
|
||||
@@ -17,6 +17,8 @@ const (
|
||||
TypeSystemd = "systemd"
|
||||
TypeXUI = "xui"
|
||||
TypeCompose = "compose"
|
||||
// TypeUnits — свои systemd-юниты (не из пакетов) с состоянием enabled/active.
|
||||
TypeUnits = "units"
|
||||
)
|
||||
|
||||
type Config struct {
|
||||
@@ -33,15 +35,23 @@ type Spec struct {
|
||||
Detect []string `yaml:"detect,omitempty"` // категория активна, если существует хоть один путь
|
||||
Paths []string `yaml:"paths,omitempty"`
|
||||
Exclude []string `yaml:"exclude,omitempty"`
|
||||
// Unowned — маски файлов, которые берутся, только если они не принадлежат
|
||||
// ни одному пакету (dpkg -S): свои файлы в /etc/cron.d, /etc/systemd/system и т.п.
|
||||
Unowned []string `yaml:"unowned,omitempty"`
|
||||
// ModifiedConffiles — добавить конфиги пакетов, изменённые относительно поставки.
|
||||
ModifiedConffiles bool `yaml:"modified_conffiles,omitempty"`
|
||||
|
||||
Service string `yaml:"service,omitempty"`
|
||||
VersionCmd []string `yaml:"version_cmd,omitempty"`
|
||||
VersionRegex string `yaml:"version_regex,omitempty"`
|
||||
Install string `yaml:"install,omitempty"` // recipe: nebula, xui, sing-box-extended
|
||||
KeepBinaries []string `yaml:"keep_binaries,omitempty"` // fallback-копии бинарников
|
||||
EnsureDirs []string `yaml:"ensure_dirs,omitempty"`
|
||||
PostRestore []string `yaml:"post_restore,omitempty"`
|
||||
Dumps []CmdDump `yaml:"dumps,omitempty"`
|
||||
Service string `yaml:"service,omitempty"`
|
||||
VersionCmd []string `yaml:"version_cmd,omitempty"`
|
||||
VersionRegex string `yaml:"version_regex,omitempty"`
|
||||
Install string `yaml:"install,omitempty"` // recipe: nebula, xui, sing-box-extended
|
||||
KeepBinaries []string `yaml:"keep_binaries,omitempty"` // fallback-копии бинарников
|
||||
// KeepBinariesIf — shell-условие: keep_binaries берутся, только если оно истинно
|
||||
// (например, Caddy собран с плагинами и из apt его не вернуть).
|
||||
KeepBinariesIf string `yaml:"keep_binaries_if,omitempty"`
|
||||
EnsureDirs []string `yaml:"ensure_dirs,omitempty"`
|
||||
PostRestore []string `yaml:"post_restore,omitempty"`
|
||||
Dumps []CmdDump `yaml:"dumps,omitempty"`
|
||||
|
||||
// compose
|
||||
Dir string `yaml:"dir,omitempty"`
|
||||
@@ -127,7 +137,7 @@ func (c *Config) Validate() error {
|
||||
continue
|
||||
}
|
||||
switch s.Type {
|
||||
case TypeFiles, TypeSystemd, TypeXUI:
|
||||
case TypeFiles, TypeSystemd, TypeXUI, TypeUnits:
|
||||
case TypeCompose:
|
||||
if s.Dir == "" && s.Project == "" {
|
||||
return fmt.Errorf("категория %q: для compose нужен dir или project", s.Name)
|
||||
|
||||
@@ -10,26 +10,79 @@ categories:
|
||||
- name: system
|
||||
type: files
|
||||
paths:
|
||||
- /etc/ufw/user.rules
|
||||
- /etc/ufw/user6.rules
|
||||
- /var/spool/cron/crontabs
|
||||
- /etc/cron.d/ban-blacklist
|
||||
- /etc/ufw # правила, before/after.rules (NAT, форвардинг), /etc/ufw/sysctl.conf
|
||||
- /etc/default/ufw
|
||||
- /var/spool/cron/crontabs # crontab root (sudo crontab -e) и пользователей
|
||||
- /usr/local/sbin/ban.sh
|
||||
- /etc/sysctl.conf # BBR, форвардинг и прочие правки ядра
|
||||
- /etc/sysctl.d
|
||||
- /etc/hosts
|
||||
# свои задания в /etc/cron.d (пакетные пропускаются)
|
||||
unowned: ["/etc/cron.d/*"]
|
||||
post_restore:
|
||||
- "ufw reload || true"
|
||||
- "sysctl --system >/dev/null || true"
|
||||
|
||||
# SSH: ключи входа, ключи хоста (клиенты не увидят «host key changed») и конфиг sshd
|
||||
# (порт, запрет паролей). После распаковки sshd проверяется и перезапускается.
|
||||
- name: ssh
|
||||
type: files
|
||||
paths:
|
||||
- /etc/ssh/sshd_config
|
||||
- /etc/ssh/sshd_config.d
|
||||
- /etc/ssh/ssh_host_*
|
||||
- /root/.ssh/authorized_keys
|
||||
- /home/*/.ssh/authorized_keys
|
||||
restore_after: [system]
|
||||
post_restore:
|
||||
- "sshd -t && systemctl daemon-reload && (systemctl restart ssh.socket 2>/dev/null; systemctl restart ssh) || echo '!!! sshd: конфиг не прошёл проверку, оставлен старый процесс — проверьте sshd -t'"
|
||||
|
||||
# сертификаты, выпущенные вне Caddy: certbot и acme.sh (его использует x-ui для SSL панели)
|
||||
- name: certs
|
||||
type: files
|
||||
paths: [/etc/letsencrypt, /root/.acme.sh]
|
||||
|
||||
- name: xui
|
||||
type: xui
|
||||
detect: [/usr/local/x-ui/x-ui]
|
||||
paths: [/etc/x-ui, /root/cert]
|
||||
exclude: ["/etc/x-ui/x-ui.db*"]
|
||||
paths:
|
||||
- /etc/x-ui
|
||||
- /root/cert
|
||||
# свои geo-файлы (ipcheck.dat, discord-*.dat и т.п.): на них ссылается роутинг,
|
||||
# без них Xray не стартует; штатные geo*.dat приходят с релизом 3x-ui
|
||||
- /usr/local/x-ui/bin/*.dat
|
||||
exclude:
|
||||
- "/etc/x-ui/x-ui.db*"
|
||||
- "/usr/local/x-ui/bin/geoip.dat"
|
||||
- "/usr/local/x-ui/bin/geosite.dat"
|
||||
- "/usr/local/x-ui/bin/geo*_IR.dat"
|
||||
- "/usr/local/x-ui/bin/geo*_RU.dat"
|
||||
- "*.bak"
|
||||
service: x-ui
|
||||
version_cmd: [/usr/local/x-ui/x-ui, -v]
|
||||
install: xui
|
||||
keep_binaries: [/usr/local/x-ui, /usr/bin/x-ui, /etc/systemd/system/x-ui.service]
|
||||
|
||||
# fail2ban: свои jail'ы (jail.local, jail.d/*.local) и IP-лимит 3x-ui (3x-ipl).
|
||||
# Штатные filter.d/action.d ставит пакет — берём только файлы 3x-ui и свои *.local.
|
||||
- name: fail2ban
|
||||
type: systemd
|
||||
detect: [/etc/fail2ban]
|
||||
paths:
|
||||
- /etc/fail2ban/jail.local
|
||||
- /etc/fail2ban/jail.d
|
||||
- /etc/fail2ban/fail2ban.local
|
||||
- /etc/fail2ban/fail2ban.conf # 3x-ui включает в нём allowipv6
|
||||
- /etc/fail2ban/filter.d/3x-ipl.conf
|
||||
- /etc/fail2ban/action.d/3x-ipl.conf
|
||||
- /etc/fail2ban/filter.d/*.local
|
||||
- /etc/fail2ban/action.d/*.local
|
||||
service: fail2ban
|
||||
restore_after: [system, xui]
|
||||
post_restore:
|
||||
# jail 3x-ipl читает лог x-ui: без файла fail2ban не поднимет jail
|
||||
- "if ls /etc/fail2ban/jail.d/3x-ipl* >/dev/null 2>&1; then mkdir -p /var/log/x-ui && touch /var/log/x-ui/3xipl.log /var/log/x-ui/3xipl-banned.log; fi"
|
||||
|
||||
- name: nebula
|
||||
type: systemd
|
||||
detect: [/etc/nebula]
|
||||
@@ -44,13 +97,22 @@ categories:
|
||||
detect: [/etc/caddy/Caddyfile]
|
||||
paths: [/etc/caddy, /var/www, /var/lib/caddy/.local/share/caddy]
|
||||
service: caddy
|
||||
# Caddy с плагинами (xcaddy, caddy add-package) из apt не вернуть — тогда бэкапим бинарник
|
||||
keep_binaries: [/usr/bin/caddy]
|
||||
keep_binaries_if: "caddy list-modules --packages 2>/dev/null | grep -Eq 'Non-standard modules: [1-9]'"
|
||||
|
||||
- name: telegraf
|
||||
type: systemd
|
||||
detect: [/etc/telegraf]
|
||||
paths: [/etc/telegraf, /etc/sudoers.d/telegraf]
|
||||
paths: [/etc/telegraf, /etc/sudoers.d/telegraf, /etc/default/telegraf]
|
||||
service: telegraf
|
||||
|
||||
# настройки демона docker (логи, MTU, IPv6) и логины в приватные registry
|
||||
- name: docker
|
||||
type: systemd
|
||||
paths: [/etc/docker/daemon.json, /root/.docker/config.json]
|
||||
service: docker
|
||||
|
||||
- name: sing-box-warp
|
||||
type: systemd
|
||||
detect: [/opt/sing-box-warp]
|
||||
@@ -70,6 +132,43 @@ categories:
|
||||
type: files
|
||||
paths: [/var/scripts, /usr/local/bin/update-geosite.sh]
|
||||
|
||||
# Страховка: всё своё в /etc, не описанное выше, — изменённые конфиги любых пакетов
|
||||
# (dpkg conffiles: nginx, limits.conf, journald и т.п.) и файлы, не принадлежащие
|
||||
# ни одному пакету (ключи wireguard, свои конфиги). Привязанное к железу и облаку
|
||||
# (сеть, диски, cloud-init, зеркала apt, загрузчик) исключено — на новом VPS оно своё.
|
||||
- name: etc
|
||||
type: files
|
||||
modified_conffiles: true
|
||||
unowned: ["/etc/*/*", "/etc/*/*/*"]
|
||||
exclude:
|
||||
- /etc/netplan
|
||||
- /etc/network
|
||||
- /etc/NetworkManager
|
||||
- /etc/systemd/network
|
||||
- /etc/systemd/system # юниты собирает категория units
|
||||
- /etc/cloud
|
||||
- /etc/landscape
|
||||
- /etc/ubuntu-advantage
|
||||
- /etc/apt
|
||||
- /etc/udev
|
||||
- /etc/fstab
|
||||
- /etc/default/grub
|
||||
- /etc/default/grub.d
|
||||
- /etc/initramfs-tools
|
||||
- /etc/iscsi
|
||||
- /etc/lvm
|
||||
- /etc/mdadm
|
||||
- /etc/multipath
|
||||
- /etc/dhcp
|
||||
- /etc/alternatives
|
||||
- /etc/apparmor.d/cache
|
||||
- /etc/ssl/certs
|
||||
- /etc/ssl/private/ssl-cert-snakeoil.key
|
||||
- /etc/sudoers.d/90-cloud-init-users
|
||||
- /etc/machine-id
|
||||
- /etc/hostname
|
||||
- /etc/resolv.conf
|
||||
|
||||
- name: pnvpanel
|
||||
type: compose
|
||||
dir: /opt/PnvPanel
|
||||
@@ -89,3 +188,10 @@ categories:
|
||||
type: compose
|
||||
dir: /opt/psiphon
|
||||
disabled: true
|
||||
|
||||
# Свои systemd-юниты, не описанные выше и не из пакетов, — с состоянием enabled/active,
|
||||
# и drop-in переопределения пакетных юнитов (*.service.d/override.conf).
|
||||
- name: units
|
||||
type: units
|
||||
unowned: ["/etc/systemd/system/*.service", "/etc/systemd/system/*.timer"]
|
||||
paths: ["/etc/systemd/system/*.service.d", "/etc/systemd/system/*.timer.d"]
|
||||
@@ -20,9 +20,13 @@ type Manifest struct {
|
||||
Packages map[string]string `json:"packages,omitempty"` // apt-пакет → точная версия dpkg
|
||||
Features Features `json:"features"`
|
||||
SudoUsers []string `json:"sudo_users,omitempty"`
|
||||
Categories []Category `json:"categories"`
|
||||
Parts []string `json:"parts"` // main + heavy-части, вошедшие в этот бэкап
|
||||
Warnings []string `json:"warnings,omitempty"`
|
||||
Timezone string `json:"timezone,omitempty"`
|
||||
Swap []SwapFile `json:"swap,omitempty"`
|
||||
// ManualPackages — пакеты, поставленные вручную (apt-mark showmanual): restore доставит недостающие.
|
||||
ManualPackages []string `json:"manual_packages,omitempty"`
|
||||
Categories []Category `json:"categories"`
|
||||
Parts []string `json:"parts"` // main + heavy-части, вошедшие в этот бэкап
|
||||
Warnings []string `json:"warnings,omitempty"`
|
||||
}
|
||||
|
||||
type OSInfo struct {
|
||||
@@ -39,22 +43,28 @@ type Features struct {
|
||||
}
|
||||
|
||||
type Category struct {
|
||||
Name string `json:"name"`
|
||||
Type string `json:"type"`
|
||||
Auto bool `json:"auto,omitempty"` // найдена автоматически, в каталоге не описана
|
||||
Version string `json:"version,omitempty"`
|
||||
Install string `json:"install,omitempty"` // recipe установки бинарника
|
||||
Service *ServiceState `json:"service,omitempty"`
|
||||
Paths []string `json:"paths,omitempty"` // абсолютные пути в <cat>/files/
|
||||
Binaries []string `json:"binaries,omitempty"` // абсолютные пути в <cat>/bin/ (fallback)
|
||||
Dumps []Dump `json:"dumps,omitempty"`
|
||||
Volumes []Volume `json:"volumes,omitempty"`
|
||||
Heavy []string `json:"heavy,omitempty"` // пути, ушедшие в отдельную часть <cat>
|
||||
HeavySkipped bool `json:"heavy_skipped,omitempty"`
|
||||
Compose *Compose `json:"compose,omitempty"`
|
||||
EnsureDirs []string `json:"ensure_dirs,omitempty"`
|
||||
PostRestore []string `json:"post_restore,omitempty"`
|
||||
RestoreAfter []string `json:"restore_after,omitempty"`
|
||||
Name string `json:"name"`
|
||||
Type string `json:"type"`
|
||||
Auto bool `json:"auto,omitempty"` // найдена автоматически, в каталоге не описана
|
||||
Version string `json:"version,omitempty"`
|
||||
Install string `json:"install,omitempty"` // recipe установки бинарника
|
||||
Service *ServiceState `json:"service,omitempty"`
|
||||
Units []ServiceState `json:"units,omitempty"` // тип units: свои systemd-юниты и их состояние
|
||||
Paths []string `json:"paths,omitempty"` // абсолютные пути в <cat>/files/
|
||||
Binaries []string `json:"binaries,omitempty"` // абсолютные пути в <cat>/bin/ (fallback)
|
||||
Dumps []Dump `json:"dumps,omitempty"`
|
||||
Volumes []Volume `json:"volumes,omitempty"`
|
||||
Heavy []string `json:"heavy,omitempty"` // пути, ушедшие в отдельную часть <cat>
|
||||
HeavySkipped bool `json:"heavy_skipped,omitempty"`
|
||||
Compose *Compose `json:"compose,omitempty"`
|
||||
EnsureDirs []string `json:"ensure_dirs,omitempty"`
|
||||
PostRestore []string `json:"post_restore,omitempty"`
|
||||
RestoreAfter []string `json:"restore_after,omitempty"`
|
||||
}
|
||||
|
||||
type SwapFile struct {
|
||||
Path string `json:"path"`
|
||||
Size int64 `json:"size"` // байт
|
||||
}
|
||||
|
||||
type ServiceState struct {
|
||||
|
||||
@@ -189,7 +189,8 @@ ok "$(iptables --version)"
|
||||
|
||||
# ---------- 5. Fail2ban ----------
|
||||
step "5. Fail2ban"
|
||||
apt_install fail2ban python3-systemd
|
||||
# nftables: штатный banaction fail2ban в Ubuntu 24.04 — nftables, без nft jail sshd не банит
|
||||
apt_install fail2ban python3-systemd nftables
|
||||
IGNORE_IP="127.0.0.1/8 ::1 192.168.0.0/16 10.0.0.0/8"
|
||||
if [[ -n $CLIENT_IP ]]; then
|
||||
IGNORE_IP+=" $CLIENT_IP"
|
||||
|
||||
@@ -44,7 +44,8 @@ func installXUI(ctx context.Context, version, arch string) error {
|
||||
v = "v" + v
|
||||
}
|
||||
url := fmt.Sprintf("https://github.com/MHSanaei/3x-ui/releases/download/%s/x-ui-linux-%s.tar.gz", v, arch)
|
||||
_ = os.RemoveAll("/usr/local/x-ui")
|
||||
// каталог не очищаем: в нём уже лежат восстановленные свои geo-файлы (ipcheck.dat и т.п.),
|
||||
// архив релиза перезапишет только свои файлы
|
||||
if err := fetchTarGz(ctx, url, func(name string) (string, bool) {
|
||||
name = strings.TrimPrefix(name, "./")
|
||||
if !strings.HasPrefix(name, "x-ui/") && name != "x-ui" {
|
||||
|
||||
@@ -106,6 +106,7 @@ func Run(ctx context.Context, opts Options) error {
|
||||
return fmt.Errorf("подготовка сервера: %w", err)
|
||||
}
|
||||
}
|
||||
r.restoreSystem()
|
||||
if err := r.prepareVolumes(); err != nil {
|
||||
return err
|
||||
}
|
||||
@@ -403,6 +404,13 @@ func (r *restorer) restoreCategory(c manifest.Category) error {
|
||||
if err := r.restoreCompose(c); err != nil {
|
||||
return err
|
||||
}
|
||||
case catalog.TypeUnits:
|
||||
_ = sysx.Run(r.ctx, "systemctl", "daemon-reload")
|
||||
for i := range c.Units {
|
||||
if err := r.applyService(&c.Units[i]); err != nil {
|
||||
r.warn("%s: %v", c.Name, err)
|
||||
}
|
||||
}
|
||||
}
|
||||
if c.Name == "system" {
|
||||
r.fixCrontabs()
|
||||
|
||||
@@ -0,0 +1,113 @@
|
||||
package restore
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"os"
|
||||
"regexp"
|
||||
"strings"
|
||||
|
||||
"gitea.hsrv.site/mrleo1nid/backup-master/internal/sysx"
|
||||
)
|
||||
|
||||
// restoreSystem повторяет системные параметры старого сервера: часовой пояс
|
||||
// (от него зависит время cron-заданий), swap-файл и вручную поставленные пакеты.
|
||||
func (r *restorer) restoreSystem() {
|
||||
step("Системные параметры")
|
||||
r.restoreTimezone()
|
||||
r.restoreSwap()
|
||||
r.restorePackages()
|
||||
}
|
||||
|
||||
func (r *restorer) restoreTimezone() {
|
||||
tz := r.m.Timezone
|
||||
if tz == "" {
|
||||
return
|
||||
}
|
||||
if cur := sysx.Timezone(r.ctx); cur == tz {
|
||||
info("часовой пояс %s — как на старом сервере", tz)
|
||||
return
|
||||
}
|
||||
if err := sysx.Run(r.ctx, "timedatectl", "set-timezone", tz); err != nil {
|
||||
r.warn("часовой пояс %s не установлен: %v", tz, err)
|
||||
return
|
||||
}
|
||||
info("часовой пояс: %s", tz)
|
||||
}
|
||||
|
||||
func (r *restorer) restoreSwap() {
|
||||
if len(r.m.Swap) == 0 {
|
||||
return
|
||||
}
|
||||
if len(sysx.SwapFiles()) > 0 {
|
||||
info("swap уже есть — не трогаю")
|
||||
return
|
||||
}
|
||||
if out, _ := sysx.Output(r.ctx, "swapon", "--show", "--noheadings"); out != "" {
|
||||
info("swap уже есть (раздел) — не трогаю")
|
||||
return
|
||||
}
|
||||
for _, sw := range r.m.Swap {
|
||||
if sysx.Exists(sw.Path) {
|
||||
r.warn("swap: %s уже существует, но не подключён — пропускаю", sw.Path)
|
||||
continue
|
||||
}
|
||||
mb := sw.Size / (1 << 20)
|
||||
script := fmt.Sprintf(`set -e
|
||||
fallocate -l %dM %[2]q || dd if=/dev/zero of=%[2]q bs=1M count=%[1]d status=none
|
||||
chmod 600 %[2]q
|
||||
mkswap %[2]q >/dev/null
|
||||
swapon %[2]q
|
||||
grep -qF %[2]q /etc/fstab || echo %[3]q >> /etc/fstab`, mb, sw.Path, sw.Path+" none swap sw 0 0")
|
||||
if err := sysx.Shell(r.ctx, script); err != nil {
|
||||
r.warn("swap %s: %v", sw.Path, err)
|
||||
continue
|
||||
}
|
||||
info("swap %s, %d МБ", sw.Path, mb)
|
||||
}
|
||||
}
|
||||
|
||||
// Пакеты ядра конкретных версий и метапакеты облачных образов ставить не нужно.
|
||||
var skipPackageRe = regexp.MustCompile(`^linux-(image|headers|modules|tools|cloud-tools|hwe)-\d|^linux-(image|headers|modules)-extra`)
|
||||
|
||||
func (r *restorer) restorePackages() {
|
||||
if len(r.m.ManualPackages) == 0 {
|
||||
return
|
||||
}
|
||||
installed := map[string]bool{}
|
||||
if out, err := sysx.Output(r.ctx, "dpkg-query", "-W", "-f=${Package} ${db:Status-Status}\n"); err == nil {
|
||||
for _, line := range strings.Split(out, "\n") {
|
||||
if name, st, ok := strings.Cut(line, " "); ok && st == "installed" {
|
||||
installed[name] = true
|
||||
}
|
||||
}
|
||||
}
|
||||
available := map[string]bool{}
|
||||
if out, err := sysx.Output(r.ctx, "apt-cache", "pkgnames"); err == nil {
|
||||
for _, n := range strings.Fields(out) {
|
||||
available[n] = true
|
||||
}
|
||||
}
|
||||
var install, missing []string
|
||||
for _, p := range r.m.ManualPackages {
|
||||
name, _, _ := strings.Cut(p, ":") // pkg:amd64
|
||||
if installed[name] || skipPackageRe.MatchString(name) {
|
||||
continue
|
||||
}
|
||||
if available[name] {
|
||||
install = append(install, name)
|
||||
} else {
|
||||
missing = append(missing, name)
|
||||
}
|
||||
}
|
||||
if len(install) > 0 {
|
||||
info("доустанавливаю пакеты со старого сервера: %s", strings.Join(install, " "))
|
||||
_ = os.Setenv("DEBIAN_FRONTEND", "noninteractive")
|
||||
args := append([]string{"install", "-y", "-q", "-o", "Dpkg::Options::=--force-confdef", "-o", "Dpkg::Options::=--force-confold"}, install...)
|
||||
if err := sysx.Run(r.ctx, "apt-get", args...); err != nil {
|
||||
r.warn("часть пакетов не установилась: %v", err)
|
||||
}
|
||||
}
|
||||
if len(missing) > 0 {
|
||||
r.warn("пакетов нет в репозиториях этого сервера (ставились из своих репозиториев или .deb): %s", strings.Join(missing, " "))
|
||||
}
|
||||
}
|
||||
@@ -40,7 +40,8 @@
|
||||
<td>{{.Version}}{{with .Compose}}{{with .Git}}<span class="muted small" title="{{.Remote}}">git {{printf "%.8s" .Commit}}{{if .Dirty}}*{{end}}</span>{{end}}{{end}}</td>
|
||||
<td>{{with .Service}}{{.Unit}} {{if .Active}}<span class="ok-text">active</span>{{else}}<span class="muted">inactive</span>{{end}}{{if not .Enabled}} <span class="muted">(disabled)</span>{{end}}{{end}}</td>
|
||||
<td class="small">
|
||||
{{if .Paths}}{{join .Paths ", "}}{{end}}
|
||||
{{if .Paths}}<span title="{{join .Paths ", "}}">{{short .Paths 8}}</span>{{end}}
|
||||
{{range .Units}}<br>юнит {{.Unit}}{{if .Enabled}} <span class="muted">enabled</span>{{end}}{{if .Active}} <span class="ok-text">active</span>{{end}}{{end}}
|
||||
{{range .Dumps}}<br>дамп {{.Kind}}{{with .Service}} ({{.}}){{end}}{{end}}
|
||||
{{range .Volumes}}<br>том {{.Name}}{{end}}
|
||||
{{if .Heavy}}<br>heavy: {{join .Heavy ", "}}{{if .HeavySkipped}} <span class="muted">(не в этот раз)</span>{{end}}{{end}}
|
||||
|
||||
@@ -54,6 +54,13 @@ var funcs = template.FuncMap{
|
||||
},
|
||||
"bytes": humanBytes,
|
||||
"join": strings.Join,
|
||||
// short — первые n путей и «ещё N», чтобы категория etc не растягивала таблицу
|
||||
"short": func(paths []string, n int) string {
|
||||
if len(paths) <= n {
|
||||
return strings.Join(paths, ", ")
|
||||
}
|
||||
return strings.Join(paths[:n], ", ") + fmt.Sprintf(" и ещё %d", len(paths)-n)
|
||||
},
|
||||
}
|
||||
|
||||
func loadPages() (map[string]*pageTemplate, error) {
|
||||
|
||||
@@ -5,6 +5,8 @@ import (
|
||||
"bufio"
|
||||
"bytes"
|
||||
"context"
|
||||
"crypto/md5"
|
||||
"encoding/hex"
|
||||
"fmt"
|
||||
"io"
|
||||
"os"
|
||||
@@ -162,3 +164,117 @@ func GroupMembers(group string) []string {
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// DpkgOwned возвращает множество путей, принадлежащих какому-либо пакету (dpkg -S).
|
||||
// Без dpkg (не Debian/Ubuntu) считает все пути своими — ничего не теряется.
|
||||
func DpkgOwned(ctx context.Context, paths []string) map[string]bool {
|
||||
owned := map[string]bool{}
|
||||
if len(paths) == 0 || !HasCommand("dpkg") {
|
||||
return owned
|
||||
}
|
||||
cmd := exec.CommandContext(ctx, "dpkg", append([]string{"-S"}, paths...)...)
|
||||
out, _ := cmd.Output() // код возврата 1, если хоть один путь ничей, — это нормально
|
||||
return ParseDpkgS(string(out), paths)
|
||||
}
|
||||
|
||||
// ParseDpkgS разбирает вывод `dpkg -S`: "pkg1, pkg2: /path" или "diversion by ...".
|
||||
func ParseDpkgS(out string, paths []string) map[string]bool {
|
||||
want := map[string]bool{}
|
||||
for _, p := range paths {
|
||||
want[p] = true
|
||||
}
|
||||
owned := map[string]bool{}
|
||||
for _, line := range strings.Split(out, "\n") {
|
||||
if strings.HasPrefix(line, "diversion ") {
|
||||
continue
|
||||
}
|
||||
_, p, ok := strings.Cut(line, ": ")
|
||||
if p = strings.TrimSpace(p); ok && want[p] {
|
||||
owned[p] = true
|
||||
}
|
||||
}
|
||||
return owned
|
||||
}
|
||||
|
||||
// Timezone возвращает часовой пояс системы (Europe/Moscow) или "".
|
||||
func Timezone(ctx context.Context) string {
|
||||
if tz, err := Output(ctx, "timedatectl", "show", "-p", "Timezone", "--value"); err == nil && tz != "" {
|
||||
return tz
|
||||
}
|
||||
if link, err := os.Readlink("/etc/localtime"); err == nil {
|
||||
if _, tz, ok := strings.Cut(link, "zoneinfo/"); ok {
|
||||
return tz
|
||||
}
|
||||
}
|
||||
return ""
|
||||
}
|
||||
|
||||
// SwapFiles возвращает swap-файлы (не разделы) из /proc/swaps: путь и размер в байтах.
|
||||
func SwapFiles() map[string]int64 {
|
||||
out := map[string]int64{}
|
||||
data, err := os.ReadFile("/proc/swaps")
|
||||
if err != nil {
|
||||
return out
|
||||
}
|
||||
for _, line := range strings.Split(string(data), "\n")[1:] {
|
||||
f := strings.Fields(line)
|
||||
if len(f) < 3 || f[1] != "file" {
|
||||
continue
|
||||
}
|
||||
var kb int64
|
||||
fmt.Sscan(f[2], &kb)
|
||||
out[f[0]] = kb * 1024
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
// ManualPackages — пакеты, поставленные вручную (apt-mark showmanual).
|
||||
func ManualPackages(ctx context.Context) []string {
|
||||
out, err := Output(ctx, "apt-mark", "showmanual")
|
||||
if err != nil {
|
||||
return nil
|
||||
}
|
||||
return strings.Fields(out)
|
||||
}
|
||||
|
||||
// ModifiedConffiles возвращает конфиги пакетов (conffiles), изменённые относительно
|
||||
// поставки: md5 файла не совпадает с записанным dpkg.
|
||||
func ModifiedConffiles(ctx context.Context) []string {
|
||||
out, err := Output(ctx, "dpkg-query", "-W", `-f=${Conffiles}\n`)
|
||||
if err != nil {
|
||||
return nil
|
||||
}
|
||||
return modifiedConffiles(out, fileMD5)
|
||||
}
|
||||
|
||||
func modifiedConffiles(out string, sum func(string) string) []string {
|
||||
var res []string
|
||||
seen := map[string]bool{}
|
||||
for _, line := range strings.Split(out, "\n") {
|
||||
f := strings.Fields(line)
|
||||
if len(f) < 2 || !strings.HasPrefix(f[0], "/") || seen[f[0]] {
|
||||
continue
|
||||
}
|
||||
if len(f) > 2 && (f[2] == "obsolete" || f[2] == "remove-on-upgrade") {
|
||||
continue
|
||||
}
|
||||
seen[f[0]] = true
|
||||
if s := sum(f[0]); s != "" && s != f[1] {
|
||||
res = append(res, f[0])
|
||||
}
|
||||
}
|
||||
return res
|
||||
}
|
||||
|
||||
func fileMD5(p string) string {
|
||||
f, err := os.Open(p)
|
||||
if err != nil {
|
||||
return ""
|
||||
}
|
||||
defer f.Close()
|
||||
h := md5.New()
|
||||
if _, err := io.Copy(h, f); err != nil {
|
||||
return ""
|
||||
}
|
||||
return hex.EncodeToString(h.Sum(nil))
|
||||
}
|
||||
@@ -0,0 +1,34 @@
|
||||
package sysx
|
||||
|
||||
import (
|
||||
"slices"
|
||||
"testing"
|
||||
)
|
||||
|
||||
func TestParseDpkgS(t *testing.T) {
|
||||
out := "openssh-server: /etc/ssh/sshd_config\n" +
|
||||
"diversion by foo from: /usr/bin/caddy\n" +
|
||||
"cron, cron-daemon-common: /etc/cron.d/e2scrub_all\n"
|
||||
paths := []string{"/etc/ssh/sshd_config", "/etc/cron.d/e2scrub_all", "/etc/cron.d/ban-blacklist"}
|
||||
owned := ParseDpkgS(out, paths)
|
||||
if !owned["/etc/ssh/sshd_config"] || !owned["/etc/cron.d/e2scrub_all"] || owned["/etc/cron.d/ban-blacklist"] {
|
||||
t.Fatalf("owned = %v", owned)
|
||||
}
|
||||
}
|
||||
|
||||
func TestModifiedConffiles(t *testing.T) {
|
||||
out := " /etc/ssh/sshd_config aaa\n" +
|
||||
" /etc/fail2ban/fail2ban.conf bbb\n" +
|
||||
" /etc/old.conf ccc obsolete\n" +
|
||||
" /etc/missing.conf ddd\n" +
|
||||
"\n"
|
||||
sums := map[string]string{
|
||||
"/etc/ssh/sshd_config": "aaa", // не менялся
|
||||
"/etc/fail2ban/fail2ban.conf": "changed", // изменён
|
||||
"/etc/old.conf": "x", // obsolete — пропускаем
|
||||
}
|
||||
got := modifiedConffiles(out, func(p string) string { return sums[p] })
|
||||
if !slices.Equal(got, []string{"/etc/fail2ban/fail2ban.conf"}) {
|
||||
t.Fatalf("modified = %v", got)
|
||||
}
|
||||
}
|
||||
Reference in new issue
Block a user