Bound VPS log retention and quiet routine Hub traffic

This commit is contained in:
kzolotarev95 committed 2026-11-20 00:31:42 +04:00
1 parent 5ccead65f6
commit 799ad8aad6
8 files changed
+1063 -43

No files matched your search

+195
View File
@@ -0,0 +1,195 @@
# Обслуживание журналов VPS
Исправление для v121. Оно меняет только HTTP-логирование Hub,
ротацию журналов и обслуживание диска. API, авторизация, Xray, heartbeat,
база данных и архивы журналов роутеров остаются в прежнем формате.
## Причина
`Handler.log_message()` фильтровал успешные long-poll и чтение SSH-терминала,
но записывал каждый успешный heartbeat и пакет `/api/router-logs`.
При большом количестве роутеров эти записи попадали в journald/syslog и Nginx.
Старая настройка Nginx могла добавлять второй `access_log`, сохраняя первый
без фильтра. Установщик также создавал правило `/etc/logrotate.d/owrt-remote`
для тех же файлов Nginx, которые уже обслуживает пакет Nginx.
Частота SSH-перебора на рабочем VPS этим локальным тестом не установлена:
доступ к серверу и чтение его журналов не выполнялись.
## Что установлено
- Hub и стандартный `/var/log/nginx/access.log` пропускают успешные 2xx/3xx
для `/api/heartbeat`, `/api/router-logs`, `/api/notifications/wait` и
`/api/ssh-session/*/read`. HTTP 4xx/5xx, исключения и остальные действия
продолжают записываться. Содержимое доставленных журналов не фильтруется.
- Единственный планировщик — штатный `logrotate.timer`, ежедневно в **03:20
по часовому поясу VPS**. `Persistent=true` запускает пропущенную задачу после
включения сервера. Отдельного cron или второго таймера нет.
- Штатные правила `/etc/logrotate.conf` и `/etc/logrotate.d/` сохраняют права,
владельцев и команды повторного открытия файлов Nginx/rsyslog. Временная
конфигурация добавляет `daily`, `maxsize 20M`, `rotate 1`, `maxage 1`,
`compress`, `nodelaycompress`. Активные журналы через `rm` не удаляются.
- Старые распознанные архивы настроенных журналов удаляются после 24 часов.
Очистка не представляет собой удаление всех `*.gz` на сервере: проверяются
имена архивов конкретных логов, тип файла, ссылки и открытые дескрипторы.
- journald: `SystemMaxUse=50M`, `SystemKeepFree=500M`, `MaxRetentionSec=7day`,
`Compress=yes`, файлы до 10 МиБ. Для непостоянного журнала задано 16 МиБ.
Ежедневно выполняются `journalctl --rotate` и очистка архивов старше суток
с ограничением 50 МиБ. Поэтому ежедневная политика строже предела 7 дней.
- Проверяются `/` и `/var/log`: предупреждение выше 75%, усиленная очистка
**закрытых архивов** выше 85%, критическое сообщение выше 90%. При усиленной
очистке допустимо удалить также свежие архивы, journald сокращается до 10 МиБ.
- Результат: `/var/lib/owrt-remote-log-maintenance/result.json`; собственный
журнал `/var/log/owrt-remote-maintenance.log` — до 64 КиБ плюс один архив
до 64 КиБ. Права состояния и резервных копий ограничены root.
- `flock` исключает параллельные обслуживание/установку/откат. Используется
также штатная блокировка состояния logrotate. Маркер попытки записывается
до работы; автоматический повтор в тот же день пропускается даже после
ошибки. Явный `Run` нужен для повторной попытки после исправления причины.
`maxsize` проверяется при запуске logrotate, а не непрерывно. Ежедневная
задача не гарантирует, что сторонний сервис не заполнит диск между запусками.
Лимиты journald не ограничивают размер базы Hub или пользовательских файлов.
## Установка подготовленной версии
PowerShell Windows 11:
```powershell
$Fix = "C:\Users\k.zolotarev95\Documents\openwrt overlay\vps\deploy-log-maintenance.ps1"
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Install
```
Нужны Python 3, systemd, journald и установленный `logrotate`. Если последнего
нет, скрипт сообщит об этом до изменения конфигурации:
```powershell
ssh root@132.243.19.232 'apt-get update && apt-get install -y logrotate'
```
Установка сохраняет исходные файлы, проверяет Python, Nginx, systemd и
`logrotate --debug`. При ошибке применения возвращает конфигурацию из копии.
Hub перезапускается; проверяется SHA256 именно запущенной сборки через `/health`.
Затем выполняется первое обслуживание. Если оно завершилось ошибкой,
изучить её и выполнить `Run` либо `Rollback`; уже удалённые архивы не вернуть.
Повторный `Install` обновляет исправление, сохраняя первую резервную копию.
Основной `install-vps.sh` также подключает этот механизм после настройки HTTPS,
когда конфигурация Nginx уже существует. Для полного обновления существующего
VPS через GitHub с сохранением текущего логина выполнить на самом VPS:
```sh
curl -fsSL "https://raw.githubusercontent.com/kzolotarev95/luci-app-owrt-remote/main/vps/install-vps.sh?v=$(date +%s)" | sudo env RESET_LOGIN=0 sh
```
Кнопка обновления панели заменяет только файл Hub. Для установки новых правил
обслуживания журналов нужен полный установщик выше или PowerShell-скрипт.
Нестандартные правила с целями вне `/var/log`, `olddir`, неоднозначным синтаксисом
или пользовательским условием `access_log if=...` требуют ручного рассмотрения.
Установка остановится с причиной, не выполняя опасную очистку. Иные назначения
access_log, например отдельные пользовательские файлы, автоматически не меняются.
## Проверка и ручной запуск
```powershell
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Status
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Run
ssh root@132.243.19.232 'systemctl list-timers logrotate.timer --no-pager; journalctl -u logrotate.service -n 50 --no-pager; tail -n 20 /var/log/owrt-remote-maintenance.log; journalctl --disk-usage; nginx -t; systemctl is-active owrt-remote nginx rsyslog systemd-journald'
```
`Run` принудительно запускает ротацию повторно; для обычной проверки достаточно
`Status`. Не применять `Run` многократно без необходимости.
Временно включить полный HTTP-лог Hub для диагностики можно через
`systemctl edit owrt-remote`, добавив:
```ini
[Service]
Environment=OWRT_REMOTE_HTTP_DEBUG=1
```
После изменения нужен `systemctl restart owrt-remote`. Для выключения удалить
эту строку из созданного drop-in и перезапустить Hub. На фильтр Nginx эта
переменная не влияет; ошибки Nginx всегда сохраняются.
## SSH
Проверить попытки входа без изменения доступа:
```powershell
ssh root@132.243.19.232 'journalctl -u ssh -u sshd --since yesterday --no-pager | tail -n 100'
```
Возможные меры: ограничение SSH по доверенным адресам в firewall, Fail2ban,
`MaxAuthTries 3`, `LoginGraceTime 30`, `MaxStartups 10:30:30`. Подбирать после
просмотра реальной нагрузки и наличия резервного доступа. Перед применением
проверять `sshd -t`, сохранять текущий SSH-сеанс и проверять второй вход.
Исправление не меняет `PasswordAuthentication`, `PermitRootLogin`, SSH или firewall.
## Откат
```powershell
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Rollback
```
Копия: `/root/owrt-remote-backup-before-log-maintenance-v121/manifest.json`
и файлы рядом. Откат восстанавливает исходный Hub, Nginx, настройки journald,
таймера и старое правило logrotate; возвращает прежнее состояние таймера.
База, сертификаты, SSH-ключи и данные пользователей не открываются обработчиком
очистки. Удалённые или уже ротированные журналы откат не восстанавливает.
## Изменённые файлы и проверки
- `vps/owrt-remote-hub.py` — фильтрация успешных HTTP-записей и DEBUG.
- `vps/log-maintenance.py` — настройка, обслуживание, проверки и откат.
- `vps/install-vps.sh` — подключение обслуживания вместо старых правил.
- `vps/deploy-log-maintenance.ps1` — установка локальной сборки и откат.
- `tests/test_log_maintenance.py`, `tests/test_notification_load.py` — регрессии.
- Этот документ — эксплуатация и ограничения.
Тесты Python можно запустить отдельно:
```powershell
python -m unittest discover -s tests -p test_log_maintenance.py -v
python -m unittest discover -s tests -p test_notification_load.py -v
```
Проверки POSIX-блокировок, ссылок и прав запускаются на Linux; на Windows
они явно помечены как пропущенные. Проверка на рабочем VPS выполняется после
установки пользователем; локальная Ubuntu не подтверждает состояние его диска
или фактическую интенсивность SSH-перебора.
### Результаты локальной проверки
На отдельной виртуальной машине Ubuntu 24.04 с настоящими systemd, logrotate,
Nginx, rsyslog и работающим Hub проверены:
- 13 тестов обслуживания и 7 тестов HTTP-логирования — успешно на Linux.
- Установка, расписание 03:20, фактические настройки journald, ручное
обслуживание, повтор в тот же день и блокировка параллельного запуска.
- Успешные запросы к четырём частым API не попадают в access.log;
HTTP 404/503 и обычное действие остаются. Настоящий Hub возвращает и
записывает HTTP 401 при heartbeat без авторизации.
- Удаление старых архивов, сохранение постороннего `.gz`, запись новых событий
Nginx и rsyslog после ротации, ограничение собственного журнала.
- Переход со старого правила проекта и дублирующего access_log без сохранения
второго регистратора; исходные файлы возвращаются при откате.
- Повторная установка, ручной откат и автоматический откат при намеренно
ошибочной конфигурации Nginx.
- SQLite `integrity_check=ok`, тестовая запись в базе и SHA256 тестовых настроек,
токенов, сертификата, SSH-ключей и пользовательских файлов сохранены.
- Дополнительно 19 регрессий архива журналов роутеров и 31 проверка жизненного
цикла ресурсов прошли на Windows; 2 проверки POSIX в последнем наборе пропущены.
- Синтаксис Python, PowerShell, shell-установщика и `git diff --check` проверены.
Пороги 75/85/90% проверяются с подменёнными показаниями диска в тестах:
заполнение настоящего раздела до 100% не выполнялось. Существующее предупреждение
Python `invalid escape sequence '\s'` в другом HTML-шаблоне Hub не относится к
этому исправлению и не мешает запуску; шаблон в рамках этой задачи не менялся.
После установки пользователем на рабочий VPS получен успешный результат:
`ok=true`, удалены 263 архива, освобождены 2 365 938 байт, journald занимает
18,8 МиБ. Hub, Nginx, rsyslog и journald подтвердили состояние `active`.
Эта проверка выполнена по предоставленному выводу; независимое подключение
к рабочему серверу не выполнялось.