241 lines
20 KiB
Markdown
241 lines
20 KiB
Markdown
# Обслуживание журналов VPS
|
||
|
||
Исправление для v121. Оно меняет только HTTP-логирование Hub,
|
||
ротацию журналов и обслуживание диска. API, авторизация, Xray, heartbeat,
|
||
база данных и архивы журналов роутеров остаются в прежнем формате.
|
||
|
||
## Причина
|
||
|
||
`Handler.log_message()` фильтровал успешные long-poll и чтение SSH-терминала,
|
||
но записывал каждый успешный heartbeat и пакет `/api/router-logs`.
|
||
При большом количестве роутеров эти записи попадали в journald/syslog и Nginx.
|
||
Старая настройка Nginx могла добавлять второй `access_log`, сохраняя первый
|
||
без фильтра. Установщик также создавал правило `/etc/logrotate.d/owrt-remote`
|
||
для тех же файлов Nginx, которые уже обслуживает пакет Nginx.
|
||
|
||
Частота SSH-перебора на рабочем VPS этим локальным тестом не установлена:
|
||
доступ к серверу и чтение его журналов не выполнялись.
|
||
|
||
## Что установлено
|
||
|
||
- Hub и стандартный `/var/log/nginx/access.log` пропускают успешные 2xx/3xx
|
||
для `/api/heartbeat`, `/api/router-logs`, `/api/notifications/wait` и
|
||
`/api/ssh-session/*/read`. HTTP 4xx/5xx, исключения и остальные действия
|
||
продолжают записываться. Содержимое доставленных журналов не фильтруется.
|
||
- Единственный планировщик — штатный `logrotate.timer`, ежедневно в **03:20
|
||
по часовому поясу VPS**. `Persistent=true` запускает пропущенную задачу после
|
||
включения сервера. Отдельного cron или второго таймера нет.
|
||
- Штатные правила `/etc/logrotate.conf` и `/etc/logrotate.d/` сохраняют права,
|
||
владельцев и команды повторного открытия файлов Nginx/rsyslog. Временная
|
||
конфигурация добавляет `daily`, `maxsize 20M`, `rotate 1`, `maxage 1`,
|
||
`compress`, `nodelaycompress`. Активные журналы через `rm` не удаляются.
|
||
- Старые распознанные архивы настроенных журналов удаляются после 24 часов.
|
||
Очистка не представляет собой удаление всех `*.gz` на сервере: проверяются
|
||
имена архивов конкретных логов, тип файла, ссылки и открытые дескрипторы.
|
||
- journald: `SystemMaxUse=50M`, `SystemKeepFree=500M`, `MaxRetentionSec=7day`,
|
||
`Compress=yes`, файлы до 10 МиБ. Для непостоянного журнала задано 16 МиБ.
|
||
Ежедневно выполняются `journalctl --rotate` и очистка архивов старше суток
|
||
с ограничением 50 МиБ. Поэтому ежедневная политика строже предела 7 дней.
|
||
- Проверяются `/` и `/var/log`: предупреждение выше 75%, усиленная очистка
|
||
**закрытых архивов** выше 85%, критическое сообщение выше 90%. При усиленной
|
||
очистке допустимо удалить также свежие архивы, journald сокращается до 10 МиБ.
|
||
- Результат: `/var/lib/owrt-remote-log-maintenance/result.json`; собственный
|
||
журнал `/var/log/owrt-remote-maintenance.log` — до 64 КиБ плюс один архив
|
||
до 64 КиБ. Права состояния и резервных копий ограничены root.
|
||
- `flock` исключает параллельные обслуживание/установку/откат. Используется
|
||
также штатная блокировка состояния logrotate. Маркер попытки записывается
|
||
до работы; автоматический повтор в тот же день пропускается даже после
|
||
ошибки. Явный `Run` нужен для повторной попытки после исправления причины.
|
||
|
||
`maxsize` проверяется при запуске logrotate, а не непрерывно. Ежедневная
|
||
задача не гарантирует, что сторонний сервис не заполнит диск между запусками.
|
||
Лимиты journald не ограничивают размер базы Hub или пользовательских файлов.
|
||
|
||
## Установка подготовленной версии
|
||
|
||
PowerShell Windows 11:
|
||
|
||
```powershell
|
||
$Fix = "C:\Users\k.zolotarev95\Documents\openwrt overlay\vps\deploy-log-maintenance.ps1"
|
||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Install
|
||
```
|
||
|
||
Нужны Python 3, systemd, journald и установленный `logrotate`. Если последнего
|
||
нет, скрипт сообщит об этом до изменения конфигурации:
|
||
|
||
```powershell
|
||
ssh root@132.243.19.232 'apt-get update && apt-get install -y logrotate'
|
||
```
|
||
|
||
Установка сохраняет исходные файлы, проверяет Python, Nginx, systemd и
|
||
`logrotate --debug`. При ошибке применения возвращает конфигурацию из копии.
|
||
Hub перезапускается; проверяется SHA256 именно запущенной сборки через `/health`.
|
||
Затем выполняется первое обслуживание. Если оно завершилось ошибкой,
|
||
изучить её и выполнить `Run` либо `Rollback`; уже удалённые архивы не вернуть.
|
||
|
||
Повторный `Install` обновляет исправление, сохраняя первую резервную копию.
|
||
Основной `install-vps.sh` также подключает этот механизм после настройки HTTPS,
|
||
когда конфигурация Nginx уже существует. Для полного обновления существующего
|
||
VPS через GitHub с сохранением текущего логина выполнить на самом VPS:
|
||
|
||
```sh
|
||
curl -fsSL "https://raw.githubusercontent.com/kzolotarev95/luci-app-owrt-remote/main/vps/install-vps.sh?v=$(date +%s)" | sudo env RESET_LOGIN=0 sh
|
||
```
|
||
|
||
**Кнопка «Обновление панели» также устанавливает обслуживание журналов.**
|
||
Скрипт включён в сборку Hub в сжатом виде и проверяется по SHA256; отдельная
|
||
загрузка скрипта при нажатии кнопки не требуется. Если отсутствует `logrotate`,
|
||
выполняется ограниченная по времени установка пакета через apt-get с имеющимися
|
||
индексами. Ошибка зависимости отображается как ошибка обновления.
|
||
|
||
Для каждой установки создаётся отдельная копия настроек. Проверяются Nginx,
|
||
journald, ротация и активность таймера. Успех подтверждается только после
|
||
успешного обслуживания за текущие сутки; повторной ротации в те же сутки нет.
|
||
При отказе настройки возвращаются из копии текущего обновления. При отказе
|
||
новой сборки Hub возвращается и предыдущий файл Hub. Хранятся копии настроек
|
||
двух последних обновлений; база и данные роутеров в эти копии не входят.
|
||
|
||
Первый переход со старой сборки поддерживается: старый обработчик заменяет
|
||
файл, а запущенный новый Hub завершает установку обслуживания, прежде чем
|
||
подтверждает готовность через проверку сборки. Обычный `/health`, heartbeat и
|
||
API роутеров продолжают работать. Нестандартная конфигурация вызывает ошибку
|
||
с причиной и откат, а не ложное сообщение об успехе.
|
||
|
||
Если после нажатия кнопки страница продолжает показывать прежнюю сборку,
|
||
обновить её через Ctrl+F5. Номер версии остаётся v121; новая сборка определяется
|
||
по SHA256. Отдельные команды установки выше сохраняются для ручного применения.
|
||
|
||
Нестандартные правила с целями вне `/var/log`, `olddir`, неоднозначным синтаксисом
|
||
или пользовательским условием `access_log if=...` требуют ручного рассмотрения.
|
||
Установка остановится с причиной, не выполняя опасную очистку. Иные назначения
|
||
access_log, например отдельные пользовательские файлы, автоматически не меняются.
|
||
|
||
## Проверка и ручной запуск
|
||
|
||
```powershell
|
||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Status
|
||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Run
|
||
ssh root@132.243.19.232 'systemctl list-timers logrotate.timer --no-pager; journalctl -u logrotate.service -n 50 --no-pager; tail -n 20 /var/log/owrt-remote-maintenance.log; journalctl --disk-usage; nginx -t; systemctl is-active owrt-remote nginx rsyslog systemd-journald'
|
||
```
|
||
|
||
`Run` принудительно запускает ротацию повторно; для обычной проверки достаточно
|
||
`Status`. Не применять `Run` многократно без необходимости.
|
||
|
||
Временно включить полный HTTP-лог Hub для диагностики можно через
|
||
`systemctl edit owrt-remote`, добавив:
|
||
|
||
```ini
|
||
[Service]
|
||
Environment=OWRT_REMOTE_HTTP_DEBUG=1
|
||
```
|
||
|
||
После изменения нужен `systemctl restart owrt-remote`. Для выключения удалить
|
||
эту строку из созданного drop-in и перезапустить Hub. На фильтр Nginx эта
|
||
переменная не влияет; ошибки Nginx всегда сохраняются.
|
||
|
||
## SSH
|
||
|
||
Проверить попытки входа без изменения доступа:
|
||
|
||
```powershell
|
||
ssh root@132.243.19.232 'journalctl -u ssh -u sshd --since yesterday --no-pager | tail -n 100'
|
||
```
|
||
|
||
Возможные меры: ограничение SSH по доверенным адресам в firewall, Fail2ban,
|
||
`MaxAuthTries 3`, `LoginGraceTime 30`, `MaxStartups 10:30:30`. Подбирать после
|
||
просмотра реальной нагрузки и наличия резервного доступа. Перед применением
|
||
проверять `sshd -t`, сохранять текущий SSH-сеанс и проверять второй вход.
|
||
Исправление не меняет `PasswordAuthentication`, `PermitRootLogin`, SSH или firewall.
|
||
|
||
## Откат
|
||
|
||
```powershell
|
||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Rollback
|
||
```
|
||
|
||
Копия: `/root/owrt-remote-backup-before-log-maintenance-v121/manifest.json`
|
||
и файлы рядом. Откат восстанавливает исходный Hub, Nginx, настройки journald,
|
||
таймера и старое правило logrotate; возвращает прежнее состояние таймера.
|
||
База, сертификаты, SSH-ключи и данные пользователей не открываются обработчиком
|
||
очистки. Удалённые или уже ротированные журналы откат не восстанавливает.
|
||
|
||
## Изменённые файлы и проверки
|
||
|
||
- `vps/owrt-remote-hub.py` — фильтрация успешных HTTP-записей и DEBUG.
|
||
- `vps/log-maintenance.py` — настройка, обслуживание, проверки и откат.
|
||
- `vps/install-vps.sh` — подключение обслуживания вместо старых правил.
|
||
- `vps/deploy-log-maintenance.ps1` — установка локальной сборки и откат.
|
||
- `tests/test_log_maintenance.py`, `tests/test_notification_load.py` — регрессии.
|
||
- `scripts/embed-log-maintenance.py` — сборка встроенного скрипта обслуживания.
|
||
- `tests/test_hub_update.py`, `tests/test_hub_update_components.py`,
|
||
`tests/test_hub_self_update_local.py` — обновление через кнопку и откат.
|
||
- Этот документ — эксплуатация и ограничения.
|
||
|
||
Тесты Python можно запустить отдельно:
|
||
|
||
```powershell
|
||
python -m unittest discover -s tests -p test_log_maintenance.py -v
|
||
python -m unittest discover -s tests -p test_notification_load.py -v
|
||
```
|
||
|
||
Проверки POSIX-блокировок, ссылок и прав запускаются на Linux; на Windows
|
||
они явно помечены как пропущенные. Проверка на рабочем VPS выполняется после
|
||
установки пользователем; локальная Ubuntu не подтверждает состояние его диска
|
||
или фактическую интенсивность SSH-перебора.
|
||
|
||
### Результаты локальной проверки
|
||
|
||
На отдельной виртуальной машине Ubuntu 24.04 с настоящими systemd, logrotate,
|
||
Nginx, rsyslog и работающим Hub проверены:
|
||
|
||
- 13 тестов обслуживания и 7 тестов HTTP-логирования — успешно на Linux.
|
||
- Установка, расписание 03:20, фактические настройки journald, ручное
|
||
обслуживание, повтор в тот же день и блокировка параллельного запуска.
|
||
- Успешные запросы к четырём частым API не попадают в access.log;
|
||
HTTP 404/503 и обычное действие остаются. Настоящий Hub возвращает и
|
||
записывает HTTP 401 при heartbeat без авторизации.
|
||
- Удаление старых архивов, сохранение постороннего `.gz`, запись новых событий
|
||
Nginx и rsyslog после ротации, ограничение собственного журнала.
|
||
- Переход со старого правила проекта и дублирующего access_log без сохранения
|
||
второго регистратора; исходные файлы возвращаются при откате.
|
||
- Повторная установка, ручной откат и автоматический откат при намеренно
|
||
ошибочной конфигурации Nginx.
|
||
- SQLite `integrity_check=ok`, тестовая запись в базе и SHA256 тестовых настроек,
|
||
токенов, сертификата, SSH-ключей и пользовательских файлов сохранены.
|
||
- Дополнительно 19 регрессий архива журналов роутеров и 31 проверка жизненного
|
||
цикла ресурсов прошли на Windows; 2 проверки POSIX в последнем наборе пропущены.
|
||
- Синтаксис Python, PowerShell, shell-установщика и `git diff --check` проверены.
|
||
|
||
Пороги 75/85/90% проверяются с подменёнными показаниями диска в тестах:
|
||
заполнение настоящего раздела до 100% не выполнялось. Существующее предупреждение
|
||
Python `invalid escape sequence '\s'` в другом HTML-шаблоне Hub не относится к
|
||
этому исправлению и не мешает запуску; шаблон в рамках этой задачи не менялся.
|
||
|
||
После установки пользователем на рабочий VPS получен успешный результат:
|
||
`ok=true`, удалены 263 архива, освобождены 2 365 938 байт, journald занимает
|
||
18,8 МиБ. Hub, Nginx, rsyslog и journald подтвердили состояние `active`.
|
||
Эта проверка выполнена по предоставленному выводу; независимое подключение
|
||
к рабочему серверу не выполнялось.
|
||
|
||
### Обновление обслуживания через кнопку
|
||
|
||
На отдельной Ubuntu 24.04 воспроизведён переход именно со старой опубликованной
|
||
сборки `8ff052b21d2b…`, в которой обработчик заменяет только файл Hub. До перехода
|
||
`/opt/owrt-remote/log-maintenance.py` отсутствовал. После одного обновления он
|
||
установлен, результат очистки имеет `ok=true`, таймер и службы активны.
|
||
|
||
Затем проверен следующий цикл обновления уже новым обработчиком: успех
|
||
подтверждён после обслуживания журналов и проверки таймера. Намеренная ошибка
|
||
в конфигурации Nginx останавливает обновление с конкретной причиной;
|
||
рабочий файл Hub и установленные настройки журналов сохранены. SHA256
|
||
тестовых ключей/настроек и целостность SQLite после обоих циклов не изменились.
|
||
Дополнительно конфликтующий параметр journald вызвал ошибку уже после записи
|
||
новых настроек: копия текущего обновления успешно вернула исходные файлы,
|
||
Hub продолжил работать, а результат обновления содержит причину отказа.
|
||
|
||
Разработчикам: после изменения `vps/log-maintenance.py` выполнить
|
||
`python scripts/embed-log-maintenance.py`; команда с `--check` и тесты проверяют,
|
||
что встроенный скрипт совпадает с исходником. Внутренний параметр `--backup`
|
||
задаёт отдельную резервную копию текущего обновления; без него ручная установка
|
||
и откат используют прежний каталог `/root/owrt-remote-backup-before-log-maintenance-v121`.
|