21 KiB
Обслуживание журналов VPS
Исправление для v121. Оно меняет только HTTP-логирование Hub, ротацию журналов и обслуживание диска. API, авторизация, Xray, heartbeat, база данных и архивы журналов роутеров остаются в прежнем формате.
Причина
Handler.log_message() фильтровал успешные long-poll и чтение SSH-терминала,
но записывал каждый успешный heartbeat и пакет /api/router-logs.
При большом количестве роутеров эти записи попадали в journald/syslog и Nginx.
Старая настройка Nginx могла добавлять второй access_log, сохраняя первый
без фильтра. Установщик также создавал правило /etc/logrotate.d/owrt-remote
для тех же файлов Nginx, которые уже обслуживает пакет Nginx.
Частота SSH-перебора на рабочем VPS этим локальным тестом не установлена: доступ к серверу и чтение его журналов не выполнялись.
Что установлено
- Hub и стандартный
/var/log/nginx/access.logпропускают успешные 2xx/3xx для/api/heartbeat,/api/router-logs,/api/notifications/waitи/api/ssh-session/*/read. HTTP 4xx/5xx, исключения и остальные действия продолжают записываться. Содержимое доставленных журналов не фильтруется. - Единственный планировщик — штатный
logrotate.timer, ежедневно в 03:20 по часовому поясу VPS.Persistent=trueзапускает пропущенную задачу после включения сервера. Отдельного cron или второго таймера нет. - Штатные правила
/etc/logrotate.confи/etc/logrotate.d/сохраняют права, владельцев и команды повторного открытия файлов Nginx/rsyslog. Временная конфигурация добавляетdaily,maxsize 20M,rotate 1,maxage 1,compress,nodelaycompress. Активные журналы черезrmне удаляются. - Старые распознанные архивы настроенных журналов удаляются после 24 часов.
Очистка не представляет собой удаление всех
*.gzна сервере: проверяются имена архивов конкретных логов, тип файла, ссылки и открытые дескрипторы. - journald:
SystemMaxUse=50M,SystemKeepFree=500M,MaxRetentionSec=7day,Compress=yes, файлы до 10 МиБ. Для непостоянного журнала задано 16 МиБ. Ежедневно выполняютсяjournalctl --rotateи очистка архивов старше суток с ограничением 50 МиБ. Поэтому ежедневная политика строже предела 7 дней. - Проверяются
/и/var/log: предупреждение выше 75%, усиленная очистка закрытых архивов выше 85%, критическое сообщение выше 90%. При усиленной очистке допустимо удалить также свежие архивы, journald сокращается до 10 МиБ. - Результат:
/var/lib/owrt-remote-log-maintenance/result.json; собственный журнал/var/log/owrt-remote-maintenance.log— до 64 КиБ плюс один архив до 64 КиБ. Права состояния и резервных копий ограничены root. flockисключает параллельные обслуживание/установку/откат. Используется также штатная блокировка состояния logrotate. Маркер попытки записывается до работы; автоматический повтор в тот же день пропускается даже после ошибки. ЯвныйRunнужен для повторной попытки после исправления причины.
maxsize проверяется при запуске logrotate, а не непрерывно. Ежедневная
задача не гарантирует, что сторонний сервис не заполнит диск между запусками.
Лимиты journald не ограничивают размер базы Hub или пользовательских файлов.
Установка подготовленной версии
PowerShell Windows 11:
$Fix = "C:\Users\k.zolotarev95\Documents\openwrt overlay\vps\deploy-log-maintenance.ps1"
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Install
Нужны Python 3, systemd, journald и установленный logrotate. Если последнего
нет, скрипт сообщит об этом до изменения конфигурации:
ssh root@132.243.19.232 'apt-get update && apt-get install -y logrotate'
Установка сохраняет исходные файлы, проверяет Python, Nginx, systemd и
logrotate --debug. При ошибке применения возвращает конфигурацию из копии.
Hub перезапускается; проверяется SHA256 именно запущенной сборки через /health.
Затем выполняется первое обслуживание. Если оно завершилось ошибкой,
изучить её и выполнить Run либо Rollback; уже удалённые архивы не вернуть.
Повторный Install обновляет исправление, сохраняя первую резервную копию.
Основной install-vps.sh также подключает этот механизм после настройки HTTPS,
когда конфигурация Nginx уже существует. Для полного обновления существующего
VPS через GitHub с сохранением текущего логина выполнить на самом VPS:
curl -fsSL "https://raw.githubusercontent.com/kzolotarev95/luci-app-owrt-remote/main/vps/install-vps.sh?v=$(date +%s)" | sudo env RESET_LOGIN=0 sh
Кнопка «Обновление панели» также устанавливает обслуживание журналов.
Скрипт включён в сборку Hub в сжатом виде и проверяется по SHA256; отдельная
загрузка скрипта при нажатии кнопки не требуется. Если отсутствует logrotate,
выполняется ограниченная по времени установка пакета через apt-get с имеющимися
индексами. Ошибка зависимости отображается как ошибка обновления.
Для каждой установки создаётся отдельная копия настроек. Проверяются Nginx, journald, ротация и активность таймера. Успех подтверждается только после успешного обслуживания за текущие сутки; повторной ротации в те же сутки нет. При отказе настройки возвращаются из копии текущего обновления. При отказе новой сборки Hub возвращается и предыдущий файл Hub. Хранятся копии настроек двух последних обновлений; база и данные роутеров в эти копии не входят.
Первый переход со старой сборки поддерживается: старый обработчик заменяет
файл, а запущенный новый Hub завершает установку обслуживания, прежде чем
подтверждает готовность через проверку сборки. Обычный /health, heartbeat и
API роутеров продолжают работать. Нестандартная конфигурация вызывает ошибку
с причиной и откат, а не ложное сообщение об успехе.
Установка обслуживания при первом переходе запускается через отдельную службу
owrt-remote-log-maintenance-<id> у системного systemd. Ограничение
CapabilityBoundingSet=CAP_NET_BIND_SERVICE у веб-службы Hub сохраняется:
проверка Nginx и ротация выполняются с системными правами в отдельной задаче.
Права и владельцы /var/log/nginx/*.log не меняются ради обхода ошибок доступа.
Предупреждение Nginx protocol options redefined само по себе не означает
отказ; итог определяется кодом возврата команды и её сообщением об ошибке.
Если после нажатия кнопки страница продолжает показывать прежнюю сборку, обновить её через Ctrl+F5. Номер версии остаётся v121; новая сборка определяется по SHA256. Отдельные команды установки выше сохраняются для ручного применения.
Нестандартные правила с целями вне /var/log, olddir, неоднозначным синтаксисом
или пользовательским условием access_log if=... требуют ручного рассмотрения.
Установка остановится с причиной, не выполняя опасную очистку. Иные назначения
access_log, например отдельные пользовательские файлы, автоматически не меняются.
Проверка и ручной запуск
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Status
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Run
ssh root@132.243.19.232 'systemctl list-timers logrotate.timer --no-pager; journalctl -u logrotate.service -n 50 --no-pager; tail -n 20 /var/log/owrt-remote-maintenance.log; journalctl --disk-usage; nginx -t; systemctl is-active owrt-remote nginx rsyslog systemd-journald'
Run принудительно запускает ротацию повторно; для обычной проверки достаточно
Status. Не применять Run многократно без необходимости.
Временно включить полный HTTP-лог Hub для диагностики можно через
systemctl edit owrt-remote, добавив:
[Service]
Environment=OWRT_REMOTE_HTTP_DEBUG=1
После изменения нужен systemctl restart owrt-remote. Для выключения удалить
эту строку из созданного drop-in и перезапустить Hub. На фильтр Nginx эта
переменная не влияет; ошибки Nginx всегда сохраняются.
SSH
Проверить попытки входа без изменения доступа:
ssh root@132.243.19.232 'journalctl -u ssh -u sshd --since yesterday --no-pager | tail -n 100'
Возможные меры: ограничение SSH по доверенным адресам в firewall, Fail2ban,
MaxAuthTries 3, LoginGraceTime 30, MaxStartups 10:30:30. Подбирать после
просмотра реальной нагрузки и наличия резервного доступа. Перед применением
проверять sshd -t, сохранять текущий SSH-сеанс и проверять второй вход.
Исправление не меняет PasswordAuthentication, PermitRootLogin, SSH или firewall.
Откат
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Rollback
Копия: /root/owrt-remote-backup-before-log-maintenance-v121/manifest.json
и файлы рядом. Откат восстанавливает исходный Hub, Nginx, настройки journald,
таймера и старое правило logrotate; возвращает прежнее состояние таймера.
База, сертификаты, SSH-ключи и данные пользователей не открываются обработчиком
очистки. Удалённые или уже ротированные журналы откат не восстанавливает.
Изменённые файлы и проверки
vps/owrt-remote-hub.py— фильтрация успешных HTTP-записей и DEBUG.vps/log-maintenance.py— настройка, обслуживание, проверки и откат.vps/install-vps.sh— подключение обслуживания вместо старых правил.vps/deploy-log-maintenance.ps1— установка локальной сборки и откат.tests/test_log_maintenance.py,tests/test_notification_load.py— регрессии.scripts/embed-log-maintenance.py— сборка встроенного скрипта обслуживания.tests/test_hub_update.py,tests/test_hub_update_components.py,tests/test_hub_self_update_local.py— обновление через кнопку и откат.- Этот документ — эксплуатация и ограничения.
Тесты Python можно запустить отдельно:
python -m unittest discover -s tests -p test_log_maintenance.py -v
python -m unittest discover -s tests -p test_notification_load.py -v
Проверки POSIX-блокировок, ссылок и прав запускаются на Linux; на Windows они явно помечены как пропущенные. Проверка на рабочем VPS выполняется после установки пользователем; локальная Ubuntu не подтверждает состояние его диска или фактическую интенсивность SSH-перебора.
Результаты локальной проверки
На отдельной виртуальной машине Ubuntu 24.04 с настоящими systemd, logrotate, Nginx, rsyslog и работающим Hub проверены:
- 13 тестов обслуживания и 7 тестов HTTP-логирования — успешно на Linux.
- Установка, расписание 03:20, фактические настройки journald, ручное обслуживание, повтор в тот же день и блокировка параллельного запуска.
- Успешные запросы к четырём частым API не попадают в access.log; HTTP 404/503 и обычное действие остаются. Настоящий Hub возвращает и записывает HTTP 401 при heartbeat без авторизации.
- Удаление старых архивов, сохранение постороннего
.gz, запись новых событий Nginx и rsyslog после ротации, ограничение собственного журнала. - Переход со старого правила проекта и дублирующего access_log без сохранения второго регистратора; исходные файлы возвращаются при откате.
- Повторная установка, ручной откат и автоматический откат при намеренно ошибочной конфигурации Nginx.
- SQLite
integrity_check=ok, тестовая запись в базе и SHA256 тестовых настроек, токенов, сертификата, SSH-ключей и пользовательских файлов сохранены. - Дополнительно 19 регрессий архива журналов роутеров и 31 проверка жизненного цикла ресурсов прошли на Windows; 2 проверки POSIX в последнем наборе пропущены.
- Синтаксис Python, PowerShell, shell-установщика и
git diff --checkпроверены.
Пороги 75/85/90% проверяются с подменёнными показаниями диска в тестах:
заполнение настоящего раздела до 100% не выполнялось. Существующее предупреждение
Python invalid escape sequence '\s' в другом HTML-шаблоне Hub не относится к
этому исправлению и не мешает запуску; шаблон в рамках этой задачи не менялся.
После установки пользователем на рабочий VPS получен успешный результат:
ok=true, удалены 263 архива, освобождены 2 365 938 байт, journald занимает
18,8 МиБ. Hub, Nginx, rsyslog и journald подтвердили состояние active.
Эта проверка выполнена по предоставленному выводу; независимое подключение
к рабочему серверу не выполнялось.
Обновление обслуживания через кнопку
На отдельной Ubuntu 24.04 воспроизведён переход именно со старой опубликованной
сборки 8ff052b21d2b…, в которой обработчик заменяет только файл Hub. До перехода
/opt/owrt-remote/log-maintenance.py отсутствовал. После одного обновления он
установлен, результат очистки имеет ok=true, таймер и службы активны.
Затем проверен следующий цикл обновления уже новым обработчиком: успех подтверждён после обслуживания журналов и проверки таймера. Намеренная ошибка в конфигурации Nginx останавливает обновление с конкретной причиной; рабочий файл Hub и установленные настройки журналов сохранены. SHA256 тестовых ключей/настроек и целостность SQLite после обоих циклов не изменились. Дополнительно конфликтующий параметр journald вызвал ошибку уже после записи новых настроек: копия текущего обновления успешно вернула исходные файлы, Hub продолжил работать, а результат обновления содержит причину отказа.
Отдельно воспроизведён Permission denied у nginx -T при ограничении
CapabilityBoundingSet=CAP_NET_BIND_SERVICE, используемом штатной службой Hub.
С этим же ограничением первый переход со старой сборки через кнопку успешно
установил обслуживание в отдельной задаче systemd. Ограничение Hub, владелец
и режим www-data:adm 0640 журнала Nginx, ключи/настройки и целостность SQLite
сохранены. Проверены 9 регрессий установки компонентов, 19 проверок обновления
и 6 проверок локального тестового обновления.
Разработчикам: после изменения vps/log-maintenance.py выполнить
python scripts/embed-log-maintenance.py; команда с --check и тесты проверяют,
что встроенный скрипт совпадает с исходником. Внутренний параметр --backup
задаёт отдельную резервную копию текущего обновления; без него ручная установка
и откат используют прежний каталог /root/owrt-remote-backup-before-log-maintenance-v121.