137 lines
11 KiB
Markdown
137 lines
11 KiB
Markdown
# Аудит ресурсов OpenWrt Remote Hub v117
|
||
|
||
Исправления внесены поверх `7f809fd`. Версия панели остаётся v117.
|
||
|
||
## SQLite
|
||
|
||
В исходном коде нативный `sqlite3.Connection.__exit__` управлял транзакцией,
|
||
но не закрывал соединение. Это затрагивало мониторинг, API и CLI.
|
||
|
||
Теперь `connect()` — единственный владелец создаваемого SQLite connection:
|
||
|
||
```python
|
||
with connect(db_path) as conn:
|
||
# Работа с БД только внутри этого блока.
|
||
...
|
||
```
|
||
|
||
Внутренний `with conn` сохраняет штатную семантику SQLite commit/rollback,
|
||
включая rollback после неудачного commit и `BaseException`. Внешний `finally`
|
||
всегда вызывает `close()`, в том числе при ошибке установки `row_factory`,
|
||
инициализации схемы, выходе через `return` и ошибке завершения транзакции.
|
||
Ошибки SQLite продолжают передаваться вызывающему коду.
|
||
|
||
`App.conn()` инициализирует схему внутри того же защищённого контекста.
|
||
Аудит AST проверил один прямой `sqlite3.connect`, 13 вызовов общего `connect`,
|
||
30 вызовов `self.app.conn`, один `self.conn` и один `app.conn`.
|
||
Все потребители контекстных менеджеров используют `with`.
|
||
|
||
Проверены мониторинг, heartbeat, группы, заметки, выдача конфигураций,
|
||
HTTP handlers, CLI, backup/restore и обновление Xray. Отдельных долгоживущих
|
||
cursor нет; результаты извлекаются внутри операции, connection закрывает
|
||
оставшиеся SQLite ресурсы. Backup закрывает source даже при ошибке открытия
|
||
destination. Возвращаемые `sqlite3.Row` остаются доступны после закрытия БД.
|
||
|
||
## Другие ресурсы
|
||
|
||
Исправлены найденные пути с неполной очисткой:
|
||
|
||
* HTTPError OAuth закрывается после чтения тела ошибки.
|
||
* Ответы Web Push закрываются при успехе и при ответе с ошибкой.
|
||
* Ответ proxy закрывается контекстным менеджером, backend — через `finally`.
|
||
* HTTP сервер освобождает listening socket при ошибке TLS; главный и
|
||
дополнительные серверы закрываются при выходе или ошибке запуска.
|
||
* Монитор останавливается с ожиданием потока; неудачный запуск потока
|
||
не ломает cleanup. Ошибка первого снимка БД логируется, монитор повторяет
|
||
попытки с обычной паузой.
|
||
* HTTP terminal reader владеет PTY и сбором дочернего процесса. При
|
||
неудачном запуске reader или первой записи WebSocket ресурсы освобождаются.
|
||
Завершение ребёнка ожидается; при необходимости применяются HUP/TERM/KILL.
|
||
* Запись в HTTP terminal использует собственный временный дубликат FD,
|
||
который закрывается в `finally`, чтобы избежать гонки с reader.
|
||
* Закрытые terminal sessions удаляются спустя 60 секунд. HTTP sessions без
|
||
обращений браузера завершаются после 15 минут; живой polling продлевает их.
|
||
Буфер вывода ограничен 256 порциями по максимуму 4096 байт исходных данных.
|
||
При остановке сервера sessions помечаются закрытыми, reader threads ожидаются.
|
||
* Прерванный chunked request вызывает ошибку вместо бесконечного цикла на EOF.
|
||
Для сетевого чтения/записи установлен timeout 90 секунд. Долгий terminal
|
||
без ввода не истекает по этому timeout: его цикл ждёт данные через `select`.
|
||
* Атомарная запись и создание архива используют уникальные временные файлы
|
||
с очисткой при ошибке. SSH askpass очищается при неудачной подготовке
|
||
и после subprocess, включая timeout и ошибку подготовки аргументов.
|
||
|
||
Проверенные прежние безопасные участки: `urlopen` успеха и TCP-проверки
|
||
используют `with`; `TemporaryDirectory` в подписи SSH, backup/restore и
|
||
upload/download очищаются контекстом; `subprocess.run` использует конечные
|
||
timeout и собирает child/PIPE после завершения или timeout. Web Push worker
|
||
имеет конечный список подписок и timeout HTTP; notification long polling
|
||
ждёт Condition с конечным deadline. Эти механизмы не отключались.
|
||
Лимит FD и конфигурация systemd не изменялись.
|
||
|
||
## Автоматическая проверка
|
||
|
||
```powershell
|
||
python -m unittest discover -s tests -v
|
||
python tests/test_resource_lifecycle.py --soak-seconds 600
|
||
```
|
||
|
||
Тесты используют отдельные временные state/DB и loopback fixture роутера.
|
||
Они удерживают ссылки на connection, чтобы GC не маскировал утечку.
|
||
Проверяются 500 snapshots, commit, rollback, ранний return, init failure,
|
||
ошибка commit, setup/transaction exit failure, backup и остальные
|
||
исправленные пути очистки. AST-тест запрещает вызовы DB factory вне `with`.
|
||
|
||
В Windows два POSIX-теста пропускаются: реальный PTY/child и сигналы.
|
||
В Linux установщик запускает их до замены рабочего файла на VPS.
|
||
CI в этом репозитории отсутствует; тесты подготовлены для его последующего
|
||
подключения без сторонних Python зависимостей.
|
||
|
||
В исходном `7f809fd` тест с удержанными connection показал 101 незакрытое
|
||
соединение и рост Windows handles с 227 до 327 после 100 snapshots.
|
||
После фикса 500 snapshots не оставляют открытых connection.
|
||
|
||
Первый локальный длительный прогон: 601.1 секунды, 116 циклов
|
||
панель/API/heartbeat/proxy/notifications/snapshot, handles 279 → 277,
|
||
максимум 281, CPU time 8.39 секунды. Это Windows handles, а не Linux FD.
|
||
Второй прогон после изменений сетевого cleanup: 601.2 секунды, 116 циклов,
|
||
handles 279 → 277, максимум 281, CPU time 8.73 секунды.
|
||
Локальный тест подтверждает fixture, а не реальные туннели/доставку push/nginx.
|
||
|
||
## Установка и откат для проверки пользователем
|
||
|
||
Из PowerShell Windows 11:
|
||
|
||
```powershell
|
||
$Vps = "root@YOUR_VPS_IP"
|
||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "vps\deploy-resource-fix.ps1" -Vps $Vps -Action Install
|
||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "vps\deploy-resource-fix.ps1" -Vps $Vps -Action Monitor -Minutes 10
|
||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "vps\deploy-resource-fix.ps1" -Vps $Vps -Action Rollback
|
||
```
|
||
|
||
Первые две команды выполняются последовательно. Откат — отдельная команда
|
||
только при необходимости. Рабочая директория — корень репозитория.
|
||
Вместо `YOUR_VPS_IP` укажите адрес своего VPS.
|
||
Для длительного мониторинга можно использовать `-Minutes 120`.
|
||
|
||
Установщик загружает локальный файл без Git, запускает изолированные тесты,
|
||
сохраняет исходный серверный файл:
|
||
`/opt/owrt-remote/owrt-remote-hub.py.bak-before-resource-fix-v117`,
|
||
атомарно заменяет Python файл, перезапускает `owrt-remote` и проверяет health.
|
||
Существующая резервная копия не перезаписывается. При ошибке установки
|
||
восстанавливается файл, работавший непосредственно перед текущей попыткой.
|
||
База и конфигурация роутеров этим скриптом не заменяются.
|
||
|
||
Монитор читает `/proc/MainPID/fd`, hub.db FD, CPU за интервал, RSS, threads,
|
||
health и journal. Отчёт остаётся в `/tmp/owrt-resource-monitor-*.jsonl`.
|
||
Во время мониторинга нужно пользоваться реальной панелью и proxy роутера.
|
||
Значения FD могут кратковременно расти из-за активных запросов; важны
|
||
отсутствие накопления hub.db FD и устойчивого восходящего тренда между ними.
|
||
|
||
## Что ещё требуется на реальном VPS
|
||
|
||
Сам агент VPS не обновлял и длинный серверный тест не проводил. До финального
|
||
закрытия инцидента нужны минимум 10 минут Linux мониторинга, желательно 1–2
|
||
часа с реальными роутерами, проверка online/offline уведомлений, Web Push,
|
||
heartbeat, SSH, API и nginx error log. Ошибки upstream/504 могут иметь
|
||
дополнительные причины; их отсутствие нельзя подтвердить Windows fixture.
|