Fix SQLite connection leaks and resource cleanup
This commit is contained in:
1 parent
e677fd2391
commit
f01f9c799a
5 files changed
+1177
-173
No files matched your search
@@ -0,0 +1,136 @@
|
||||
# Аудит ресурсов OpenWrt Remote Hub v109
|
||||
|
||||
Исправления внесены поверх `7f809fd`. Версия панели остаётся v109.
|
||||
|
||||
## SQLite
|
||||
|
||||
В исходном коде нативный `sqlite3.Connection.__exit__` управлял транзакцией,
|
||||
но не закрывал соединение. Это затрагивало мониторинг, API и CLI.
|
||||
|
||||
Теперь `connect()` — единственный владелец создаваемого SQLite connection:
|
||||
|
||||
```python
|
||||
with connect(db_path) as conn:
|
||||
# Работа с БД только внутри этого блока.
|
||||
...
|
||||
```
|
||||
|
||||
Внутренний `with conn` сохраняет штатную семантику SQLite commit/rollback,
|
||||
включая rollback после неудачного commit и `BaseException`. Внешний `finally`
|
||||
всегда вызывает `close()`, в том числе при ошибке установки `row_factory`,
|
||||
инициализации схемы, выходе через `return` и ошибке завершения транзакции.
|
||||
Ошибки SQLite продолжают передаваться вызывающему коду.
|
||||
|
||||
`App.conn()` инициализирует схему внутри того же защищённого контекста.
|
||||
Аудит AST проверил один прямой `sqlite3.connect`, 13 вызовов общего `connect`,
|
||||
30 вызовов `self.app.conn`, один `self.conn` и один `app.conn`.
|
||||
Все потребители контекстных менеджеров используют `with`.
|
||||
|
||||
Проверены мониторинг, heartbeat, группы, заметки, выдача конфигураций,
|
||||
HTTP handlers, CLI, backup/restore и обновление Xray. Отдельных долгоживущих
|
||||
cursor нет; результаты извлекаются внутри операции, connection закрывает
|
||||
оставшиеся SQLite ресурсы. Backup закрывает source даже при ошибке открытия
|
||||
destination. Возвращаемые `sqlite3.Row` остаются доступны после закрытия БД.
|
||||
|
||||
## Другие ресурсы
|
||||
|
||||
Исправлены найденные пути с неполной очисткой:
|
||||
|
||||
* HTTPError OAuth закрывается после чтения тела ошибки.
|
||||
* Ответы Web Push закрываются при успехе и при ответе с ошибкой.
|
||||
* Ответ proxy закрывается контекстным менеджером, backend — через `finally`.
|
||||
* HTTP сервер освобождает listening socket при ошибке TLS; главный и
|
||||
дополнительные серверы закрываются при выходе или ошибке запуска.
|
||||
* Монитор останавливается с ожиданием потока; неудачный запуск потока
|
||||
не ломает cleanup. Ошибка первого снимка БД логируется, монитор повторяет
|
||||
попытки с обычной паузой.
|
||||
* HTTP terminal reader владеет PTY и сбором дочернего процесса. При
|
||||
неудачном запуске reader или первой записи WebSocket ресурсы освобождаются.
|
||||
Завершение ребёнка ожидается; при необходимости применяются HUP/TERM/KILL.
|
||||
* Запись в HTTP terminal использует собственный временный дубликат FD,
|
||||
который закрывается в `finally`, чтобы избежать гонки с reader.
|
||||
* Закрытые terminal sessions удаляются спустя 60 секунд. HTTP sessions без
|
||||
обращений браузера завершаются после 15 минут; живой polling продлевает их.
|
||||
Буфер вывода ограничен 256 порциями по максимуму 4096 байт исходных данных.
|
||||
При остановке сервера sessions помечаются закрытыми, reader threads ожидаются.
|
||||
* Прерванный chunked request вызывает ошибку вместо бесконечного цикла на EOF.
|
||||
Для сетевого чтения/записи установлен timeout 90 секунд. Долгий terminal
|
||||
без ввода не истекает по этому timeout: его цикл ждёт данные через `select`.
|
||||
* Атомарная запись и создание архива используют уникальные временные файлы
|
||||
с очисткой при ошибке. SSH askpass очищается при неудачной подготовке
|
||||
и после subprocess, включая timeout и ошибку подготовки аргументов.
|
||||
|
||||
Проверенные прежние безопасные участки: `urlopen` успеха и TCP-проверки
|
||||
используют `with`; `TemporaryDirectory` в подписи SSH, backup/restore и
|
||||
upload/download очищаются контекстом; `subprocess.run` использует конечные
|
||||
timeout и собирает child/PIPE после завершения или timeout. Web Push worker
|
||||
имеет конечный список подписок и timeout HTTP; notification long polling
|
||||
ждёт Condition с конечным deadline. Эти механизмы не отключались.
|
||||
Лимит FD и конфигурация systemd не изменялись.
|
||||
|
||||
## Автоматическая проверка
|
||||
|
||||
```powershell
|
||||
python -m unittest discover -s tests -v
|
||||
python tests/test_resource_lifecycle.py --soak-seconds 600
|
||||
```
|
||||
|
||||
Тесты используют отдельные временные state/DB и loopback fixture роутера.
|
||||
Они удерживают ссылки на connection, чтобы GC не маскировал утечку.
|
||||
Проверяются 500 snapshots, commit, rollback, ранний return, init failure,
|
||||
ошибка commit, setup/transaction exit failure, backup и остальные
|
||||
исправленные пути очистки. AST-тест запрещает вызовы DB factory вне `with`.
|
||||
|
||||
В Windows два POSIX-теста пропускаются: реальный PTY/child и сигналы.
|
||||
В Linux установщик запускает их до замены рабочего файла на VPS.
|
||||
CI в этом репозитории отсутствует; тесты подготовлены для его последующего
|
||||
подключения без сторонних Python зависимостей.
|
||||
|
||||
В исходном `7f809fd` тест с удержанными connection показал 101 незакрытое
|
||||
соединение и рост Windows handles с 227 до 327 после 100 snapshots.
|
||||
После фикса 500 snapshots не оставляют открытых connection.
|
||||
|
||||
Первый локальный длительный прогон: 601.1 секунды, 116 циклов
|
||||
панель/API/heartbeat/proxy/notifications/snapshot, handles 279 → 277,
|
||||
максимум 281, CPU time 8.39 секунды. Это Windows handles, а не Linux FD.
|
||||
Второй прогон после изменений сетевого cleanup: 601.2 секунды, 116 циклов,
|
||||
handles 279 → 277, максимум 281, CPU time 8.73 секунды.
|
||||
Локальный тест подтверждает fixture, а не реальные туннели/доставку push/nginx.
|
||||
|
||||
## Установка и откат для проверки пользователем
|
||||
|
||||
Из PowerShell Windows 11:
|
||||
|
||||
```powershell
|
||||
$Vps = "root@YOUR_VPS_IP"
|
||||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "vps\deploy-resource-fix.ps1" -Vps $Vps -Action Install
|
||||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "vps\deploy-resource-fix.ps1" -Vps $Vps -Action Monitor -Minutes 10
|
||||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "vps\deploy-resource-fix.ps1" -Vps $Vps -Action Rollback
|
||||
```
|
||||
|
||||
Первые две команды выполняются последовательно. Откат — отдельная команда
|
||||
только при необходимости. Рабочая директория — корень репозитория.
|
||||
Вместо `YOUR_VPS_IP` укажите адрес своего VPS.
|
||||
Для длительного мониторинга можно использовать `-Minutes 120`.
|
||||
|
||||
Установщик загружает локальный файл без Git, запускает изолированные тесты,
|
||||
сохраняет исходный серверный файл:
|
||||
`/opt/owrt-remote/owrt-remote-hub.py.bak-before-resource-fix-v109`,
|
||||
атомарно заменяет Python файл, перезапускает `owrt-remote` и проверяет health.
|
||||
Существующая резервная копия не перезаписывается. При ошибке установки
|
||||
восстанавливается файл, работавший непосредственно перед текущей попыткой.
|
||||
База и конфигурация роутеров этим скриптом не заменяются.
|
||||
|
||||
Монитор читает `/proc/MainPID/fd`, hub.db FD, CPU за интервал, RSS, threads,
|
||||
health и journal. Отчёт остаётся в `/tmp/owrt-resource-monitor-*.jsonl`.
|
||||
Во время мониторинга нужно пользоваться реальной панелью и proxy роутера.
|
||||
Значения FD могут кратковременно расти из-за активных запросов; важны
|
||||
отсутствие накопления hub.db FD и устойчивого восходящего тренда между ними.
|
||||
|
||||
## Что ещё требуется на реальном VPS
|
||||
|
||||
Сам агент VPS не обновлял и длинный серверный тест не проводил. До финального
|
||||
закрытия инцидента нужны минимум 10 минут Linux мониторинга, желательно 1–2
|
||||
часа с реальными роутерами, проверка online/offline уведомлений, Web Push,
|
||||
heartbeat, SSH, API и nginx error log. Ошибки upstream/504 могут иметь
|
||||
дополнительные причины; их отсутствие нельзя подтвердить Windows fixture.
|
||||
Reference in new issue
Block a user