Fix HTTPS heartbeat retries and WAN IPv4 DNS fallback

This commit is contained in:
kzolotarev95 committed 2026-10-15 12:55:35 +04:00
1 parent 4a398c96b1
commit 5f65a3d811
13 files changed
+1547 -69

No files matched your search

+120
View File
@@ -0,0 +1,120 @@
# Heartbeat: HTTPS, авторизация и диагностика (v116)
## Разбор сбоя 15.10.2026
В прежнем клиенте после первой ошибки HTTPS сразу проверялся следующий
адрес, в том числе автоматически сформированный HTTP. Повторной попытки
того же HTTPS до переключения не было. Настроенный Hub URL при этом
не обязательно менялся: перебор адресов происходил внутри одного цикла.
Bearer-заголовок в исходном запросе формировался одинаково для всех адресов.
Однако curl с `--location` снимает Authorization при смене origin, включая
HTTP → HTTPS. `--post301` сохраняет POST, но не авторизацию. Это объясняет
цепочку HTTP 301 → HTTPS 401 при правильном токене. Механизм воспроизведён
на локальных HTTP/HTTPS-серверах с настоящим curl и проверкой сертификата.
Заголовки реального nginx в момент исходного сбоя не захватывались, поэтому
совпадение с конкретным историческим запросом остаётся предположением.
Один `rc=28` и нулевое тело ответа не определяют, на каком этапе был тайм-аут.
Текущие быстрые ответы `/health` не доказывают причину прошедшего сбоя.
HTTP 401 на `/api/heartbeat` без авторизации ожидаем. Интервал примерно
32 секунды совместим с прежним циклом: время запроса плюс пауза 30 секунд.
Официальное описание curl: https://curl.se/docs/manpage.html
## Поведение после исправления
- При временной ошибке HTTPS выполняется одна повторная попытка того же
адреса через секунду: максимум две попытки по 10 секунд на адрес.
- Повторяются тайм-ауты, ошибки DNS/TCP, TLS handshake, обрывы соединения
и временные ответы сервера 408/429/500/502/503/504. Ошибка проверки
сертификата не повторяется автоматически.
- После исчерпания попыток можно перейти к следующему HTTPS-кандидату.
При настроенном HTTPS HTTP-кандидаты исключены, включая порт 8088.
Явно настроенные установки HTTP продолжают работать.
- HTTP 401/403 завершает цикл с `reason=auth_rejected`; перебор адресов
не используется для обхода отказа авторизации.
- curl больше не следует перенаправлениям автоматически. Разрешены
максимум три перехода в пределах origin либо HTTP → HTTPS на том же
хосте. Каждый разрешённый переход повторяет JSON POST с Bearer.
Смена хоста и HTTPS → HTTP отклоняются. Проверка TLS сохранена.
- При прямом WAN интерфейс и `--resolve` рассчитываются для каждого
разрешённого перехода, включая новый HTTPS-порт. Xray и правила
маршрутизации этим исправлением не переписываются.
## Диагностика и хранение
`owrt-remote heartbeat-diagnostics` показывает последний результат.
Он также добавлен к `owrt-remote network-diagnostics`.
Снимок атомарно заменяется в `/tmp/owrt-remote-heartbeat-last` — на OpenWrt
это RAM. Временные тела запросов/ответов находятся в приватных каталогах
`/tmp` и удаляются после запроса. Настройки UCI не меняются из-за замеров.
Поля результата: безопасный origin без пути, query и userinfo, номер
попытки, rc, HTTP, причина, общее время, DNS, TCP, TLS и время до первого
байта. В журнале ошибки содержат эти замеры, переключение — исходный
и следующий origin с причиной. Успешные записи остаются стабильными
для существующего подавления повторов; свежие замеры находятся в снимке.
Сырые stderr curl и тела ответов не записываются в журнал: сервер может
отразить туда секрет. Токен и Authorization в диагностике отсутствуют.
Все времена в миллисекундах:
- `DNS_ms` — время разрешения имени curl; при прямом WAN измеряется
отдельный запрос WAN DNS. `DNS_source=cache/pinned/literal` означает,
что DNS-запрос не требовался; `lookup` — запрос выполнялся.
- `TCP_ms` — `time_connect - time_namelookup`.
- `TLS_ms` — `time_appconnect - time_connect`; `incomplete` означает,
что этап не завершился. TCP тоже может быть `incomplete`.
- `TTFB_ms` — от начала запроса curl до первого байта, `total_ms` —
полное время curl. `elapsed_ms` включает подготовку запроса.
- `WAN_resolve_ms` — подготовка WAN-адреса и маршрута; это не чистое
время DNS. При `--resolve` системный DNS curl не используется.
- Для wget/uclient, у которых нет аналогичного write-out, этапы помечены
`n/a`, без выдуманных измерений.
## Установка и откат из Windows PowerShell
```powershell
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "C:\Users\k.zolotarev95\Documents\openwrt overlay\vps\deploy-heartbeat-transport-fix.ps1" -Router "root@192.168.2.1" -Action Install
```
Обновляются агент и WAN helper. Перезапускается только экземпляр Heartbeat
под procd; Xray и удалённый туннель скрипт не перезапускает. Остановленный
экземпляр остаётся остановленным. Резервная копия первых файлов сохраняется
в `/root/owrt-remote-backup-before-heartbeat-transport-v116`.
Маркер `HEARTBEAT_TRANSPORT_ROUTER_Install_OK` подтверждает установку кода,
а доступность Hub проверяется отдельно:
```powershell
ssh root@192.168.2.1 'owrt-remote heartbeat >/dev/null; echo HEARTBEAT_RC=$?; owrt-remote heartbeat-diagnostics; logread -e owrt-remote | tail -n 35'
```
`HEARTBEAT_RC=0`, `reason=ok` и `HTTP=200` подтверждают успешный запрос.
Для отката:
```powershell
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "C:\Users\k.zolotarev95\Documents\openwrt overlay\vps\deploy-heartbeat-transport-fix.ps1" -Router "root@192.168.2.1" -Action Rollback
```
При неполной/отсутствующей копии откат прекращается до изменения файлов.
При ошибке установки восстанавливаются оба файла текущей попытки.
## Локальные проверки
`test_heartbeat_transport.py` проверяет повтор HTTPS, запрет HTTP fallback,
401/403, безопасные поля и замеры DNS/TCP/TLS. Реальные HTTP/HTTPS-серверы
проверяют потерю Bearer в прежнем curl, исправленный переход, запрет чужого
хоста/понижения TLS, относительный redirect, предел redirect и прямой WAN.
Самоподписанный тестовый CA явно доверен только тестовому curl; `-k` нет.
`test_heartbeat_transport_deploy.py` проверяет повторную установку, исходную
резервную копию, откат, отказы до/после записи и адресный перезапуск только
Heartbeat. Дополнительно выполняются host policy, WAN failover, доставка
журналов, Xray apply и Xray validation.
Результат локальной проверки 15.10.2026: 14 тестов транспорта и 91 тест
регрессии прошли успешно, без пропусков. В проверках применения настроек
использовался настоящий Xray 26.3.27. PowerShell и POSIX-синтаксис проверены,
пакет подготовки содержит UTF-8 без BOM и окончания строк LF. На реальный
роутер этот локальный фикс автоматически не устанавливался.