Fix router update queue controls, compatibility and dashboard

This commit is contained in:
kzolotarev95 committed 2026-10-16 04:09:08 +04:00
1 parent e9aa14e080
commit 2a47adb32a
6 files changed
+860 -111

No files matched your search

+54 -8
View File
@@ -5,33 +5,76 @@
команда установки и один общий SSH-пароль root. При SSH-ключе поле можно оставить
пустым. Команда по умолчанию использует `RAW_REPO_BASE` именно этого Hub:
GitHub — GitHub, GitVerse — GitVerse.
Можно вставить полную shell-команду или прямую HTTP/HTTPS-ссылку на установочный
shell-скрипт с любого источника. Ссылка передаётся загрузчику как данные, включая
параметры запроса; скрипт сначала целиком скачивается, затем запускается.
Hub запускает одну очередь, по одному роутеру. Имена берутся из Heartbeat
(`owrtremote.main.router_name`) и уточняются чтением UCI по SSH перед установкой.
(`owrtremote.main.router_name`) и уточняются чтением UCI по SSH до подготовки
установки. Например, `router_id=node-5`, `router_name=АНТОН ВПН` показываются как
«АНТОН ВПН» и отдельно «ID: node-5». Имя UCI имеет приоритет над именем,
изменённым карандашом в Hub. Если UCI и Heartbeat не сообщили имя, используется
имя из редактора Hub; если нет и его — «Имя роутера не получено», без подмены ID.
Неуспешное подключение, ошибка команды и отсутствие подтверждения различаются.
Если SSH отклонил общий пароль, у этого роутера выводится понятная ошибка
авторизации: его пароль может отличаться от общего. Обновление на нём не
запускается, очередь переходит к следующему. Запрет входа по паролю, отсутствие
SSH-ключа и сетевые ошибки отображаются отдельно; сам пароль не показывается.
`Connection timed out during banner exchange` означает, что SSH-приветствие
не поступило вовремя: до проверки пароля и отправки обновления дело не дошло.
По одной этой ошибке нельзя различить отказ обратного туннеля и SSH-сервера.
Панель показывает понятное объяснение и сохраняет технический ответ.
Надпись «Успешно — Советская 30» появляется только при полученном `rc=0`.
Код 0 подтверждает выполнение команды, а не проверку всех функций роутера.
Установка запускается отдельным процессом с `setsid` на роутере, не в shell VPS.
Перед запуском проверяются необходимые утилиты. Передача команды, имени и
ограниченного вывода не требует `base64`: команда записывается встроенным
`printf`, имя читается через UCI, вывод передаётся отдельным завершающим полем.
Строки установщика не могут подменить метаданные результата. Подтверждённая
ошибка подготовки отображается как «Ошибка» с причиной и текстом «Команда
обновления не запускалась»; неопределённость показывается при реальной потере
связи после отправки задачи.
При разрыве SSH во время установки Hub запрашивает результат по тому же ID,
не повторяя команду. При невозможности получить итог останавливаются оставшиеся
обновления, чтобы не запускать другую установку параллельно с неподтверждённой.
«Остановить очередь после текущего» не прерывает уже начатую установку.
не повторяя команду. Ожидание ограничено: запуск — 15 секунд, потеря связи SSH —
30 секунд, отсутствие нового вывода — 90 секунд, работа установщика — 180 секунд.
На роутере также действует собственный лимит 180 секунд, даже если VPS недоступна.
В карточке видны прошедшее время, пауза вывода, результат и причина ошибки.
Неудача одного роутера не останавливает очередь остальных. Если остановку нельзя
доставить из-за потери SSH, показывается «Не подтверждено», а не ложный успех.
«Остановить всё» сразу помечает оставшиеся устройства пропущенными, прерывает
текущий запрос SSH и отправляет текущей задаче остановку. На доступном роутере
установщик с дочерними процессами получает TERM, затем KILL при необходимости.
Это не откатывает изменения, уже внесённые установщиком. При отсутствии SSH
остановку невозможно подтвердить: действует локальный лимит задачи, очередь
показывает фактическую потерю связи. При недоступной сети продолжение следующих
роутеров может пересекаться с ещё не завершившейся задачей на отключённом роутере.
Временный каталог задачи расположен в `/tmp/owrt-remote-update-ID` на роутере;
вывод ограничен примерно 32 КиБ, на VPS передаётся хвост до 8 КиБ. После получения
результата каталог удаляется. При потере связи остаётся ограниченный результат
до следующей перезагрузки; нет постоянно работающего сборщика этой задачи.
У отменённой задачи после очистки остаётся только пустой маркер в RAM до
перезагрузки: он запрещает поздний запуск уже отменённого запроса из сети.
Новый API доступен только владельцу, POST защищён токеном и проверкой Origin.
SSH-пароль хранится только в памяти текущего worker, не в БД/журнале/URL/browser
storage. Из вывода удаляются пароль и строки с известными форматами секретов.
Закрытие вкладки не отменяет очередь. После открытия показывается текущее
состояние; результаты находятся в памяти VPS до двух часов после завершения.
Сводка очереди оформлена карточками: всего, обновляются, ожидают, успешно,
ошибки, не подтверждено, остановлено и пропущено. Полоса прогресса считает
обработанные устройства всех итоговых категорий; 100% не означает успех всех.
Рядом с «Вернуться в Hub» есть «Обновить список роутеров»: после завершения
очереди кнопка убирает её результаты и получает текущий список, имена и статусы.
Во время работающей очереди она только обновляет статусы, не удаляя задачу.
Обновление списка не запускает установку и не меняет введённую команду.
В карточках отдельно показаны текущий Heartbeat, онлайн/офлайн и последний
сообщённый статус Xray. Они обновляются каждые три секунды и не подменяют
прошлый итог установки. Если Heartbeat устарел, старое состояние Xray явно
помечается как последнее сообщение. Сброс завершённой очереди защищён CSRF и ID:
запрос из старой вкладки не удалит более новую очередь.
Перезапуск Hub прерывает очередь, но уже запущенный installer на роутере
продолжает работу. После перезапуска Hub его итог нужно проверять отдельно.
Роутеры с неработающим обратным SSH-туннелем обновить этим способом нельзя.
@@ -49,7 +92,7 @@ powershell.exe -NoProfile -ExecutionPolicy Bypass -File "C:\Users\k.zolotarev95\
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "C:\Users\k.zolotarev95\Documents\openwrt overlay\vps\deploy-router-updates.ps1" -Vps "root@193.233.82.38" -Action Rollback
```
Резервная копия: `/opt/owrt-remote/owrt-remote-hub.py.bak-before-router-updates-v117`.
Резервная копия: `/opt/owrt-remote/owrt-remote-hub.py.bak-before-router-updates-control-v117`.
Не устанавливай/не откатывай Hub, пока его очередь работает.
## Проверки
@@ -57,9 +100,12 @@ powershell.exe -NoProfile -ExecutionPolicy Bypass -File "C:\Users\k.zolotarev95\
`python -m unittest discover -s tests -p test_router_updates.py -v` проверяет
последовательность, код результата, пароль, отказы подключения, обрыв после
запуска, остановку очереди, повторный запрос, права/CSRF и ограниченный shell
вывод. Реальный task исполняется в MSYS; там адаптирован только отсутствующий
`setsid`. Синтаксис проверяется также BusyBox ash. Настоящий Linux `setsid`,
вывод. Реальный task исполняется в MSYS; отсутствующий `setsid` заменён Perl
обёрткой над его POSIX-вызовом. Проверяются остановка группы, локальный тайм-аут
и получение короткого вывода до завершения установки. Синтаксис проверяется
также BusyBox ash. Настоящий Linux `setsid`,
Dropbear и обновление физического OpenWrt требуют проверки пользователем.
`node tests/test_router_updates_ui.cjs` проверяет desktop/mobile, ввод команды,
очистку пароля, итоги, сохранение раскрытого вывода и возобновление просмотра.
очистку пароля, итоги, дашборд из 35 устройств, обновление списка и живых статусов,
сохранение раскрытого вывода и возобновление просмотра.
+300 -14
View File
@@ -35,6 +35,10 @@ class UpdatesTests(unittest.TestCase):
self.manager = self.app.router_updates
self.manager.POLL_SECONDS = .001
self.manager.ROUTER_TIMEOUT = .02
self.manager.CONNECTION_TIMEOUT = .015
self.manager.LAUNCH_TIMEOUT = .01
self.manager.SILENCE_TIMEOUT = .015
self.manager.STOP_TIMEOUT = .01
hub.save_auth_state({'username': 'owner', 'password': hub.password_digest('hub-password')})
hub.save_sessions([])
with self.app.conn() as conn:
@@ -57,7 +61,7 @@ class UpdatesTests(unittest.TestCase):
calls.append((row['id'], script, password))
if 'exec setsid /bin/sh' in script:
return 'OWRT_UPDATE_STARTED=1\nOWRT_UPDATE_NAME=' + b64('Советская 30' if row['id'] == 'main' else 'node-2')
if 'OWRT_UPDATE_OUTPUT=' in script:
if 'OWRT_UPDATE_OUTPUT_TEXT=' in script:
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=' + ('0' if row['id'] == 'main' else '5') + '\nOWRT_UPDATE_OUTPUT=' + b64('ssh-secret\nhub_token=hidden\nCompleted')
return ''
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
@@ -86,7 +90,7 @@ class UpdatesTests(unittest.TestCase):
self.assertEqual(launches, ['main', 'node-2'])
self.assertTrue(all(x['state'] == 'success' for x in job['items']))
def test_unknown_result_stops_queue_without_false_success_or_overlap(self):
def test_disconnected_router_does_not_block_remaining_queue_or_claim_success(self):
launches = []
def ssh(row, script, password):
if 'OWRT_UPDATE_READY=1' in script: return 'OWRT_UPDATE_READY=1\n'
@@ -97,17 +101,20 @@ class UpdatesTests(unittest.TestCase):
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
self.manager.start('echo install', '', 'request-1234567892')
job = self.finish()
self.assertEqual(launches, ['main'])
self.assertEqual([x['state'] for x in job['items']], ['unknown', 'skipped'])
self.assertEqual(launches, ['main', 'node-2'])
self.assertEqual([x['state'] for x in job['items']], ['unknown', 'unknown'])
self.assertIn('SSH не отвечает', job['items'][0]['message'])
self.assertIn('temporary disconnect', job['items'][0]['message'])
def test_duplicate_click_and_cancel_dont_launch_again_or_interrupt_current(self):
def test_duplicate_click_and_cancel_stop_current_without_launching_next(self):
entered, release = threading.Event(), threading.Event()
def ssh(row, script, password):
if 'OWRT_UPDATE_READY=1' in script: return 'OWRT_UPDATE_READY=1\n'
if 'exec setsid /bin/sh' in script:
entered.set(); release.wait(2)
return 'OWRT_UPDATE_STARTED=1\n'
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=0\n'
if 'OWRT_UPDATE_CANCEL=1' in script: return 'OWRT_UPDATE_CANCEL=1\n'
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=130\nOWRT_UPDATE_REASON=cancelled\n'
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
task = self.manager.start('echo install', '', 'request-1234567893')
self.assertTrue(entered.wait(2))
@@ -115,9 +122,94 @@ class UpdatesTests(unittest.TestCase):
with self.assertRaises(RuntimeError):
self.manager.start('echo install', '', 'request-1234567894')
self.manager.cancel(task)
self.assertEqual(self.manager.snapshot()['items'][1]['state'], 'skipped')
release.set()
job = self.finish()
self.assertEqual([x['state'] for x in job['items']], ['success', 'skipped'])
self.assertEqual([x['state'] for x in job['items']], ['cancelled', 'skipped'])
def test_silent_and_dead_installers_explain_failure_and_continue(self):
self.manager.CONNECTION_TIMEOUT = .2
for first_state in ['running', 'dead']:
with self.subTest(first_state=first_state):
cancelled = []
def ssh(row, script, password):
if 'OWRT_UPDATE_READY=1' in script: return 'OWRT_UPDATE_READY=1\n'
if 'exec setsid /bin/sh' in script: return 'OWRT_UPDATE_STARTED=1\n'
if 'OWRT_UPDATE_CANCEL=1' in script:
cancelled.append(row['id'])
return 'OWRT_UPDATE_CANCEL=1\n'
if row['id'] == 'node-2': return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=0\n'
if cancelled: return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=130\nOWRT_UPDATE_REASON=cancelled\n'
return 'OWRT_UPDATE_STATE=' + first_state + '\n'
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
self.manager.start('echo install', '', 'request-silence-' + first_state)
job = self.finish()
self.assertEqual([x['state'] for x in job['items']], ['error', 'success'])
self.assertIn('Нет нового вывода' if first_state == 'running' else 'без итогового кода', job['items'][0]['message'])
def test_normalizes_any_http_script_url_without_changing_full_commands(self):
full = 'wget -O - "https://repo.example/install.sh?v=$(date +%s)" | sh'
self.assertEqual(hub.normalize_router_update_command(full), full)
for url in ['https://repo.example/a.sh', 'https://mirror.example/install.sh?q=one&v=2',
"http://192.0.2.1:8080/a';touch${IFS}/tmp/sentinel;#.sh"]:
command = hub.normalize_router_update_command(url)
self.assertIn('download.sh', command)
self.assertIn(hub.shlex.quote(url), command)
self.assertIn('/bin/sh "$file"', command)
with self.assertRaises(ValueError):
hub.normalize_router_update_command('https://repo.example/path with space')
def test_transport_timeout_kills_reaps_and_removes_askpass(self):
askpass = Path(self.temp.name) / 'askpass'
askpass.mkdir()
(askpass/'askpass.sh').write_text('fake')
process = mock.Mock()
process.communicate.side_effect = [subprocess.TimeoutExpired('ssh', 10), ('', '')]
process.poll.return_value = None
with mock.patch.object(hub.Handler, 'prepare_ssh_askpass', return_value=askpass), \
mock.patch.object(hub.subprocess, 'Popen', return_value=process):
with self.assertRaisesRegex(RuntimeError, 'нет ответа за 10 секунд'):
self.manager._ssh({'ssh_entry_port': 19080}, 'echo ready', 'secret')
process.kill.assert_called_once()
self.assertEqual(process.communicate.call_count, 2)
self.assertIsNone(self.manager.transport)
self.assertFalse(askpass.exists())
def test_stop_interrupts_inflight_ssh_preflight_before_any_installation(self):
entered, killed = threading.Event(), threading.Event()
process = mock.Mock()
process.returncode = -9
process.poll.side_effect = lambda: -9 if killed.is_set() else None
process.kill.side_effect = killed.set
def communicate(*args, **kwargs):
entered.set()
killed.wait(2)
return '', 'SSH connection closed'
process.communicate.side_effect = communicate
with mock.patch.object(hub.subprocess, 'Popen', return_value=process) as spawn:
task = self.manager.start('echo install', '', 'request-cancel-transport')
self.assertTrue(entered.wait(2))
self.manager.cancel(task)
job = self.finish()
self.assertTrue(killed.is_set())
self.assertEqual(spawn.call_count, 1)
self.assertEqual([x['state'] for x in job['items']], ['cancelled', 'skipped'])
def test_missing_launch_and_router_side_timeout_do_not_hang_queue(self):
for first_state in ['missing', 'timeout']:
with self.subTest(first_state=first_state):
def ssh(row, script, password):
if 'OWRT_UPDATE_READY=1' in script: return 'OWRT_UPDATE_READY=1\n'
if 'exec setsid /bin/sh' in script: return '' if first_state == 'missing' else 'OWRT_UPDATE_STARTED=1\n'
if 'OWRT_UPDATE_CANCEL=1' in script: return 'OWRT_UPDATE_CANCEL=1\n'
if row['id'] == 'node-2': return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=0\n'
if first_state == 'missing': return 'OWRT_UPDATE_STATE=missing\n'
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_REASON=timeout\nOWRT_UPDATE_RC=124\n'
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
self.manager.start('echo install', '', 'request-result-' + first_state)
job = self.finish()
self.assertNotEqual(job['items'][0]['state'], 'success')
self.assertEqual(job['items'][1]['state'], 'success')
def test_missing_tunnel_and_invalid_input(self):
with self.app.conn() as conn:
@@ -179,6 +271,112 @@ class UpdatesTests(unittest.TestCase):
self.assertIn('строка с ключом или паролем скрыта', safe)
self.assertIn('Connection closed', safe)
def test_missing_router_tool_is_a_confirmed_preflight_failure_and_next_runs(self):
launches = []
def ssh(row, script, password):
if 'OWRT_UPDATE_READY=1' in script:
name = 'АНТОН ВПН' if row['id'] == 'main' else 'Второй роутер'
response = 'OWRT_UPDATE_NAME_TEXT=' + name + '\n'
if row['id'] == 'main':
return response + ('OWRT_UPDATE_STATE=not_started\nOWRT_UPDATE_ERROR='
'На роутере отсутствует утилита setsid. Команда обновления не запускалась.\n')
return response + 'OWRT_UPDATE_READY=1\n'
if 'exec setsid /bin/sh' in script:
launches.append(row['id'])
return 'OWRT_UPDATE_STARTED=1\n'
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=0\n'
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
self.manager.start('echo install', '', 'request-tools-missing')
job = self.finish()
self.assertEqual(launches, ['node-2'])
self.assertEqual([item['state'] for item in job['items']], ['error', 'success'])
self.assertEqual(job['items'][0]['name'], 'АНТОН ВПН')
self.assertIn('setsid', job['items'][0]['message'])
self.assertIn('не запускалась', job['items'][0]['message'])
self.assertNotIn('не подтвержден', job['items'][0]['message'].lower())
def test_staging_failure_does_not_poll_or_claim_uncertain_execution(self):
calls = []
def ssh(row, script, password):
calls.append(script)
if 'OWRT_UPDATE_READY=1' in script:
return 'OWRT_UPDATE_READY=1\nOWRT_UPDATE_NAME_TEXT=АНТОН ВПН\n'
if 'exec setsid /bin/sh' in script:
return ('OWRT_UPDATE_STATE=not_started\nOWRT_UPDATE_ERROR='
'Подготовка задачи на роутере завершилась ошибкой, rc=1. Команда обновления не запускалась.\n')
self.fail('A known prelaunch failure must not be polled or cancelled')
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
self.manager.start('echo install', '', 'request-stage-failure')
job = self.finish()
self.assertEqual(len(calls), 4)
self.assertTrue(all(item['state'] == 'error' for item in job['items']))
def test_banner_timeout_explains_stage_without_claiming_a_wrong_password(self):
launches = []
def ssh(row, script, password):
if row['id'] == 'main':
raise RuntimeError('Connection timed out during banner exchange\nConnection to 127.0.0.1 port 19080 timed out')
if 'OWRT_UPDATE_READY=1' in script: return 'OWRT_UPDATE_READY=1\n'
if 'exec setsid /bin/sh' in script:
launches.append(row['id'])
return 'OWRT_UPDATE_STARTED=1\n'
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=0\n'
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
self.manager.start('echo install', 'secret', 'request-banner-timeout')
job = self.finish()
self.assertEqual(launches, ['node-2'])
self.assertEqual([item['state'] for item in job['items']], ['error', 'success'])
message = job['items'][0]['message']
self.assertIn('SSH не прислал приветствие', message)
self.assertIn('До проверки пароля дело не дошло', message)
self.assertIn('Connection timed out during banner exchange', message)
self.assertIn('Команда обновления не запускалась', message)
def test_plain_text_protocol_does_not_parse_installer_output_as_metadata(self):
output = 'строка\nOWRT_UPDATE_RC=0\nOWRT_UPDATE_STATE=done\n'
fields = hub.router_update_fields('OWRT_UPDATE_STATE=running\nOWRT_UPDATE_OUTPUT_TEXT=\n' + output)
self.assertEqual(fields['STATE'], 'running')
self.assertNotIn('RC', fields)
self.assertEqual(fields['OUTPUT'], output)
fields = hub.router_update_fields('OWRT_UPDATE_NAME_TEXT=АНТОН ВПН\nOWRT_UPDATE_READY=1\n')
self.assertEqual(fields['NAME'], 'АНТОН ВПН')
def test_preflight_reads_uci_name_even_if_launch_fails(self):
def ssh(row, script, password):
if 'OWRT_UPDATE_READY=1' in script:
return 'OWRT_UPDATE_NAME_TEXT=АНТОН ВПН\nOWRT_UPDATE_READY=1\n'
return 'OWRT_UPDATE_STATE=not_started\nOWRT_UPDATE_ERROR=Недостаточно места; команда не запускалась\n'
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
self.manager.start('echo install', '', 'request-uci-name-read')
job = self.finish()
self.assertTrue(all(item['name'] == 'АНТОН ВПН' for item in job['items']))
self.assertEqual([item['id'] for item in job['items']], ['main', 'node-2'])
self.assertEqual(hub.router_update_name({'id': 'node-5', 'name': 'Роутер node-5'}),
'Имя роутера не получено')
self.assertEqual(hub.router_update_name({'id': 'node-5', 'custom_name': 'Имя карандашом'}, 'АНТОН ВПН'),
'АНТОН ВПН')
self.assertEqual(hub.router_update_name({'id': 'node-5', 'custom_name': 'Имя карандашом',
'status_json': '{"name":"АНТОН ВПН"}'}), 'АНТОН ВПН')
def test_refresh_cannot_clear_running_or_newer_queue(self):
entered, release = threading.Event(), threading.Event()
def ssh(row, script, password):
if 'OWRT_UPDATE_READY=1' in script:
entered.set(); release.wait(2)
return 'OWRT_UPDATE_READY=1\n'
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=0\n'
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
task = self.manager.start('echo install', '', 'request-refresh-active')
self.assertTrue(entered.wait(2))
self.manager.clear_finished(task)
self.assertEqual(self.manager.snapshot()['id'], task)
release.set()
self.finish()
self.manager.clear_finished('stale-browser-job')
self.assertEqual(self.manager.snapshot()['id'], task)
self.manager.clear_finished(task)
self.assertIsNone(self.manager.snapshot())
def test_owner_only_api_csrf_and_page_default_hosting(self):
class Quiet(hub.Handler):
def log_message(self, *args): pass
@@ -208,6 +406,13 @@ class UpdatesTests(unittest.TestCase):
self.assertIn(self.manager.csrf, page)
payload = {'command': 'echo install', 'ssh_password': '', 'request_id': 'request-1234567897'}
self.assertEqual(request('/api/router-updates/start', payload)[0], 403)
self.assertEqual(request('/api/router-updates/refresh', {'id': ''})[0], 403)
status, body = request('/api/router-updates')
self.assertEqual(status, 200)
self.assertIn('online', json.loads(body)['routers'][0])
with self.app.conn() as conn:
conn.execute('update routers set last_seen=?, status_json=? where id=?',
(hub.now_ts(), json.dumps({'name':'АНТОН ВПН', 'xray':'running'}), 'main'))
self.assertEqual(request('/api/router-updates/start', payload, csrf=self.manager.csrf, origin='https://attacker.example')[0], 403)
def ssh(row, script, password):
if 'OWRT_UPDATE_READY=1' in script: return 'OWRT_UPDATE_READY=1\n'
@@ -217,6 +422,18 @@ class UpdatesTests(unittest.TestCase):
self.assertTrue(all(item['state'] == 'success' for item in self.finish()['items']))
_, body = request('/api/router-updates')
self.assertNotIn('ssh_password', body)
data = json.loads(body)
self.assertTrue(data['routers'][0]['online'])
self.assertEqual(data['routers'][0]['xray'], 'running')
self.assertIsNotNone(data['job'])
with self.app.conn() as conn:
conn.execute('update routers set last_seen=? where id=?', (hub.now_ts()-10000, 'main'))
status, body = request('/api/router-updates/refresh', {'id': data['job']['id']}, csrf=self.manager.csrf)
self.assertEqual(status, 200)
data = json.loads(body)
self.assertIsNone(data['job'])
self.assertFalse(data['routers'][0]['online'])
self.assertEqual(data['routers'][0]['name'], 'АНТОН ВПН')
finally:
server.shutdown(); server.server_close(); thread.join(3)
@@ -229,16 +446,27 @@ class RouterTaskTests(unittest.TestCase):
root = Path(folder).as_posix()
task_dir = root + '/task'
env = {**os.environ, 'PATH': str(Path(shell).parent) + os.pathsep + os.environ['PATH']}
# MSYS lacks a setsid command, but its Perl exposes the actual POSIX
# syscall. Keep separate process groups, including real cancellation.
setsid = Path(folder) / 'setsid'
setsid.write_text('#!/usr/bin/perl\nuse POSIX (); POSIX::setsid() >= 0 or die "setsid: $!"; exec @ARGV; die "exec: $!";\n', encoding='utf-8', newline='\n')
env['PATH'] = folder + os.pathsep + env['PATH']
# Match minimal OpenWrt builds: invoking base64 must fail, even if
# it is installed on the test host. Update transport needs none.
Path(folder, 'base64').write_text('#!/bin/sh\necho "base64: applet not found" >&2\nexit 127\n', encoding='ascii', newline='\n')
Path(folder, 'uci').write_text("#!/bin/sh\nprintf '%s\\n' 'АНТОН ВПН'\n", encoding='utf-8', newline='\n')
def run(script):
file = Path(folder) / 'invoke.sh'
file.write_text(script.replace('/tmp/owrt-remote-update-fixture', task_dir), encoding='utf-8', newline='\n')
return subprocess.run([shell, file.as_posix()], capture_output=True, text=True, env=env, timeout=8)
return subprocess.run([shell, file.as_posix()], capture_output=True, text=True,
encoding='utf-8', errors='replace', env=env, timeout=15)
preflight = hub.router_update_fields(run(hub.router_update_preflight_script()).stdout)
self.assertEqual(preflight['READY'], '1')
self.assertEqual(preflight['NAME'], 'АНТОН ВПН')
launch = hub.router_update_launch_script('fixture', 'i=0; while [ "$i" -lt 1200 ]; do echo "A line of output to keep in a bounded tail only"; i=$((i+1)); done; false | cat')
# MSYS has FIFO/process support but no setsid applet. Linux OpenWrt
# provides setsid; only that platform-specific syscall is adapted.
result = run(launch.replace('command -v setsid', 'command -v sh').replace('exec setsid /bin/sh', 'exec /bin/sh'))
result = run(launch)
self.assertEqual(result.returncode, 0, result.stderr)
deadline = time.monotonic() + 5
deadline = time.monotonic() + 12
while not (Path(task_dir)/'result').exists() and time.monotonic() < deadline:
time.sleep(.05)
polled = run(hub.router_update_poll_script('fixture'))
@@ -252,8 +480,8 @@ class RouterTaskTests(unittest.TestCase):
self.assertFalse(Path(task_dir).exists())
# A successful command yields rc=0 only after completion, and a
# replay of the same task cannot execute that command twice.
good = hub.router_update_launch_script('fixture', 'echo run >>"' + root + '/runs"; echo installed')
adapted = good.replace('command -v setsid', 'command -v sh').replace('exec setsid /bin/sh', 'exec /bin/sh')
good = hub.router_update_launch_script('fixture', 'echo run >>"' + root + '/runs"; printf \'%s\\n\' \'АНТОН ВПН\'')
adapted = good
self.assertEqual(run(adapted).returncode, 0)
self.assertEqual(run(adapted).returncode, 0)
deadline = time.monotonic() + 5
@@ -261,16 +489,74 @@ class RouterTaskTests(unittest.TestCase):
time.sleep(.05)
fields = hub.router_update_fields(run(hub.router_update_poll_script('fixture')).stdout)
self.assertEqual(fields['RC'], '0')
self.assertIn('АНТОН ВПН', fields['OUTPUT'])
self.assertEqual((Path(folder)/'runs').read_text().splitlines(), ['run'])
self.assertEqual(run(hub.router_update_poll_script('fixture', cleanup=True)).returncode, 0)
# A short line must be visible while the installer is still alive.
def wait_for(check, timeout=12):
deadline = time.monotonic() + timeout
while time.monotonic() < deadline:
if check(): return
time.sleep(.05)
self.fail('Detached task did not reach expected state')
task = Path(task_dir)
run(hub.router_update_launch_script('fixture', 'echo small-progress; sleep 20; echo must-not-run >>"' + root + '/after-cancel"'))
wait_for(lambda: (task/'output').exists() and 'small-progress' in (task/'output').read_text())
self.assertFalse((task/'result').exists())
self.assertIn('OWRT_UPDATE_CANCEL=1', run(hub.router_update_cancel_script('fixture')).stdout)
wait_for(lambda: (task/'result').exists())
fields = hub.router_update_fields(run(hub.router_update_poll_script('fixture')).stdout)
self.assertEqual(fields['RC'], '130')
self.assertEqual(fields['REASON'], 'cancelled')
self.assertFalse((Path(folder)/'after-cancel').exists())
run(hub.router_update_poll_script('fixture', cleanup=True))
run(hub.router_update_launch_script('fixture', 'echo must-not-run'))
self.assertFalse((task/'command.sh').exists(), 'A delayed launch after stop must remain blocked')
(task/'cancel').unlink()
task.rmdir()
# A lost VPS connection cannot disable the router's own watchdog.
run(hub.router_update_launch_script('fixture', 'sleep 20', timeout=1))
wait_for(lambda: (task/'result').exists())
fields = hub.router_update_fields(run(hub.router_update_poll_script('fixture')).stdout)
self.assertEqual(fields['RC'], '124')
self.assertEqual(fields['REASON'], 'timeout')
run(hub.router_update_poll_script('fixture', cleanup=True))
# A daemon inheriting stdout must not hold result publication open.
command = 'sleep 12 & echo $! >"' + root + '/inherited-pid"; echo installed'
run(hub.router_update_launch_script('fixture', command))
wait_for(lambda: (task/'result').exists(), timeout=8)
fields = hub.router_update_fields(run(hub.router_update_poll_script('fixture')).stdout)
self.assertEqual(fields['RC'], '0')
run('kill "$(cat "' + root + '/inherited-pid")" 2>/dev/null || true\n')
run(hub.router_update_poll_script('fixture', cleanup=True))
# A cancellation arriving before launch cannot start an installer.
run(hub.router_update_cancel_script('fixture'))
run(hub.router_update_launch_script('fixture', 'echo must-not-run'))
self.assertFalse((task/'command.sh').exists())
self.assertFalse((task/'pid').exists())
self.assertEqual(hub.router_update_fields(run(hub.router_update_poll_script('fixture')).stdout)['RC'], '130')
run(hub.router_update_poll_script('fixture', cleanup=True))
(task/'cancel').unlink()
task.rmdir()
# All generated shell scripts must also parse under real BusyBox ash.
busybox = ROOT / '.test-output/busybox/busybox64.exe'
script = Path(folder)/'syntax.sh'
# Execute the generated command decoder under BusyBox ash itself,
# including UTF-8 bytes, without requiring any base64 applet.
decode = next(line for line in good.splitlines() if "printf '%b'" in line)
script.write_text(decode.split(' >"$job/command.sh"', 1)[0], encoding='ascii', newline='\n')
decoded = subprocess.run([str(busybox), 'ash', str(script)], capture_output=True)
self.assertEqual(decoded.returncode, 0, decoded.stderr)
self.assertEqual(decoded.stdout, ('echo run >>"' + root + '/runs"; printf \'%s\\n\' \'АНТОН ВПН\'').encode('utf-8'))
script.write_text(launch, encoding='utf-8', newline='\n')
self.assertEqual(subprocess.run([str(busybox), 'ash', '-n', str(script)], capture_output=True).returncode, 0)
script.write_text(hub.router_update_cancel_script('fixture'), encoding='utf-8', newline='\n')
self.assertEqual(subprocess.run([str(busybox), 'ash', '-n', str(script)], capture_output=True).returncode, 0)
runner = launch.split("<<'OWRT_UPDATE_RUNNER'\n", 1)[1].split('\nOWRT_UPDATE_RUNNER', 1)[0]
script.write_text(runner, encoding='utf-8', newline='\n')
self.assertEqual(subprocess.run([str(busybox), 'ash', '-n', str(script)], capture_output=True).returncode, 0)
script.write_text(hub.router_update_preflight_script(), encoding='utf-8', newline='\n')
self.assertEqual(subprocess.run([str(busybox), 'ash', '-n', str(script)], capture_output=True).returncode, 0)
if __name__ == '__main__': unittest.main()
+34 -1
View File
@@ -3,6 +3,7 @@ import os
from pathlib import Path
import shutil
import subprocess
import sys
import tempfile
import unittest
@@ -20,7 +21,7 @@ class RouterUpdatesDeployTests(unittest.TestCase):
self.target = self.root / 'hub.py'
self.previous = b'print("previous Hub")\n'
self.target.write_bytes(self.previous)
self.backup = self.root / 'hub.py.bak-before-router-updates-v117'
self.backup = self.root / 'hub.py.bak-before-router-updates-control-v117'
source = (ROOT / 'vps/deploy-router-updates.ps1').read_text(encoding='utf-8')
self.script = source.split("$RemoteScript = @'\n", 1)[1].split("\n'@", 1)[0]
self.script = self.script.replace('/opt/owrt-remote/owrt-remote-hub.py', self.target.as_posix())
@@ -76,6 +77,38 @@ sleep() { return 0; }
self.assertNotEqual(self.deploy('Rollback').returncode, 0)
self.assertEqual(self.target.read_bytes(), self.previous)
@unittest.skipUnless(os.name == 'nt' and shutil.which('powershell.exe'),
'Windows PowerShell required')
def test_windows_powershell_preserves_remote_validation(self):
deploy = ROOT / 'vps/deploy-router-updates.ps1'
# Without a BOM, Windows PowerShell 5.1 decodes source using the ANSI
# code page. Keep the deployment source ASCII and test the actual
# PowerShell-to-UTF-8 staging boundary, not just the extracted heredoc.
self.assertTrue(deploy.read_bytes().isascii())
result = subprocess.run(
['powershell.exe', '-NoProfile', '-ExecutionPolicy', 'Bypass',
'-File', str(deploy), '-Vps', 'unused-local-test', '-PrepareOnly'],
capture_output=True, encoding='utf-8', errors='replace', timeout=25,
env={**os.environ, 'TEMP': str(self.root), 'TMP': str(self.root)})
self.assertEqual(result.returncode, 0, result.stderr)
prepared = next(line.removeprefix('Prepared only: ').strip()
for line in result.stdout.splitlines()
if line.startswith('Prepared only: '))
stage = Path(prepared)
self.assertEqual(stage.resolve().parent, self.root.resolve())
self.assertTrue(stage.name.startswith('owrt-router-updates-'))
remote = stage.joinpath('run.sh').read_bytes()
self.assertTrue(remote.isascii())
self.assertNotIn(b'\r', remote)
expected_hub = (ROOT / 'vps/owrt-remote-hub.py').read_bytes().replace(b'\r\n', b'\n')
self.assertEqual(stage.joinpath('hub.py').read_bytes(), expected_hub)
validation = remote.decode('ascii').split("<<'PY'\n", 1)[1].split('\nPY\n', 1)[0]
checked = subprocess.run([sys.executable, '-', str(stage / 'hub.py')],
input=validation, encoding='utf-8',
capture_output=True, timeout=10)
self.assertEqual(checked.returncode, 0, checked.stderr)
self.assertIn('Candidate validation OK', checked.stdout)
if __name__ == '__main__':
unittest.main()
+64 -9
View File
@@ -18,20 +18,32 @@ with tempfile.TemporaryDirectory() as state:
out.joinpath('dashboard.html').write_text(hub.dashboard_html([],'owner',auth_bootstrap={'username':'owner','is_owner':True}),encoding='utf-8')
print(hub.RAW_REPO_BASE)
`], {env:{...process.env,PYTHONIOENCODING:'utf-8'},encoding:'utf-8'}).trim();
let job = null, starts = [], polls = 0;
let job = null, routers = [], starts = [], polls = 0;
function data() {return {ok:true,job,routers};}
function send(res, data) {res.setHeader('Content-Type','application/json');res.end(JSON.stringify(data));}
const server = http.createServer((req,res)=>{
const url=new URL(req.url,'http://localhost');
if(url.pathname==='/api/router-updates') {polls++;return send(res,{job,routers:[{id:'main',name:'Советская 30'}]});}
if(url.pathname==='/api/router-updates') {polls++;return send(res,data());}
if(url.pathname==='/api/router-updates/refresh') {
assert.equal(req.headers['x-router-update-csrf'],'test-csrf');
let body='';req.on('data',chunk=>body+=chunk);req.on('end',()=>{
const payload=JSON.parse(body);
if(job&&job.id===payload.id&&job.state!=='running')job=null;
send(res,data());
});return;
}
if(url.pathname==='/api/router-updates/start') {
assert.equal(req.headers['x-router-update-csrf'],'test-csrf');
let body='';req.on('data',data=>body+=data);req.on('end',()=>{
const payload=JSON.parse(body);starts.push(payload);
job={id:'test-task',request_id:payload.request_id,state:'running',cancel_requested:false,items:[{id:'main',name:'Советская 30',state:'running',message:'Установка выполняется',output:'one\ntwo'}]};
send(res,{ok:true,job});
job={id:'test-task',request_id:payload.request_id,state:'running',cancel_requested:false,items:[{id:'node-5',name:'АНТОН ВПН',state:'running',message:'Установка выполняется',output:'one\ntwo'}]};
send(res,data());
});return;
}
if(url.pathname==='/api/router-updates/cancel') {job.cancel_requested=true;return send(res,{job});}
if(url.pathname==='/api/router-updates/cancel') {
job.cancel_requested=true;job.state='finished';job.items[0].state='cancelled';
job.items[0].message='Остановка на роутере подтверждена';return send(res,data());
}
if(url.pathname==='/api/auth/meta')return send(res,{username:'owner',is_owner:true,users:[],sessions:[],captcha:{mode:'digits'}});
if(url.pathname.startsWith('/api/'))return send(res,{});
res.setHeader('Content-Type','text/html; charset=utf-8');
@@ -43,13 +55,19 @@ const server = http.createServer((req,res)=>{
try {
for(const mobile of [false,true]) {
job=null;
routers=[{id:'node-5',name:'АНТОН ВПН',online:true,last_seen:Math.floor(Date.now()/1000),xray:'running'}];
const page=await browser.newPage({viewport:mobile?{width:390,height:844}:{width:1280,height:900},isMobile:mobile,hasTouch:mobile});
const errors=[];page.on('pageerror',error=>errors.push(error.message));
const base=`http://127.0.0.1:${server.address().port}`;
await page.goto(base+'/router-updates/');
await page.waitForFunction(()=>!document.getElementById('start').disabled);
assert.equal(await page.locator('.router strong').textContent(),'АНТОН ВПН');
assert.equal(await page.locator('.router small').textContent(),'ID: node-5');
assert.equal(await page.locator('#countTotal').textContent(),'1');
assert.equal(await page.locator('#countSuccess').textContent(),'0');
assert.equal(await page.locator('.live-badge').textContent(),'● Онлайн');
assert.equal(await page.locator('#command').inputValue(),'wget -O - "'+defaultRepo+'/install.sh?v=$(date +%s)" | sh');
const command='wget -O - "https://repo.example/install.sh?v=$(date +%s)" | sh';
const command=mobile?'https://another.example/updates/router.sh?v=2&from=hub':'wget -O - "https://repo.example/install.sh?v=$(date +%s)" | sh';
await page.locator('#command').fill(command);
await page.locator('#sshPassword').fill('test-password');
await page.locator('#start').click();
@@ -58,6 +76,7 @@ const server = http.createServer((req,res)=>{
assert.equal(await page.locator('#sshPassword').inputValue(),'');
assert.equal(await page.locator('#start').isDisabled(),true);
assert.equal(await page.locator('#cancel').isEnabled(),true);
assert.equal(await page.locator('#countActive').textContent(),'1');
await page.locator('summary').click();
job.items[0].output+='\nupdated';
await page.waitForFunction(()=>document.querySelector('pre').textContent.includes('updated'));
@@ -66,19 +85,55 @@ const server = http.createServer((req,res)=>{
await page.waitForFunction(()=>document.getElementById('cancel').disabled===false);
const count=starts.length;
assert.equal(await page.locator('#start').isDisabled(),true);
routers[0].online=false;routers[0].xray='stopped';
await page.locator('#refreshRouters').click();
await page.waitForFunction(()=>document.getElementById('status').textContent.includes('Статусы обновлены'));
assert.equal(job.state,'running');
assert.equal(starts.length,count);
assert.equal(await page.locator('.live-badge').textContent(),'● Офлайн');
assert.equal(await page.locator('#countActive').textContent(),'1');
assert.equal(await page.locator('#start').isDisabled(),true);
if(mobile) {
await page.locator('#cancel').click();
await page.waitForFunction(()=>document.getElementById('status').textContent.includes('остальные роутеры будут пропущены'));
await page.waitForFunction(()=>document.querySelector('.router strong').textContent==='Остановлено — АНТОН ВПН');
assert.equal(job.cancel_requested,true);
assert.equal(await page.locator('#cancel').isDisabled(),true);
assert.equal(await page.locator('#cancel').textContent(),'Остановить всё');
}
job.state='finished';job.items[0].state='success';job.items[0].message='Установка успешно завершена, rc=0';
await page.waitForFunction(()=>document.getElementById('status').textContent.includes('Очередь завершена'));
assert.equal(await page.locator('.router strong').textContent(),'Успешно — Советская 30');
await page.waitForFunction(()=>document.querySelector('.router strong').textContent==='Успешно — АНТОН ВПН');
assert.equal(await page.locator('.router strong').textContent(),'Успешно — АНТОН ВПН');
assert.equal(await page.locator('#countSuccess').textContent(),'1');
assert.equal(await page.locator('#queueProgress').getAttribute('aria-valuenow'),'100');
await page.locator('#command').fill(command);
assert.equal(starts.length,count);
assert.equal(await page.evaluate(()=>document.documentElement.scrollWidth<=innerWidth),true);
assert.equal(await page.evaluate(()=>JSON.stringify({...localStorage,...sessionStorage}).includes('test-password')),false);
await page.screenshot({path:path.join(root,mobile?'mobile.png':'desktop.png'),fullPage:true});
// Match the user's example exactly, including all finished outcomes.
job.items=Array.from({length:35},(_,i)=>({id:'node-'+(i+1),name:'Роутер '+(i+1),state:i<21?'success':i<25?'error':i<26?'unknown':i<27?'cancelled':'skipped',message:'Итог установки'}));
await page.waitForFunction(()=>document.getElementById('countTotal').textContent==='35');
for(const [key,value] of Object.entries({Success:21,Error:4,Unknown:1,Cancelled:1,Skipped:8,Total:35,Active:0,Queued:0})) {
assert.equal(await page.locator('#count'+key).textContent(),String(value));
}
assert.equal(await page.locator('#queueProgress').getAttribute('aria-valuenow'),'100');
await page.locator('.queue-dashboard').screenshot({path:path.join(root,mobile?'mobile-summary.png':'desktop-summary.png')});
routers=[{id:'node-5',name:'АНТОН ВПН',online:true,last_seen:Math.floor(Date.now()/1000),xray:'running'},{id:'node-36',name:'Новый роутер',online:false,last_seen:0,xray:'unknown'}];
await page.locator('#refreshRouters').click();
await page.waitForFunction(()=>document.getElementById('status').textContent.includes('Можно запустить новую очередь'));
assert.equal(job,null);
assert.equal(starts.length,count,'Refresh must never execute an update');
assert.equal(await page.locator('.router').count(),2);
assert.equal(await page.locator('.router strong').first().textContent(),'АНТОН ВПН');
assert.equal(await page.locator('#countTotal').textContent(),'2');
assert.equal(await page.locator('#countSuccess').textContent(),'0');
assert.equal(await page.locator('#start').isEnabled(),true);
assert.equal(await page.locator('#command').inputValue(),command);
await page.reload();
await page.waitForFunction(()=>document.getElementById('countTotal').textContent==='2');
assert.equal(await page.locator('#countSuccess').textContent(),'0');
assert.equal(await page.evaluate(()=>document.documentElement.scrollWidth<=innerWidth),true);
assert.deepEqual(errors,[]);
await page.close();
}
@@ -89,6 +144,6 @@ const server = http.createServer((req,res)=>{
assert.equal(await link.getAttribute('href'),'/router-updates/');
assert.match(await link.getAttribute('rel'),/noopener/);
await dashboard.close();
console.log('Router updates desktop/mobile UI, polling, reload, privacy and new-tab link: PASS');
console.log('Router updates desktop/mobile dashboard, live statuses, refresh, polling, reload, privacy and new-tab link: PASS');
} finally {await browser.close();await new Promise(resolve=>server.close(resolve));}
})().catch(error=>{console.error(error);process.exitCode=1;});
+10 -1
View File
@@ -15,7 +15,7 @@ $RemoteScript = @'
set -eu
stage=/tmp/__UPLOAD_NAME__
target=/opt/owrt-remote/owrt-remote-hub.py
backup=/opt/owrt-remote/owrt-remote-hub.py.bak-before-router-updates-v117
backup=/opt/owrt-remote/owrt-remote-hub.py.bak-before-router-updates-control-v117
candidate=$target.new-__UPLOAD_NAME__
changed=0
@@ -63,6 +63,15 @@ required = (
"def router_updates_api(self, action=''):",
"X-Router-Update-CSRF",
"router_update_launch_script",
"def normalize_router_update_command(command):",
"def router_update_cancel_script(task_id):",
"def router_update_preflight_script():",
"OWRT_UPDATE_NAME_TEXT=",
"OWRT_UPDATE_OUTPUT_TEXT=",
"refreshRouters",
"queue-dashboard",
"def clear_finished(self, job_id):",
"\u041e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0432\u0441\u0451",
"routerUpdatesGroup",
"app.router_updates.stop()",
)
+398 -78
View File
@@ -20,6 +20,7 @@ import re
import secrets
import select
import signal
import shlex
import socket
import ssl
import sqlite3
@@ -12224,39 +12225,56 @@ def router_updates_html(csrf):
*{box-sizing:border-box}body{min-height:100vh;margin:0;background:#07040f;background-image:radial-gradient(circle at 16% 10%,#a855f740,transparent 35%),linear-gradient(145deg,#07040f,#120a24 54%,#05030a);background-attachment:fixed;color:#f7f2ff;font:14px/1.5 system-ui,sans-serif}
.wrap{max-width:1100px;margin:auto;padding:20px}.panel{margin-bottom:14px;padding:18px;border:1px solid var(--line);border-radius:12px;background:#191226e8}.head,.actions{display:flex;align-items:center;justify-content:space-between;gap:10px;flex-wrap:wrap}h1{font-size:22px;margin:0}h2{font-size:16px;margin:0 0 10px}.hint{color:var(--muted);font-size:13px}.note{margin:14px 0;padding:10px 12px;border:1px solid #f59e0b70;border-left:3px solid #f59e0b;border-radius:8px;background:#f59e0b12;color:#fde68a}
label{display:block;margin:14px 0 6px;font-weight:700}textarea,input{display:block;width:100%;min-width:0;border:1px solid var(--line);border-radius:8px;background:#0d0917;color:#f7f2ff;padding:11px;font:14px/1.5 ui-monospace,Consolas,monospace}textarea{min-height:110px;resize:vertical}input{max-width:480px}button,.btn{display:inline-flex;align-items:center;justify-content:center;min-height:42px;border:1px solid var(--line);border-radius:8px;padding:9px 14px;background:#393044;color:#f7f2ff;font:700 13px system-ui;cursor:pointer;text-decoration:none}.primary{background:#7c3aed}button:disabled{opacity:.5;cursor:default}.actions{justify-content:flex-start;margin-top:16px}.ok{color:#86efac}.error{color:#fda4af}.warn{color:#fde68a}#status{margin:12px 0;overflow-wrap:anywhere}.router{border-top:1px solid var(--line);padding:13px 0}.router:first-child{border-top:0}.router strong{display:block;overflow-wrap:anywhere}.router p{margin:5px 0;overflow-wrap:anywhere}.router small{color:var(--muted)}pre{max-height:260px;overflow:auto;white-space:pre-wrap;overflow-wrap:anywhere;background:#0d0917;border:1px solid var(--line);border-radius:8px;padding:10px;font:12px/1.5 ui-monospace,Consolas,monospace}summary{cursor:pointer;color:var(--muted)}
@media(max-width:680px){.wrap{padding:10px}.panel{padding:12px}.head{align-items:stretch;flex-direction:column}h1{font-size:19px}.actions{display:grid;grid-template-columns:1fr}.btn,button{width:100%}input{max-width:none}body{background-attachment:scroll}}
.head-actions{display:flex;gap:8px;flex-wrap:wrap}.queue-dashboard{margin:18px 0 14px;padding:18px;border:1px solid var(--line);border-radius:12px;background:linear-gradient(120deg,#30203e90,#141521b0)}.queue-heading{display:flex;align-items:center;justify-content:space-between;gap:12px;margin-bottom:12px}.queue-heading h2{margin:0;font-size:17px}.queue-badge{padding:4px 10px;border:1px solid #a78bfa50;border-radius:20px;background:#a78bfa12;color:#d8c8ff;font-size:12px;font-weight:700}.progress-label{display:flex;justify-content:space-between;gap:12px;margin-bottom:7px;color:var(--muted);font-size:12px}.progress-track{height:7px;overflow:hidden;border-radius:8px;background:#ffffff0b}.progress-fill{height:100%;width:0;background:linear-gradient(90deg,#8b5cf6,#38bdf8);border-radius:8px;transition:width .25s}.metrics{display:grid;grid-template-columns:repeat(4,minmax(0,1fr));gap:10px;margin-top:16px}.metric{--accent:#c4b5fd;min-width:0;padding:13px 12px;border:1px solid #ffffff12;border-top:2px solid var(--accent);border-radius:9px;background:#100b1b90}.metric[data-state=success]{--accent:#86efac}.metric[data-state=error]{--accent:#fda4af}.metric[data-state=unknown]{--accent:#fcd34d}.metric[data-state=cancelled]{--accent:#fdba74}.metric[data-state=skipped]{--accent:#b9adc9}.metric[data-state=active]{--accent:#7dd3fc}.metric span{display:block;color:var(--muted);font-size:12px;overflow-wrap:anywhere}.metric strong{display:block;margin-top:5px;color:var(--accent);font-size:27px;line-height:1.1;font-variant-numeric:tabular-nums}.router-live{display:flex;align-items:center;gap:7px;flex-wrap:wrap;margin:7px 0;color:var(--muted);font-size:12px}.live-badge{padding:2px 8px;border-radius:20px;background:#ffffff08;border:1px solid #ffffff16}.live-badge.online{color:#86efac;border-color:#86efac40;background:#86efac0a}.live-badge.offline{color:#fda4af;border-color:#fda4af40;background:#fda4af0a}
@media(max-width:680px){.wrap{padding:10px}.panel{padding:12px}.head{align-items:stretch;flex-direction:column}h1{font-size:19px}.actions,.head-actions{display:grid;grid-template-columns:1fr}.btn,button{width:100%}input{max-width:none}body{background-attachment:scroll}.queue-dashboard{padding:12px}.queue-heading{align-items:flex-start}.queue-heading h2{font-size:16px}.metrics{grid-template-columns:repeat(2,minmax(0,1fr));gap:8px}.metric{padding:12px}.metric strong{font-size:26px}}
</style></head><body><main class="wrap">
<section class="panel"><div class="head"><h1>Обновить все роутеры разом</h1><a class="btn" href="/">Вернуться в Hub</a></div>
<section class="panel"><div class="head"><h1>Обновить все роутеры разом</h1><div class="head-actions"><button id="refreshRouters" type="button" disabled>Обновить список роутеров</button><a class="btn" href="/">Вернуться в Hub</a></div></div>
<blockquote class="note">Команда выполняется на роутерах по очереди через SSH. Укажи один общий SSH-пароль root. Для каждого роутера будет отдельный итог. Если туннель не работает, обновить этот роутер через VPS не получится.</blockquote>
<form id="updateForm"><label for="command">Команда обновления</label><textarea id="command" name="command" required maxlength="8192" autocapitalize="off" autocorrect="off" spellcheck="false">__COMMAND__</textarea>
<form id="updateForm"><label for="command">Ссылка или команда обновления</label><textarea id="command" name="command" required maxlength="8192" autocapitalize="off" autocorrect="off" spellcheck="false">__COMMAND__</textarea>
<div class="hint">Вставь прямую ссылку HTTP/HTTPS на установочный shell-скрипт с любого своего источника или полную команду. Для ссылки загрузка и запуск выполняются автоматически.</div>
<label for="sshPassword">Общий SSH-пароль root на роутерах</label><input id="sshPassword" name="ssh_password" type="password" autocomplete="off" autocapitalize="off" autocorrect="off" spellcheck="false" placeholder="Оставь пустым, если настроен SSH-ключ">
<div class="hint">Пароль используется только текущей очередью и не сохраняется на диске или в браузере. Закрытие вкладки не останавливает обновления. Перезапуск Hub прерывает очередь; начатая установка на роутере продолжает работать.</div>
<div class="actions"><button class="primary" id="start" type="submit" disabled>Обновить все по очереди</button><button id="cancel" type="button" disabled>Остановить очередь после текущего</button></div></form>
<div class="actions"><button class="primary" id="start" type="submit" disabled>Обновить все по очереди</button><button id="cancel" type="button" disabled>Остановить всё</button></div></form>
<div class="hint">«Остановить всё» сразу прекращает очередь и отправляет остановку текущей задачи. Уже внесённые установщиком изменения не откатываются. Если SSH недоступен, панель покажет, что остановка на роутере не подтверждена.</div>
<section class="queue-dashboard" aria-label="Статистика очереди"><div class="queue-heading"><h2 id="queueTitle">Список роутеров</h2><span class="queue-badge" id="queueBadge">Загрузка</span></div>
<div class="progress-label"><span id="progressText">Получаю данные…</span><span id="progressPercent">0%</span></div><div class="progress-track" id="queueProgress" role="progressbar" aria-label="Ход очереди" aria-valuemin="0" aria-valuemax="100" aria-valuenow="0"><div class="progress-fill" id="progressFill"></div></div>
<div class="metrics"><div class="metric" data-state="total"><span>Всего роутеров</span><strong id="countTotal">0</strong></div><div class="metric" data-state="active"><span>Обновляются</span><strong id="countActive">0</strong></div><div class="metric" data-state="queued"><span>Ожидают</span><strong id="countQueued">0</strong></div><div class="metric" data-state="success"><span>Успешно</span><strong id="countSuccess">0</strong></div><div class="metric" data-state="error"><span>Ошибок</span><strong id="countError">0</strong></div><div class="metric" data-state="unknown"><span>Не подтверждено</span><strong id="countUnknown">0</strong></div><div class="metric" data-state="cancelled"><span>Остановлено</span><strong id="countCancelled">0</strong></div><div class="metric" data-state="skipped"><span>Пропущено</span><strong id="countSkipped">0</strong></div></div></section>
<div id="status" role="status" aria-live="polite">Получаю список роутеров…</div></section>
<section class="panel"><h2>Ход обновления</h2><div id="results"></div></section>
<section class="panel"><h2>Роутеры</h2><div class="hint">Текущая связь определяется по Heartbeat. Итог установки показан отдельно и не означает, что роутер сейчас онлайн.</div><div id="results"></div></section>
</main><script>
(()=>{
const csrf=__CSRF__, endpoint='/api/router-updates', form=document.getElementById('updateForm'), command=document.getElementById('command'), password=document.getElementById('sshPassword'), start=document.getElementById('start'), cancel=document.getElementById('cancel'), status=document.getElementById('status'), results=document.getElementById('results');
let timer=null, pending=false, job=null, lastRender='', stopped=false, generation=0;
const refreshRouters=document.getElementById('refreshRouters');
let timer=null, pending=false, refreshing=false, job=null, routers=[], lastRender='', stopped=false, generation=0;
let requestId='';
const requestKey='owrt-router-update-request';
try{requestId=sessionStorage.getItem(requestKey)||'';}catch(error){}
function requestToken(){if(!requestId){const bytes=crypto.getRandomValues(new Uint8Array(16));requestId=Array.from(bytes,n=>n.toString(16).padStart(2,'0')).join('');try{sessionStorage.setItem(requestKey,requestId);}catch(error){}}return requestId;}
function forgetRequest(){requestId='';try{sessionStorage.removeItem(requestKey);}catch(error){}}
function controls(){const active=job&&job.state==='running';start.disabled=pending||active;command.disabled=pending||active;password.disabled=pending||active;cancel.disabled=pending||!active||job.cancel_requested;}
function controls(){const active=job&&job.state==='running';start.disabled=pending||active;command.disabled=pending||active;password.disabled=pending||active;cancel.disabled=pending||!active||job.cancel_requested;refreshRouters.disabled=pending;refreshRouters.textContent=refreshing?'Обновляю список…':'Обновить список роутеров';}
function dashboard(){
const items=job?job.items:[],count=state=>items.filter(x=>x.state===state).length,counts={Total:job?items.length:routers.length,Active:items.filter(x=>['connecting','running','cancelling'].includes(x.state)).length,Queued:count('queued'),Success:count('success'),Error:count('error'),Unknown:count('unknown'),Cancelled:count('cancelled'),Skipped:count('skipped')};
Object.entries(counts).forEach(([key,value])=>{document.getElementById('count'+key).textContent=value;});
const done=counts.Success+counts.Error+counts.Unknown+counts.Cancelled+counts.Skipped,percent=counts.Total&&job?Math.round(done*100/counts.Total):0;
document.getElementById('queueTitle').textContent=summary();document.getElementById('queueBadge').textContent=job?(job.state==='running'?(job.cancel_requested?'Остановка':'В работе'):'Завершена'):'Готово к запуску';
document.getElementById('progressText').textContent=job?'Обработано '+done+' из '+counts.Total:'Актуальный список · '+routers.filter(x=>x.online===true).length+' в сети';
document.getElementById('progressPercent').textContent=percent+'%';document.getElementById('progressFill').style.width=percent+'%';document.getElementById('queueProgress').setAttribute('aria-valuenow',percent);
}
function render(data){
job=data.job;controls();const items=job?job.items:(data.routers||[]), signature=JSON.stringify(items);if(signature===lastRender)return;lastRender=signature;
job=data.job;routers=data.routers||[];controls();dashboard();const items=job?job.items:routers, signature=JSON.stringify([items,routers]);if(signature===lastRender)return;lastRender=signature;
const open=new Map(Array.from(results.querySelectorAll('article')).map(row=>[row.dataset.router,{open:!!row.querySelector('details[open]'),top:row.querySelector('pre')?.scrollTop||0}])), fragment=document.createDocumentFragment();
items.forEach(item=>{const row=document.createElement('article'), title=document.createElement('strong'), detail=document.createElement('p'), id=document.createElement('small');
row.className='router';row.dataset.router=item.id;title.textContent=(item.state==='success'?'Успешно — ':item.state==='error'?'Ошибка — ':item.state==='unknown'?'Не подтверждено — ':'')+(item.name||item.id);title.className=item.state==='success'?'ok':item.state==='error'?'error':item.state==='unknown'?'warn':'';detail.textContent=item.message||'Готов к постановке в очередь';id.textContent=item.id;row.append(title,id,detail);
row.className='router';row.dataset.router=item.id;title.textContent=(item.state==='success'?'Успешно — ':item.state==='error'?'Ошибка — ':item.state==='unknown'?'Не подтверждено — ':item.state==='cancelled'?'Остановлено — ':'')+(item.name||'Имя роутера не получено');title.className=item.state==='success'?'ok':item.state==='error'?'error':['unknown','cancelled'].includes(item.state)?'warn':'';detail.textContent=item.message||'Готов к постановке в очередь';id.textContent='ID: '+item.id;row.append(title,id,detail);
const current=routers.find(router=>router.id===item.id),live=document.createElement('div'),badge=document.createElement('span'),last=document.createElement('span');live.className='router-live';badge.className='live-badge'+(current?(current.online?' online':' offline'):'');badge.textContent=current?(current.online?'● Онлайн':'● Офлайн'):'Статус не получен';last.textContent=current&&current.last_seen?'Heartbeat: '+new Date(current.last_seen*1000).toLocaleString('ru-RU'):'Heartbeat ещё не получен';live.append(badge,last);if(current&&current.xray){const xray=document.createElement('span');xray.textContent=(current.online?'Xray: ':'Последний статус Xray: ')+(current.xray==='running'?'запущен':current.xray==='stopped'?'остановлен':'нет данных');live.append(xray);}row.insertBefore(live,detail);
if(item.output){const details=document.createElement('details'), summary=document.createElement('summary'), output=document.createElement('pre');summary.textContent='Вывод команды';output.textContent=item.output;details.open=!!open.get(item.id)?.open;details.append(summary,output);row.append(details);}fragment.append(row);
});results.replaceChildren(fragment);results.querySelectorAll('article').forEach(row=>{const output=row.querySelector('pre');if(output)output.scrollTop=open.get(row.dataset.router)?.top||0;});
}
function summary(){if(!job)return 'В очереди будут все роутеры из Hub.';const items=job.items, count=state=>items.filter(x=>x.state===state).length;return (job.state==='running'?'Обновление выполняется. ':'Очередь завершена. ')+'Успешно: '+count('success')+' · Ошибок: '+count('error')+' · Не подтверждено: '+count('unknown')+' · Пропущено: '+count('skipped')+' · Всего: '+items.length;}
function summary(){return !job?'Список роутеров обновлён':job.state==='running'?(job.cancel_requested?'Останавливаю обновление':'Обновление выполняется'):'Очередь завершена';}
async function api(path,body){const controller=new AbortController(), timeout=setTimeout(()=>controller.abort(),15000);try{const response=await fetch(endpoint+path,{method:body?'POST':'GET',cache:'no-store',headers:body?{'Content-Type':'application/json','X-Router-Update-CSRF':csrf}:{},body:body?JSON.stringify(body):undefined,signal:controller.signal});if(response.status===401){window.location.replace('/login');throw new Error('Нужен вход в Hub');}const data=await response.json();if(!response.ok)throw new Error(data.error||'HTTP '+response.status);return data;}finally{clearTimeout(timeout);}}
async function refresh(){if(stopped||pending)return;const current=++generation;if(timer!==null)clearTimeout(timer);timer=null;try{const data=await api('');if(current!==generation||pending)return;render(data);status.className='';status.textContent=summary();if(job&&job.state!=='running'&&job.request_id===requestId)forgetRequest();}catch(error){if(current===generation){status.className='error';status.textContent='Не удалось получить состояние: '+error.message;}}finally{if(!stopped&&!pending&&current===generation)timer=setTimeout(refresh,3000);}}
form.addEventListener('submit',async event=>{event.preventDefault();if(pending||(job&&job.state==='running'))return;generation++;pending=true;controls();if(timer!==null)clearTimeout(timer);try{const body={command:command.value,ssh_password:password.value,request_id:requestToken()};const data=await api('/start',body);password.value='';render(data);status.className='';status.textContent=summary();}catch(error){password.value='';status.className='error';status.textContent='Запуск не подтверждён: '+error.message+'. Проверяю состояние очереди.';}finally{pending=false;controls();if(!stopped)timer=setTimeout(refresh,1000);}});
cancel.addEventListener('click',async()=>{if(!job||pending)return;generation++;if(timer!==null)clearTimeout(timer);pending=true;controls();try{const data=await api('/cancel',{id:job.id});render(data);status.textContent='Текущая установка завершится; остальные роутеры будут пропущены.';}catch(error){status.textContent=error.message;}finally{pending=false;controls();if(!stopped)timer=setTimeout(refresh,1000);}});
cancel.addEventListener('click',async()=>{if(!job||pending)return;generation++;if(timer!==null)clearTimeout(timer);pending=true;controls();status.textContent='Останавливаю текущую задачу и очередь…';try{const data=await api('/cancel',{id:job.id});render(data);status.textContent=summary();}catch(error){status.textContent='Остановка не подтверждена: '+error.message;}finally{pending=false;controls();if(!stopped)timer=setTimeout(refresh,1000);}});
refreshRouters.addEventListener('click',async()=>{if(pending)return;const current=++generation;if(timer!==null)clearTimeout(timer);pending=true;refreshing=true;controls();status.className='';status.textContent='Обновляю список и статусы роутеров…';try{const data=await api('/refresh',{id:job?job.id:''});if(current!==generation)return;render(data);if(!job)forgetRequest();status.textContent=job?'Статусы обновлены. '+summary():'Список и статусы обновлены. Можно запустить новую очередь.';}catch(error){status.className='error';status.textContent='Не удалось обновить список: '+error.message;}finally{pending=false;refreshing=false;controls();if(!stopped)timer=setTimeout(refresh,3000);}});
window.addEventListener('pagehide',()=>{stopped=true;if(timer!==null)clearTimeout(timer);password.value='';});
window.addEventListener('pageshow',()=>{if(stopped){stopped=false;refresh();}});refresh();
})();
@@ -14383,27 +14401,113 @@ class VpsResourceMonitor:
return self.cached
def router_update_launch_script(task_id, command):
def normalize_router_update_command(command):
command = command.removeprefix('\ufeff').replace('\r\n', '\n').replace('\r', '\n').strip()
url = command[1:-1] if command[:1] in {'"', "'"} and command[-1:] == command[:1] else command
if not re.match(r'(?i)^https?://', url):
return command
try:
parsed = urllib.parse.urlsplit(url)
valid = parsed.hostname and parsed.scheme.lower() in {'http', 'https'} and parsed.port != 0
except ValueError:
valid = False
if not valid or re.search(r'\s|[\x00-\x1f\x7f]', url):
raise ValueError('Нужна прямая ссылка HTTP/HTTPS без пробелов или полная shell-команда обновления.')
return '''set -e
: "${OWRT_REMOTE_UPDATE_DIR:?}"
file="$OWRT_REMOTE_UPDATE_DIR/download.sh"
echo 'Загрузка установочного скрипта…'
if command -v curl >/dev/null 2>&1; then
curl -fL --connect-timeout 10 -o "$file" -- __URL__
else
wget -O "$file" __URL__
fi
[ -s "$file" ] || { echo 'Ошибка: получен пустой установочный скрипт'; exit 1; }
echo 'Скрипт загружен; запуск установки…'
/bin/sh "$file"
'''.replace('__URL__', shlex.quote(url))
def router_update_name(row, reported_name=''):
"""Prefer UCI's router_name; keep the stable router ID a separate field."""
try:
cached_name = json.loads(row.get('status_json') or '{}').get('name')
except (ValueError, AttributeError):
cached_name = ''
for value in (reported_name, cached_name, row.get('custom_name')):
name = re.sub(r'[\x00-\x1f\x7f]', ' ', str(value or '')).strip()[:200]
if name:
return name
return 'Имя роутера не получено'
def router_update_status(row):
try:
status = json.loads(row.get('status_json') or '{}')
status = status if isinstance(status, dict) else {}
except ValueError:
status = {}
last_seen = int(row.get('last_seen') or 0)
xray = str(status.get('xray') or '')
return {'id': row['id'], 'name': router_update_name(row),
'online': bool(last_seen and now_ts() - last_seen <= router_online_timeout(status)),
'last_seen': last_seen,
'xray': xray if xray in {'running', 'stopped'} else 'unknown'}
def router_update_preflight_script():
return r'''set -eu
printf 'OWRT_UPDATE_NAME_TEXT='
(uci -q get owrtremote.main.router_name || true) | head -c 512 | tr '\r\n' ' '
printf '\n'
for tool in uci setsid mkfifo dd cut head tail tr wc cat mv rm mkdir sleep; do
if ! command -v "$tool" >/dev/null 2>&1; then
printf 'OWRT_UPDATE_STATE=not_started\nOWRT_UPDATE_ERROR=На роутере отсутствует утилита %s. Команда обновления не запускалась.\n' "$tool"
exit 0
fi
done
printf 'OWRT_UPDATE_READY=1\n'
'''
def router_update_launch_script(task_id, command, timeout=180):
"""Stage a detached router-side task; never execute the owner's command on VPS."""
encoded = base64.b64encode(command.encode("utf-8")).decode("ascii")
# POSIX printf is an ash builtin even when BusyBox has no base64 applet.
encoded = ''.join('\\0%03o' % byte for byte in command.encode('utf-8'))
return r'''set -eu
umask 077
job=/tmp/owrt-remote-update-__TASK__
limit=__TIMEOUT__
started=0
launch_exit() {
rc=$?
trap - EXIT
if [ "$rc" -ne 0 ] && [ "$started" = 0 ]; then
printf 'OWRT_UPDATE_STATE=not_started\nOWRT_UPDATE_ERROR=Подготовка задачи на роутере завершилась ошибкой, rc=%s. Команда обновления не запускалась.\n' "$rc"
exit 0
fi
exit "$rc"
}
trap launch_exit EXIT
if [ ! -d "$job" ]; then
command -v setsid >/dev/null || { echo 'setsid is required'; exit 1; }
mkdir "$job"
printf '%s' '__COMMAND__' | base64 -d >"$job/command.sh"
printf '%b' '__COMMAND__' >"$job/command.sh"
cat >"$job/runner.sh" <<'OWRT_UPDATE_RUNNER'
#!/bin/sh
umask 077
job=$1
printf '%s\n' "$$" >"$job/pid"
mkfifo "$job/stream" || exit 1
# A bounded output tail in RAM. No growing log file, shell variable containing
# the whole output, or writer that survives a normally completed command.
(
clock() { cut -d. -f1 /proc/uptime; }
stop_group() {
case "$1" in ''|*[!0-9]*) return;; esac
[ "$1" -gt 1 ] || return
kill -TERM "-$1" 2>/dev/null || true
sleep 1
kill -KILL "-$1" 2>/dev/null || true
}
if [ "${2:-}" = reader ]; then
while :; do
dd bs=4096 count=1 iflag=fullblock <&3 >"$job/chunk" 2>/dev/null
dd bs=4096 count=1 <&3 >"$job/chunk" 2>/dev/null
[ -s "$job/chunk" ] || break
cat "$job/chunk" >>"$job/output"
bytes=$(wc -c <"$job/output")
@@ -14411,31 +14515,88 @@ mkfifo "$job/stream" || exit 1
tail -c 16384 "$job/output" >"$job/output.new" && mv "$job/output.new" "$job/output"
fi
done 3<"$job/stream"
) &
exit
fi
limit=$2
printf '%s\n' "$$" >"$job/pid"
clock >"$job/started"
printf '%s\n' "$limit" >"$job/limit"
if [ -e "$job/cancel" ]; then
echo cancelled >"$job/reason"
echo 130 >"$job/result"
exit 0
fi
mkfifo "$job/stream" || exit 1
# Separate groups let cancellation target only this task's processes.
setsid /bin/sh "$job/runner.sh" "$job" reader &
reader=$!
export OWRT_REMOTE_UPDATE_DIR="$job"
# BusyBox ash's pipefail also catches wget failures in `wget ... | sh`.
/bin/sh -ec 'set -o pipefail; . "$1"' sh "$job/command.sh" >"$job/stream" 2>&1
rc=$?
wait "$reader" || { [ "$rc" -ne 0 ] || rc=125; }
setsid /bin/sh -ec 'set -o pipefail; . "$1"' sh "$job/command.sh" >"$job/stream" 2>&1 &
installer=$!
reason=exit
started=$(cat "$job/started")
while kill -0 "$installer" 2>/dev/null; do
if [ -e "$job/cancel" ]; then reason=cancelled; break; fi
now=$(clock)
if [ "$((now - started))" -ge "$limit" ]; then reason=timeout; break; fi
sleep 1
done
if [ "$reason" != exit ]; then
stop_group "$installer"
wait "$installer" 2>/dev/null || true
if [ "$reason" = cancelled ]; then rc=130; else rc=124; fi
else
wait "$installer"
rc=$?
fi
# A daemon may inherit stdout from the installer. Bound FIFO drain time.
drain=0
while kill -0 "$reader" 2>/dev/null && [ "$drain" -lt 2 ]; do sleep 1; drain=$((drain + 1)); done
if kill -0 "$reader" 2>/dev/null; then
stop_group "$reader"
wait "$reader" 2>/dev/null || true
else
wait "$reader" || { [ "$rc" -ne 0 ] || rc=125; }
fi
printf '%s\n' "$reason" >"$job/reason"
printf '%s\n' "$rc" >"$job/result.new"
mv "$job/result.new" "$job/result"
rm -f "$job/stream" "$job/chunk" "$job/command.sh" "$job/runner.sh"
rm -f "$job/stream" "$job/chunk" "$job/command.sh" "$job/download.sh" "$job/runner.sh"
OWRT_UPDATE_RUNNER
# OpenWrt supplies setsid by default; nohup is optional. Ignore HUP before
# exec so loss of the reverse SSH connection cannot kill the installer.
(trap '' HUP; exec setsid /bin/sh "$job/runner.sh" "$job") </dev/null >/dev/null 2>&1 &
(trap '' HUP; exec setsid /bin/sh "$job/runner.sh" "$job" "$limit") </dev/null >/dev/null 2>&1 &
fi
printf 'OWRT_UPDATE_NAME='
(uci -q get owrtremote.main.router_name || true) | head -c 512 | base64 | tr -d '\r\n'
printf '\nOWRT_UPDATE_STARTED=1\n'
'''.replace('__TASK__', task_id).replace('__COMMAND__', encoded)
started=1
printf 'OWRT_UPDATE_STARTED=1\n'
'''.replace('__TASK__', task_id).replace('__COMMAND__', encoded).replace('__TIMEOUT__', str(int(timeout)))
def router_update_cancel_script(task_id):
# A tombstone blocks delayed launches; the runner records the actual result
# after stopping its own installer group, without matching unrelated PIDs.
return ('umask 077\njob=/tmp/owrt-remote-update-' + task_id + '\n'
+ '''if mkdir "$job" 2>/dev/null; then
: >"$job/cancel"
echo cancelled >"$job/reason"
echo 130 >"$job/result.new"
mv "$job/result.new" "$job/result"
else
: >"$job/cancel"
fi
echo OWRT_UPDATE_CANCEL=1
''')
def router_update_poll_script(task_id, cleanup=False):
prefix = 'job=/tmp/owrt-remote-update-' + task_id + '\n'
if cleanup:
return prefix + '''[ -s "$job/result" ] || exit 0
rm -f "$job/result" "$job/result.new" "$job/pid" "$job/output" "$job/output.new" "$job/chunk" "$job/stream" "$job/command.sh" "$job/runner.sh"
rm -f "$job/result" "$job/result.new" "$job/pid" "$job/output" "$job/output.new" "$job/chunk" "$job/stream" "$job/command.sh" "$job/download.sh" "$job/runner.sh" "$job/started" "$job/limit" "$job/reason"
# Keep the tiny cancellation marker until reboot. A launch still in transit
# must not start this task after the confirmed result has been cleaned up.
[ ! -e "$job/cancel" ] || exit 0
rmdir "$job" 2>/dev/null || true
'''
return prefix + r'''if [ ! -d "$job" ]; then echo OWRT_UPDATE_STATE=missing; exit 0; fi
@@ -14444,18 +14605,23 @@ if [ -s "$job/result" ]; then
echo OWRT_UPDATE_STATE=done
elif [ -s "$job/pid" ] && kill -0 "$(cat "$job/pid")" 2>/dev/null; then
echo OWRT_UPDATE_STATE=running
elif [ -s "$job/pid" ]; then
echo OWRT_UPDATE_STATE=dead
else
echo OWRT_UPDATE_STATE=starting
fi
printf 'OWRT_UPDATE_OUTPUT='
tail -c 8192 "$job/output" 2>/dev/null | base64 | tr -d '\r\n'
printf '\n'
printf 'OWRT_UPDATE_REASON='; cat "$job/reason" 2>/dev/null || echo
printf 'OWRT_UPDATE_OUTPUT_TEXT=\n'
tail -c 8192 "$job/output" 2>/dev/null || true
'''
def router_update_fields(output):
# The final text payload is bounded on the router. Parse metadata only
# before it, so installer output cannot forge a result or another name.
header, separator, payload = str(output or '').partition('\nOWRT_UPDATE_OUTPUT_TEXT=\n')
fields = {}
for line in str(output or '').splitlines():
for line in header.splitlines():
key, separator, value = line.partition('=')
if separator and key.startswith('OWRT_UPDATE_'):
fields[key.removeprefix('OWRT_UPDATE_')] = value
@@ -14464,13 +14630,21 @@ def router_update_fields(output):
fields[key] = base64.b64decode(fields.get(key, ''), validate=True).decode('utf-8', 'replace')
except (ValueError, UnicodeError):
fields[key] = ''
if 'NAME_TEXT' in fields:
fields['NAME'] = fields.pop('NAME_TEXT').strip()
if separator:
fields['OUTPUT'] = payload
return fields
class RouterUpdateManager:
"""One sequential owner-controlled queue per Hub, independent of the browser."""
POLL_SECONDS = 3
ROUTER_TIMEOUT = 900
ROUTER_TIMEOUT = 180
LAUNCH_TIMEOUT = 15
CONNECTION_TIMEOUT = 30
SILENCE_TIMEOUT = 90
STOP_TIMEOUT = 10
RESULT_TTL = 7200
def __init__(self, app):
@@ -14480,11 +14654,56 @@ class RouterUpdateManager:
self.job = None
self.thread = None
self.stopping = threading.Event()
self.wake = threading.Event()
self.cancel_event = threading.Event()
self.transport_lock = threading.Lock()
self.transport = None
def _ssh(self, row, script, password):
# These transport helpers use no request headers or client connection.
# Keep this transport interruptible without changing other SSH features.
helper = Handler.__new__(Handler)
return helper.run_router_ssh_script(row, script, timeout=20, ssh_password=password)
env, args = helper.ssh_exec_args(int(row['ssh_entry_port']), allow_password=bool(password))
askpass = helper.prepare_ssh_askpass(env, password)
process = None
received = False
try:
process = subprocess.Popen(args + ['sh', '-s', '--'], stdin=subprocess.PIPE,
stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True,
encoding='utf-8', errors='replace', env=env,
start_new_session=bool(password))
with self.transport_lock:
self.transport = process
try:
stdout, stderr = process.communicate(str(script), timeout=10)
received = True
except subprocess.TimeoutExpired as exc:
raise RuntimeError('SSH: нет ответа за 10 секунд') from exc
if process.returncode:
raise RuntimeError((stderr or stdout or '').strip() or 'SSH-соединение прервано')
return stdout
finally:
if process:
if process.poll() is None:
try:
process.kill()
except OSError:
pass
if not received:
process.communicate()
with self.transport_lock:
if self.transport is process:
self.transport = None
if askpass:
shutil.rmtree(askpass, ignore_errors=True)
def _interrupt_transport(self):
with self.transport_lock:
process = self.transport
if process and process.poll() is None:
try:
process.kill()
except OSError:
pass
def snapshot(self):
with self.lock:
@@ -14492,6 +14711,14 @@ class RouterUpdateManager:
self.job = None
return json.loads(json.dumps(self.job)) if self.job else None
def clear_finished(self, job_id):
if not isinstance(job_id, str):
raise ValueError('Некорректный идентификатор очереди.')
with self.lock:
# A stale browser must not erase a newer job or an active worker.
if self.job and self.job['id'] == job_id and self.job['state'] != 'running':
self.job = None
def start(self, command, password, request_id):
if not isinstance(command, str) or not command.strip() or len(command.encode('utf-8')) > 8192 or '\x00' in command:
raise ValueError('Укажи команду обновления размером до 8 КиБ без нулевых символов.')
@@ -14499,7 +14726,7 @@ class RouterUpdateManager:
raise ValueError('Некорректный SSH-пароль.')
if not isinstance(request_id, str) or not re.fullmatch(r'[a-zA-Z0-9_-]{16,80}', request_id):
raise ValueError('Некорректный идентификатор запроса. Обнови страницу.')
command = command.removeprefix('\ufeff').replace('\r\n', '\n').replace('\r', '\n').strip()
command = normalize_router_update_command(command)
with self.lock:
if self.job and self.job['request_id'] == request_id:
return self.job['id']
@@ -14507,6 +14734,8 @@ class RouterUpdateManager:
raise RuntimeError('Очередь уже запущена. Дождись её завершения или останови оставшиеся обновления.')
if self.stopping.is_set():
raise RuntimeError('Hub завершает работу. Повтори после запуска.')
self.cancel_event.clear()
self.wake.clear()
with self.app.conn() as conn:
rows = [dict(row) for row in list_router_rows(conn)]
if not rows:
@@ -14515,12 +14744,8 @@ class RouterUpdateManager:
raise ValueError('В одной очереди поддерживается до 512 роутеров.')
items = []
for row in rows:
try:
reported_name = json.loads(row.get('status_json') or '{}').get('name')
except (ValueError, AttributeError):
reported_name = ''
items.append({'id': row['id'], 'name': str(reported_name or row.get('name') or row['id'])[:200],
'state': 'queued', 'message': 'Ожидает очереди', 'output': ''})
items.append({'id': row['id'], 'name': router_update_name(row),
'state': 'queued', 'message': 'Ожидает очереди', 'output': '', 'elapsed_seconds': 0})
job_id = secrets.token_hex(16)
self.job = {'id': job_id, 'request_id': request_id, 'state': 'running', 'started_at': time.time(),
'finished_at': 0, 'cancel_requested': False, 'items': items}
@@ -14539,6 +14764,15 @@ class RouterUpdateManager:
if not self.job or self.job['id'] != job_id:
raise ValueError('Очередь не найдена.')
self.job['cancel_requested'] = True
for item in self.job['items']:
if item['state'] == 'queued':
item.update(state='skipped', message='Пропущен: очередь остановлена пользователем')
elif item['state'] in {'connecting', 'running', 'cancelling'}:
item['state'] = 'cancelling'
item['message'] = 'Останавливаю текущую задачу…'
self.cancel_event.set()
self.wake.set()
self._interrupt_transport()
def _set(self, index, **values):
with self.lock:
@@ -14573,6 +14807,11 @@ class RouterUpdateManager:
return ('Общий SSH-пароль не принят этим роутером. Возможно, пароль роутера отличается '
'от общего; проверь его пароль и разрешение входа root по SSH.')
return 'SSH-авторизация отклонена. Укажи пароль root или проверь SSH-ключ доступа к этому роутеру.'
safe = cls._safe(text, password)[:1200]
if re.search(r'(?i)(?:connection timed out during banner exchange|banner exchange:.*(?:timed out|timeout))', text):
return ('SSH не прислал приветствие за отведённое время. До проверки пароля дело не дошло. '
'По этому ответу нельзя отличить проблему обратного туннеля от зависания SSH-сервера. '
'Технический ответ: ' + safe)
return cls._safe(text, password)[:1200] or 'Ошибка подключения по SSH'
def _run(self, rows, command, password, job_id):
@@ -14591,13 +14830,10 @@ class RouterUpdateManager:
self._set(index, state='skipped', message='Роутер удалён из Hub')
continue
self._update_one(index, current, command, password, job_id)
with self.lock:
# Do not start a second installation while the first may
# still be running behind a disconnected SSH tunnel.
if self.job['items'][index]['state'] == 'unknown':
self.job['cancel_requested'] = True
except Exception as exc:
self._set(index, state='error', message=self._ssh_error(exc, password))
cancelled = self.cancel_event.is_set()
self._set(index, state='cancelled' if cancelled else 'error',
message='Остановлено до отправки команды установки' if cancelled else self._ssh_error(exc, password))
finally:
password = ''
command = ''
@@ -14610,67 +14846,151 @@ class RouterUpdateManager:
self._set(index, state='skipped', message='SSH-туннель не настроен')
return
task_id = job_id + '-' + str(index)
self._set(index, state='connecting', message='Подключаюсь по SSH')
ready = self._ssh(row, "printf 'OWRT_UPDATE_READY=1\\n'\n", password)
if 'OWRT_UPDATE_READY=1' not in ready.splitlines():
with self.lock:
if self.cancel_event.is_set() or self.stopping.is_set():
self.job['items'][index].update(state='skipped', message='Пропущен: очередь остановлена')
return
self.job['items'][index].update(state='connecting', message='Подключаюсь по SSH')
try:
fields = router_update_fields(self._ssh(row, router_update_preflight_script(), password))
except Exception as exc:
cancelled = self.cancel_event.is_set()
self._set(index, state='cancelled' if cancelled else 'error',
message=('Остановлено до отправки команды установки' if cancelled else
self._ssh_error(exc, password) + '. Команда обновления не запускалась.'))
return
self._set(index, name=router_update_name(row, fields.get('NAME', '')))
if fields.get('STATE') == 'not_started':
self._set(index, state='error', message=self._safe(fields.get('ERROR'), password)
or 'Подготовка роутера не пройдена. Команда обновления не запускалась.')
return
if fields.get('READY') != '1':
raise RuntimeError('SSH не подтвердил готовность. Команда обновления не отправлена.')
if self.cancel_event.is_set() or self.stopping.is_set():
self._set(index, state='cancelled', message='Остановлено до отправки команды установки')
return
launched = False
launch_error = ''
started = time.monotonic()
hard_deadline = started + self.ROUTER_TIMEOUT
try:
fields = router_update_fields(self._ssh(row, router_update_launch_script(task_id, command), password))
fields = router_update_fields(self._ssh(row, router_update_launch_script(task_id, command, self.ROUTER_TIMEOUT), password))
if fields.get('STATE') == 'not_started':
self._set(index, state='error', message=self._safe(fields.get('ERROR'), password)
or 'Не удалось подготовить задачу на роутере. Команда обновления не запускалась.')
return
launched = fields.get('STARTED') == '1'
if fields.get('NAME', '').strip():
name = re.sub(r'[\x00-\x1f\x7f]', ' ', fields['NAME']).strip()[:200]
self._set(index, name=name)
self._set(index, name=router_update_name(row, fields['NAME']))
except Exception as exc:
# SSH can close after the detached task was accepted. Poll its known
# ID instead of executing the installation a second time.
launch_error = self._ssh_error(exc, password)
self._set(index, state='running', message='Установка выполняется' if launched else 'Проверяю, запустилась ли установка')
deadline = time.monotonic() + (self.ROUTER_TIMEOUT if launched else 40)
last_error = launch_error
missing = 0
while time.monotonic() < deadline and not self.stopping.is_set():
last_contact = time.monotonic()
last_progress = last_contact
previous_output = ''
stop_reason = ''
stop_deadline = None
cancel_delivered = False
timeout_reason = 'Превышено время установки (' + str(self.ROUTER_TIMEOUT) + ' с)'
while not self.stopping.is_set():
now = time.monotonic()
if self.cancel_event.is_set():
stop_reason = 'Остановка пользователем'
elif now - last_contact >= self.CONNECTION_TIMEOUT and not stop_reason:
stop_reason = 'SSH не отвечает ' + str(self.CONNECTION_TIMEOUT) + ' с: ' + (last_error or 'связь потеряна')
elif not launched and now - started >= self.LAUNCH_TIMEOUT and not stop_reason:
stop_reason = 'Запуск не подтверждён: ' + (launch_error or 'нет ответа задачи')
elif launched and not stop_reason and now - last_progress >= self.SILENCE_TIMEOUT:
stop_reason = 'Нет нового вывода установщика ' + str(self.SILENCE_TIMEOUT) + ' с; задача зависла или ожидает ввода'
elif now >= hard_deadline and not stop_reason:
stop_reason = timeout_reason
if stop_reason and stop_deadline is None:
stop_deadline = now + self.STOP_TIMEOUT
if stop_reason and not cancel_delivered:
try:
response = self._ssh(row, router_update_cancel_script(task_id), password)
cancel_delivered = 'OWRT_UPDATE_CANCEL=1' in response.splitlines()
except Exception as exc:
last_error = self._ssh_error(exc, password)
if stop_reason and (time.monotonic() >= stop_deadline or not cancel_delivered):
self._set(index, state='unknown', message=stop_reason + '. Результат и остановка не подтверждены'
+ (': ' + last_error if last_error else '')
+ '; после восстановления связи проверь роутер. Очередь продолжает работу.')
return
try:
fields = router_update_fields(self._ssh(row, router_update_poll_script(task_id), password))
self._set(index, output=self._safe(fields.get('OUTPUT', ''), password))
now = time.monotonic()
elapsed = int(now - started)
output = self._safe(fields.get('OUTPUT', ''), password)
if fields.get('OUTPUT', '') != previous_output:
previous_output = fields.get('OUTPUT', '')
last_progress = now
self._set(index, output=output, elapsed_seconds=elapsed)
state = fields.get('STATE')
if self.cancel_event.is_set() and not stop_reason:
continue
if state in {'done', 'running', 'starting', 'dead', 'missing'}:
last_contact = now
if state == 'done':
rc = fields.get('RC', '')
if not re.fullmatch(r'\d{1,3}', rc):
raise RuntimeError('Роутер вернул некорректный результат установки')
self._set(index, state='success' if rc == '0' else 'error',
message='Установка успешно завершена, rc=0' if rc == '0' else 'Ошибка установки, rc=' + rc)
reason = fields.get('REASON', '')
if reason == 'cancelled':
final_state = 'cancelled' if self.cancel_event.is_set() else 'error'
message = (stop_reason or 'Задача остановлена') + '; остановка на роутере подтверждена, rc=' + rc
elif reason == 'timeout':
final_state, message = 'error', timeout_reason + '; установщик остановлен на роутере, rc=' + rc
else:
final_state = 'success' if rc == '0' else 'error'
message = 'Установка успешно завершена, rc=0' if rc == '0' else 'Ошибка установки, rc=' + rc
if rc != '0':
lines = [line.strip() for line in output.splitlines()
if line.strip() and 'строка с ключом или паролем скрыта' not in line]
message += '. Последний вывод: ' + (' / '.join(lines[-3:])[-500:] if lines else 'установщик не передал описание ошибки')
self._set(index, state=final_state, message=message)
try:
self._ssh(row, router_update_poll_script(task_id, cleanup=True), password)
except Exception:
pass
return
if state in {'running', 'starting'} and not launched:
if state == 'running' and not launched:
launched = True
deadline = time.monotonic() + self.ROUTER_TIMEOUT
if state == 'missing':
missing += 1
if not launched and missing < 3:
self.stopping.wait(self.POLL_SECONDS)
continue
if state == 'dead':
self._set(index, state='error', message='Процесс установки завершился без итогового кода; возможна ошибка запуска. Очередь продолжает работу.')
return
if state == 'starting' and now - started >= self.LAUNCH_TIMEOUT:
stop_reason = 'Задача установки не запустилась: ' + (launch_error or 'нет процесса установщика')
elif state == 'missing' and not launched and now - started >= self.LAUNCH_TIMEOUT:
stop_reason = 'Задача установки не запустилась: ' + (launch_error or 'нет процесса установщика')
if state == 'missing' and launched:
self._set(index, state='unknown' if launched else 'error',
message=('Результат установки потерян: временные файлы отсутствуют. Успех не подтверждён.'
if launched else launch_error or 'Установка не запущена'))
return
if state not in {'running', 'starting'}:
if state not in {'running', 'starting', 'missing'}:
raise RuntimeError('Не получен статус установки от роутера')
self._set(index, message='Установка выполняется; ожидаю итоговый код')
message = (stop_reason + '; ожидаю подтверждение остановки' if stop_reason else
'Установка выполняется: ' + str(elapsed) + ' с; без нового вывода '
+ str(int(now - last_progress)) + ' с; лимит ' + str(self.ROUTER_TIMEOUT) + ' с')
self._set(index, message=message)
except Exception as exc:
last_error = self._ssh_error(exc, password)
self._set(index, message='SSH временно недоступен; ожидаю результат установки')
self.stopping.wait(self.POLL_SECONDS)
self._set(index, message='Нет ответа по SSH: ' + last_error + '; ожидание не более '
+ str(self.CONNECTION_TIMEOUT) + ' с')
self.wake.wait(min(self.POLL_SECONDS, 1) if stop_reason else self.POLL_SECONDS)
self.wake.clear()
self._set(index, state='unknown',
message='Результат не подтверждён: '
+ (last_error or 'истекло время ожидания'))
def stop(self):
self.stopping.set()
self.wake.set()
self._interrupt_transport()
thread = self.thread
if thread and thread.ident is not None and thread is not threading.current_thread():
thread.join(timeout=25)
@@ -16403,6 +16723,8 @@ a{{display:inline-flex;margin-top:18px;color:#93c5fd}}
manager.start(payload.get('command'), payload.get('ssh_password', ''), payload.get('request_id'))
elif action == 'cancel':
manager.cancel(payload.get('id'))
elif action == 'refresh':
manager.clear_finished(payload.get('id', ''))
except ValueError as exc:
self.send_json(400, {'ok': False, 'error': str(exc)})
return
@@ -16410,10 +16732,8 @@ a{{display:inline-flex;margin-top:18px;color:#93c5fd}}
self.send_json(409, {'ok': False, 'error': str(exc)})
return
job = manager.snapshot()
routers = []
if not job:
with self.app.conn() as conn:
routers = [{'id': row['id'], 'name': row['name']} for row in list_router_rows(conn)]
routers = [router_update_status(dict(row)) for row in list_router_rows(conn)]
self.send_json(200, {'ok': True, 'job': job, 'routers': routers})
def ssh_ws(self):
@@ -18007,7 +18327,7 @@ exit 127
def do_POST(self):
path = self.parsed().path
if path in {'/api/router-updates/start', '/api/router-updates/cancel'}:
if path in {'/api/router-updates/start', '/api/router-updates/cancel', '/api/router-updates/refresh'}:
self.router_updates_api(path.rsplit('/', 1)[-1])
return
if path == "/login":