Fix router update queue controls, compatibility and dashboard
This commit is contained in:
1 parent
e9aa14e080
commit
2a47adb32a
6 files changed
+858
-109
No files matched your search
+54
-8
@@ -5,33 +5,76 @@
|
||||
команда установки и один общий SSH-пароль root. При SSH-ключе поле можно оставить
|
||||
пустым. Команда по умолчанию использует `RAW_REPO_BASE` именно этого Hub:
|
||||
GitHub — GitHub, GitVerse — GitVerse.
|
||||
Можно вставить полную shell-команду или прямую HTTP/HTTPS-ссылку на установочный
|
||||
shell-скрипт с любого источника. Ссылка передаётся загрузчику как данные, включая
|
||||
параметры запроса; скрипт сначала целиком скачивается, затем запускается.
|
||||
|
||||
Hub запускает одну очередь, по одному роутеру. Имена берутся из Heartbeat
|
||||
(`owrtremote.main.router_name`) и уточняются чтением UCI по SSH перед установкой.
|
||||
(`owrtremote.main.router_name`) и уточняются чтением UCI по SSH до подготовки
|
||||
установки. Например, `router_id=node-5`, `router_name=АНТОН ВПН` показываются как
|
||||
«АНТОН ВПН» и отдельно «ID: node-5». Имя UCI имеет приоритет над именем,
|
||||
изменённым карандашом в Hub. Если UCI и Heartbeat не сообщили имя, используется
|
||||
имя из редактора Hub; если нет и его — «Имя роутера не получено», без подмены ID.
|
||||
Неуспешное подключение, ошибка команды и отсутствие подтверждения различаются.
|
||||
Если SSH отклонил общий пароль, у этого роутера выводится понятная ошибка
|
||||
авторизации: его пароль может отличаться от общего. Обновление на нём не
|
||||
запускается, очередь переходит к следующему. Запрет входа по паролю, отсутствие
|
||||
SSH-ключа и сетевые ошибки отображаются отдельно; сам пароль не показывается.
|
||||
`Connection timed out during banner exchange` означает, что SSH-приветствие
|
||||
не поступило вовремя: до проверки пароля и отправки обновления дело не дошло.
|
||||
По одной этой ошибке нельзя различить отказ обратного туннеля и SSH-сервера.
|
||||
Панель показывает понятное объяснение и сохраняет технический ответ.
|
||||
Надпись «Успешно — Советская 30» появляется только при полученном `rc=0`.
|
||||
Код 0 подтверждает выполнение команды, а не проверку всех функций роутера.
|
||||
|
||||
Установка запускается отдельным процессом с `setsid` на роутере, не в shell VPS.
|
||||
Перед запуском проверяются необходимые утилиты. Передача команды, имени и
|
||||
ограниченного вывода не требует `base64`: команда записывается встроенным
|
||||
`printf`, имя читается через UCI, вывод передаётся отдельным завершающим полем.
|
||||
Строки установщика не могут подменить метаданные результата. Подтверждённая
|
||||
ошибка подготовки отображается как «Ошибка» с причиной и текстом «Команда
|
||||
обновления не запускалась»; неопределённость показывается при реальной потере
|
||||
связи после отправки задачи.
|
||||
При разрыве SSH во время установки Hub запрашивает результат по тому же ID,
|
||||
не повторяя команду. При невозможности получить итог останавливаются оставшиеся
|
||||
обновления, чтобы не запускать другую установку параллельно с неподтверждённой.
|
||||
«Остановить очередь после текущего» не прерывает уже начатую установку.
|
||||
не повторяя команду. Ожидание ограничено: запуск — 15 секунд, потеря связи SSH —
|
||||
30 секунд, отсутствие нового вывода — 90 секунд, работа установщика — 180 секунд.
|
||||
На роутере также действует собственный лимит 180 секунд, даже если VPS недоступна.
|
||||
В карточке видны прошедшее время, пауза вывода, результат и причина ошибки.
|
||||
Неудача одного роутера не останавливает очередь остальных. Если остановку нельзя
|
||||
доставить из-за потери SSH, показывается «Не подтверждено», а не ложный успех.
|
||||
|
||||
«Остановить всё» сразу помечает оставшиеся устройства пропущенными, прерывает
|
||||
текущий запрос SSH и отправляет текущей задаче остановку. На доступном роутере
|
||||
установщик с дочерними процессами получает TERM, затем KILL при необходимости.
|
||||
Это не откатывает изменения, уже внесённые установщиком. При отсутствии SSH
|
||||
остановку невозможно подтвердить: действует локальный лимит задачи, очередь
|
||||
показывает фактическую потерю связи. При недоступной сети продолжение следующих
|
||||
роутеров может пересекаться с ещё не завершившейся задачей на отключённом роутере.
|
||||
|
||||
Временный каталог задачи расположен в `/tmp/owrt-remote-update-ID` на роутере;
|
||||
вывод ограничен примерно 32 КиБ, на VPS передаётся хвост до 8 КиБ. После получения
|
||||
результата каталог удаляется. При потере связи остаётся ограниченный результат
|
||||
до следующей перезагрузки; нет постоянно работающего сборщика этой задачи.
|
||||
У отменённой задачи после очистки остаётся только пустой маркер в RAM до
|
||||
перезагрузки: он запрещает поздний запуск уже отменённого запроса из сети.
|
||||
Новый API доступен только владельцу, POST защищён токеном и проверкой Origin.
|
||||
SSH-пароль хранится только в памяти текущего worker, не в БД/журнале/URL/browser
|
||||
storage. Из вывода удаляются пароль и строки с известными форматами секретов.
|
||||
|
||||
Закрытие вкладки не отменяет очередь. После открытия показывается текущее
|
||||
состояние; результаты находятся в памяти VPS до двух часов после завершения.
|
||||
Сводка очереди оформлена карточками: всего, обновляются, ожидают, успешно,
|
||||
ошибки, не подтверждено, остановлено и пропущено. Полоса прогресса считает
|
||||
обработанные устройства всех итоговых категорий; 100% не означает успех всех.
|
||||
Рядом с «Вернуться в Hub» есть «Обновить список роутеров»: после завершения
|
||||
очереди кнопка убирает её результаты и получает текущий список, имена и статусы.
|
||||
Во время работающей очереди она только обновляет статусы, не удаляя задачу.
|
||||
Обновление списка не запускает установку и не меняет введённую команду.
|
||||
В карточках отдельно показаны текущий Heartbeat, онлайн/офлайн и последний
|
||||
сообщённый статус Xray. Они обновляются каждые три секунды и не подменяют
|
||||
прошлый итог установки. Если Heartbeat устарел, старое состояние Xray явно
|
||||
помечается как последнее сообщение. Сброс завершённой очереди защищён CSRF и ID:
|
||||
запрос из старой вкладки не удалит более новую очередь.
|
||||
Перезапуск Hub прерывает очередь, но уже запущенный installer на роутере
|
||||
продолжает работу. После перезапуска Hub его итог нужно проверять отдельно.
|
||||
Роутеры с неработающим обратным SSH-туннелем обновить этим способом нельзя.
|
||||
@@ -49,7 +92,7 @@ powershell.exe -NoProfile -ExecutionPolicy Bypass -File "C:\Users\k.zolotarev95\
|
||||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "C:\Users\k.zolotarev95\Documents\openwrt overlay\vps\deploy-router-updates.ps1" -Vps "root@193.233.82.38" -Action Rollback
|
||||
```
|
||||
|
||||
Резервная копия: `/opt/owrt-remote/owrt-remote-hub.py.bak-before-router-updates-v117`.
|
||||
Резервная копия: `/opt/owrt-remote/owrt-remote-hub.py.bak-before-router-updates-control-v117`.
|
||||
Не устанавливай/не откатывай Hub, пока его очередь работает.
|
||||
|
||||
## Проверки
|
||||
@@ -57,9 +100,12 @@ powershell.exe -NoProfile -ExecutionPolicy Bypass -File "C:\Users\k.zolotarev95\
|
||||
`python -m unittest discover -s tests -p test_router_updates.py -v` проверяет
|
||||
последовательность, код результата, пароль, отказы подключения, обрыв после
|
||||
запуска, остановку очереди, повторный запрос, права/CSRF и ограниченный shell
|
||||
вывод. Реальный task исполняется в MSYS; там адаптирован только отсутствующий
|
||||
`setsid`. Синтаксис проверяется также BusyBox ash. Настоящий Linux `setsid`,
|
||||
вывод. Реальный task исполняется в MSYS; отсутствующий `setsid` заменён Perl
|
||||
обёрткой над его POSIX-вызовом. Проверяются остановка группы, локальный тайм-аут
|
||||
и получение короткого вывода до завершения установки. Синтаксис проверяется
|
||||
также BusyBox ash. Настоящий Linux `setsid`,
|
||||
Dropbear и обновление физического OpenWrt требуют проверки пользователем.
|
||||
|
||||
`node tests/test_router_updates_ui.cjs` проверяет desktop/mobile, ввод команды,
|
||||
очистку пароля, итоги, сохранение раскрытого вывода и возобновление просмотра.
|
||||
очистку пароля, итоги, дашборд из 35 устройств, обновление списка и живых статусов,
|
||||
сохранение раскрытого вывода и возобновление просмотра.
|
||||
+300
-14
@@ -35,6 +35,10 @@ class UpdatesTests(unittest.TestCase):
|
||||
self.manager = self.app.router_updates
|
||||
self.manager.POLL_SECONDS = .001
|
||||
self.manager.ROUTER_TIMEOUT = .02
|
||||
self.manager.CONNECTION_TIMEOUT = .015
|
||||
self.manager.LAUNCH_TIMEOUT = .01
|
||||
self.manager.SILENCE_TIMEOUT = .015
|
||||
self.manager.STOP_TIMEOUT = .01
|
||||
hub.save_auth_state({'username': 'owner', 'password': hub.password_digest('hub-password')})
|
||||
hub.save_sessions([])
|
||||
with self.app.conn() as conn:
|
||||
@@ -57,7 +61,7 @@ class UpdatesTests(unittest.TestCase):
|
||||
calls.append((row['id'], script, password))
|
||||
if 'exec setsid /bin/sh' in script:
|
||||
return 'OWRT_UPDATE_STARTED=1\nOWRT_UPDATE_NAME=' + b64('Советская 30' if row['id'] == 'main' else 'node-2')
|
||||
if 'OWRT_UPDATE_OUTPUT=' in script:
|
||||
if 'OWRT_UPDATE_OUTPUT_TEXT=' in script:
|
||||
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=' + ('0' if row['id'] == 'main' else '5') + '\nOWRT_UPDATE_OUTPUT=' + b64('ssh-secret\nhub_token=hidden\nCompleted')
|
||||
return ''
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
@@ -86,7 +90,7 @@ class UpdatesTests(unittest.TestCase):
|
||||
self.assertEqual(launches, ['main', 'node-2'])
|
||||
self.assertTrue(all(x['state'] == 'success' for x in job['items']))
|
||||
|
||||
def test_unknown_result_stops_queue_without_false_success_or_overlap(self):
|
||||
def test_disconnected_router_does_not_block_remaining_queue_or_claim_success(self):
|
||||
launches = []
|
||||
def ssh(row, script, password):
|
||||
if 'OWRT_UPDATE_READY=1' in script: return 'OWRT_UPDATE_READY=1\n'
|
||||
@@ -97,17 +101,20 @@ class UpdatesTests(unittest.TestCase):
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
self.manager.start('echo install', '', 'request-1234567892')
|
||||
job = self.finish()
|
||||
self.assertEqual(launches, ['main'])
|
||||
self.assertEqual([x['state'] for x in job['items']], ['unknown', 'skipped'])
|
||||
self.assertEqual(launches, ['main', 'node-2'])
|
||||
self.assertEqual([x['state'] for x in job['items']], ['unknown', 'unknown'])
|
||||
self.assertIn('SSH не отвечает', job['items'][0]['message'])
|
||||
self.assertIn('temporary disconnect', job['items'][0]['message'])
|
||||
|
||||
def test_duplicate_click_and_cancel_dont_launch_again_or_interrupt_current(self):
|
||||
def test_duplicate_click_and_cancel_stop_current_without_launching_next(self):
|
||||
entered, release = threading.Event(), threading.Event()
|
||||
def ssh(row, script, password):
|
||||
if 'OWRT_UPDATE_READY=1' in script: return 'OWRT_UPDATE_READY=1\n'
|
||||
if 'exec setsid /bin/sh' in script:
|
||||
entered.set(); release.wait(2)
|
||||
return 'OWRT_UPDATE_STARTED=1\n'
|
||||
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=0\n'
|
||||
if 'OWRT_UPDATE_CANCEL=1' in script: return 'OWRT_UPDATE_CANCEL=1\n'
|
||||
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=130\nOWRT_UPDATE_REASON=cancelled\n'
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
task = self.manager.start('echo install', '', 'request-1234567893')
|
||||
self.assertTrue(entered.wait(2))
|
||||
@@ -115,9 +122,94 @@ class UpdatesTests(unittest.TestCase):
|
||||
with self.assertRaises(RuntimeError):
|
||||
self.manager.start('echo install', '', 'request-1234567894')
|
||||
self.manager.cancel(task)
|
||||
self.assertEqual(self.manager.snapshot()['items'][1]['state'], 'skipped')
|
||||
release.set()
|
||||
job = self.finish()
|
||||
self.assertEqual([x['state'] for x in job['items']], ['success', 'skipped'])
|
||||
self.assertEqual([x['state'] for x in job['items']], ['cancelled', 'skipped'])
|
||||
|
||||
def test_silent_and_dead_installers_explain_failure_and_continue(self):
|
||||
self.manager.CONNECTION_TIMEOUT = .2
|
||||
for first_state in ['running', 'dead']:
|
||||
with self.subTest(first_state=first_state):
|
||||
cancelled = []
|
||||
def ssh(row, script, password):
|
||||
if 'OWRT_UPDATE_READY=1' in script: return 'OWRT_UPDATE_READY=1\n'
|
||||
if 'exec setsid /bin/sh' in script: return 'OWRT_UPDATE_STARTED=1\n'
|
||||
if 'OWRT_UPDATE_CANCEL=1' in script:
|
||||
cancelled.append(row['id'])
|
||||
return 'OWRT_UPDATE_CANCEL=1\n'
|
||||
if row['id'] == 'node-2': return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=0\n'
|
||||
if cancelled: return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=130\nOWRT_UPDATE_REASON=cancelled\n'
|
||||
return 'OWRT_UPDATE_STATE=' + first_state + '\n'
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
self.manager.start('echo install', '', 'request-silence-' + first_state)
|
||||
job = self.finish()
|
||||
self.assertEqual([x['state'] for x in job['items']], ['error', 'success'])
|
||||
self.assertIn('Нет нового вывода' if first_state == 'running' else 'без итогового кода', job['items'][0]['message'])
|
||||
|
||||
def test_normalizes_any_http_script_url_without_changing_full_commands(self):
|
||||
full = 'wget -O - "https://repo.example/install.sh?v=$(date +%s)" | sh'
|
||||
self.assertEqual(hub.normalize_router_update_command(full), full)
|
||||
for url in ['https://repo.example/a.sh', 'https://mirror.example/install.sh?q=one&v=2',
|
||||
"http://192.0.2.1:8080/a';touch${IFS}/tmp/sentinel;#.sh"]:
|
||||
command = hub.normalize_router_update_command(url)
|
||||
self.assertIn('download.sh', command)
|
||||
self.assertIn(hub.shlex.quote(url), command)
|
||||
self.assertIn('/bin/sh "$file"', command)
|
||||
with self.assertRaises(ValueError):
|
||||
hub.normalize_router_update_command('https://repo.example/path with space')
|
||||
|
||||
def test_transport_timeout_kills_reaps_and_removes_askpass(self):
|
||||
askpass = Path(self.temp.name) / 'askpass'
|
||||
askpass.mkdir()
|
||||
(askpass/'askpass.sh').write_text('fake')
|
||||
process = mock.Mock()
|
||||
process.communicate.side_effect = [subprocess.TimeoutExpired('ssh', 10), ('', '')]
|
||||
process.poll.return_value = None
|
||||
with mock.patch.object(hub.Handler, 'prepare_ssh_askpass', return_value=askpass), \
|
||||
mock.patch.object(hub.subprocess, 'Popen', return_value=process):
|
||||
with self.assertRaisesRegex(RuntimeError, 'нет ответа за 10 секунд'):
|
||||
self.manager._ssh({'ssh_entry_port': 19080}, 'echo ready', 'secret')
|
||||
process.kill.assert_called_once()
|
||||
self.assertEqual(process.communicate.call_count, 2)
|
||||
self.assertIsNone(self.manager.transport)
|
||||
self.assertFalse(askpass.exists())
|
||||
|
||||
def test_stop_interrupts_inflight_ssh_preflight_before_any_installation(self):
|
||||
entered, killed = threading.Event(), threading.Event()
|
||||
process = mock.Mock()
|
||||
process.returncode = -9
|
||||
process.poll.side_effect = lambda: -9 if killed.is_set() else None
|
||||
process.kill.side_effect = killed.set
|
||||
def communicate(*args, **kwargs):
|
||||
entered.set()
|
||||
killed.wait(2)
|
||||
return '', 'SSH connection closed'
|
||||
process.communicate.side_effect = communicate
|
||||
with mock.patch.object(hub.subprocess, 'Popen', return_value=process) as spawn:
|
||||
task = self.manager.start('echo install', '', 'request-cancel-transport')
|
||||
self.assertTrue(entered.wait(2))
|
||||
self.manager.cancel(task)
|
||||
job = self.finish()
|
||||
self.assertTrue(killed.is_set())
|
||||
self.assertEqual(spawn.call_count, 1)
|
||||
self.assertEqual([x['state'] for x in job['items']], ['cancelled', 'skipped'])
|
||||
|
||||
def test_missing_launch_and_router_side_timeout_do_not_hang_queue(self):
|
||||
for first_state in ['missing', 'timeout']:
|
||||
with self.subTest(first_state=first_state):
|
||||
def ssh(row, script, password):
|
||||
if 'OWRT_UPDATE_READY=1' in script: return 'OWRT_UPDATE_READY=1\n'
|
||||
if 'exec setsid /bin/sh' in script: return '' if first_state == 'missing' else 'OWRT_UPDATE_STARTED=1\n'
|
||||
if 'OWRT_UPDATE_CANCEL=1' in script: return 'OWRT_UPDATE_CANCEL=1\n'
|
||||
if row['id'] == 'node-2': return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=0\n'
|
||||
if first_state == 'missing': return 'OWRT_UPDATE_STATE=missing\n'
|
||||
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_REASON=timeout\nOWRT_UPDATE_RC=124\n'
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
self.manager.start('echo install', '', 'request-result-' + first_state)
|
||||
job = self.finish()
|
||||
self.assertNotEqual(job['items'][0]['state'], 'success')
|
||||
self.assertEqual(job['items'][1]['state'], 'success')
|
||||
|
||||
def test_missing_tunnel_and_invalid_input(self):
|
||||
with self.app.conn() as conn:
|
||||
@@ -179,6 +271,112 @@ class UpdatesTests(unittest.TestCase):
|
||||
self.assertIn('строка с ключом или паролем скрыта', safe)
|
||||
self.assertIn('Connection closed', safe)
|
||||
|
||||
def test_missing_router_tool_is_a_confirmed_preflight_failure_and_next_runs(self):
|
||||
launches = []
|
||||
def ssh(row, script, password):
|
||||
if 'OWRT_UPDATE_READY=1' in script:
|
||||
name = 'АНТОН ВПН' if row['id'] == 'main' else 'Второй роутер'
|
||||
response = 'OWRT_UPDATE_NAME_TEXT=' + name + '\n'
|
||||
if row['id'] == 'main':
|
||||
return response + ('OWRT_UPDATE_STATE=not_started\nOWRT_UPDATE_ERROR='
|
||||
'На роутере отсутствует утилита setsid. Команда обновления не запускалась.\n')
|
||||
return response + 'OWRT_UPDATE_READY=1\n'
|
||||
if 'exec setsid /bin/sh' in script:
|
||||
launches.append(row['id'])
|
||||
return 'OWRT_UPDATE_STARTED=1\n'
|
||||
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=0\n'
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
self.manager.start('echo install', '', 'request-tools-missing')
|
||||
job = self.finish()
|
||||
self.assertEqual(launches, ['node-2'])
|
||||
self.assertEqual([item['state'] for item in job['items']], ['error', 'success'])
|
||||
self.assertEqual(job['items'][0]['name'], 'АНТОН ВПН')
|
||||
self.assertIn('setsid', job['items'][0]['message'])
|
||||
self.assertIn('не запускалась', job['items'][0]['message'])
|
||||
self.assertNotIn('не подтвержден', job['items'][0]['message'].lower())
|
||||
|
||||
def test_staging_failure_does_not_poll_or_claim_uncertain_execution(self):
|
||||
calls = []
|
||||
def ssh(row, script, password):
|
||||
calls.append(script)
|
||||
if 'OWRT_UPDATE_READY=1' in script:
|
||||
return 'OWRT_UPDATE_READY=1\nOWRT_UPDATE_NAME_TEXT=АНТОН ВПН\n'
|
||||
if 'exec setsid /bin/sh' in script:
|
||||
return ('OWRT_UPDATE_STATE=not_started\nOWRT_UPDATE_ERROR='
|
||||
'Подготовка задачи на роутере завершилась ошибкой, rc=1. Команда обновления не запускалась.\n')
|
||||
self.fail('A known prelaunch failure must not be polled or cancelled')
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
self.manager.start('echo install', '', 'request-stage-failure')
|
||||
job = self.finish()
|
||||
self.assertEqual(len(calls), 4)
|
||||
self.assertTrue(all(item['state'] == 'error' for item in job['items']))
|
||||
|
||||
def test_banner_timeout_explains_stage_without_claiming_a_wrong_password(self):
|
||||
launches = []
|
||||
def ssh(row, script, password):
|
||||
if row['id'] == 'main':
|
||||
raise RuntimeError('Connection timed out during banner exchange\nConnection to 127.0.0.1 port 19080 timed out')
|
||||
if 'OWRT_UPDATE_READY=1' in script: return 'OWRT_UPDATE_READY=1\n'
|
||||
if 'exec setsid /bin/sh' in script:
|
||||
launches.append(row['id'])
|
||||
return 'OWRT_UPDATE_STARTED=1\n'
|
||||
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=0\n'
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
self.manager.start('echo install', 'secret', 'request-banner-timeout')
|
||||
job = self.finish()
|
||||
self.assertEqual(launches, ['node-2'])
|
||||
self.assertEqual([item['state'] for item in job['items']], ['error', 'success'])
|
||||
message = job['items'][0]['message']
|
||||
self.assertIn('SSH не прислал приветствие', message)
|
||||
self.assertIn('До проверки пароля дело не дошло', message)
|
||||
self.assertIn('Connection timed out during banner exchange', message)
|
||||
self.assertIn('Команда обновления не запускалась', message)
|
||||
|
||||
def test_plain_text_protocol_does_not_parse_installer_output_as_metadata(self):
|
||||
output = 'строка\nOWRT_UPDATE_RC=0\nOWRT_UPDATE_STATE=done\n'
|
||||
fields = hub.router_update_fields('OWRT_UPDATE_STATE=running\nOWRT_UPDATE_OUTPUT_TEXT=\n' + output)
|
||||
self.assertEqual(fields['STATE'], 'running')
|
||||
self.assertNotIn('RC', fields)
|
||||
self.assertEqual(fields['OUTPUT'], output)
|
||||
fields = hub.router_update_fields('OWRT_UPDATE_NAME_TEXT=АНТОН ВПН\nOWRT_UPDATE_READY=1\n')
|
||||
self.assertEqual(fields['NAME'], 'АНТОН ВПН')
|
||||
|
||||
def test_preflight_reads_uci_name_even_if_launch_fails(self):
|
||||
def ssh(row, script, password):
|
||||
if 'OWRT_UPDATE_READY=1' in script:
|
||||
return 'OWRT_UPDATE_NAME_TEXT=АНТОН ВПН\nOWRT_UPDATE_READY=1\n'
|
||||
return 'OWRT_UPDATE_STATE=not_started\nOWRT_UPDATE_ERROR=Недостаточно места; команда не запускалась\n'
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
self.manager.start('echo install', '', 'request-uci-name-read')
|
||||
job = self.finish()
|
||||
self.assertTrue(all(item['name'] == 'АНТОН ВПН' for item in job['items']))
|
||||
self.assertEqual([item['id'] for item in job['items']], ['main', 'node-2'])
|
||||
self.assertEqual(hub.router_update_name({'id': 'node-5', 'name': 'Роутер node-5'}),
|
||||
'Имя роутера не получено')
|
||||
self.assertEqual(hub.router_update_name({'id': 'node-5', 'custom_name': 'Имя карандашом'}, 'АНТОН ВПН'),
|
||||
'АНТОН ВПН')
|
||||
self.assertEqual(hub.router_update_name({'id': 'node-5', 'custom_name': 'Имя карандашом',
|
||||
'status_json': '{"name":"АНТОН ВПН"}'}), 'АНТОН ВПН')
|
||||
|
||||
def test_refresh_cannot_clear_running_or_newer_queue(self):
|
||||
entered, release = threading.Event(), threading.Event()
|
||||
def ssh(row, script, password):
|
||||
if 'OWRT_UPDATE_READY=1' in script:
|
||||
entered.set(); release.wait(2)
|
||||
return 'OWRT_UPDATE_READY=1\n'
|
||||
return 'OWRT_UPDATE_STATE=done\nOWRT_UPDATE_RC=0\n'
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
task = self.manager.start('echo install', '', 'request-refresh-active')
|
||||
self.assertTrue(entered.wait(2))
|
||||
self.manager.clear_finished(task)
|
||||
self.assertEqual(self.manager.snapshot()['id'], task)
|
||||
release.set()
|
||||
self.finish()
|
||||
self.manager.clear_finished('stale-browser-job')
|
||||
self.assertEqual(self.manager.snapshot()['id'], task)
|
||||
self.manager.clear_finished(task)
|
||||
self.assertIsNone(self.manager.snapshot())
|
||||
|
||||
def test_owner_only_api_csrf_and_page_default_hosting(self):
|
||||
class Quiet(hub.Handler):
|
||||
def log_message(self, *args): pass
|
||||
@@ -208,6 +406,13 @@ class UpdatesTests(unittest.TestCase):
|
||||
self.assertIn(self.manager.csrf, page)
|
||||
payload = {'command': 'echo install', 'ssh_password': '', 'request_id': 'request-1234567897'}
|
||||
self.assertEqual(request('/api/router-updates/start', payload)[0], 403)
|
||||
self.assertEqual(request('/api/router-updates/refresh', {'id': ''})[0], 403)
|
||||
status, body = request('/api/router-updates')
|
||||
self.assertEqual(status, 200)
|
||||
self.assertIn('online', json.loads(body)['routers'][0])
|
||||
with self.app.conn() as conn:
|
||||
conn.execute('update routers set last_seen=?, status_json=? where id=?',
|
||||
(hub.now_ts(), json.dumps({'name':'АНТОН ВПН', 'xray':'running'}), 'main'))
|
||||
self.assertEqual(request('/api/router-updates/start', payload, csrf=self.manager.csrf, origin='https://attacker.example')[0], 403)
|
||||
def ssh(row, script, password):
|
||||
if 'OWRT_UPDATE_READY=1' in script: return 'OWRT_UPDATE_READY=1\n'
|
||||
@@ -217,6 +422,18 @@ class UpdatesTests(unittest.TestCase):
|
||||
self.assertTrue(all(item['state'] == 'success' for item in self.finish()['items']))
|
||||
_, body = request('/api/router-updates')
|
||||
self.assertNotIn('ssh_password', body)
|
||||
data = json.loads(body)
|
||||
self.assertTrue(data['routers'][0]['online'])
|
||||
self.assertEqual(data['routers'][0]['xray'], 'running')
|
||||
self.assertIsNotNone(data['job'])
|
||||
with self.app.conn() as conn:
|
||||
conn.execute('update routers set last_seen=? where id=?', (hub.now_ts()-10000, 'main'))
|
||||
status, body = request('/api/router-updates/refresh', {'id': data['job']['id']}, csrf=self.manager.csrf)
|
||||
self.assertEqual(status, 200)
|
||||
data = json.loads(body)
|
||||
self.assertIsNone(data['job'])
|
||||
self.assertFalse(data['routers'][0]['online'])
|
||||
self.assertEqual(data['routers'][0]['name'], 'АНТОН ВПН')
|
||||
finally:
|
||||
server.shutdown(); server.server_close(); thread.join(3)
|
||||
|
||||
@@ -229,16 +446,27 @@ class RouterTaskTests(unittest.TestCase):
|
||||
root = Path(folder).as_posix()
|
||||
task_dir = root + '/task'
|
||||
env = {**os.environ, 'PATH': str(Path(shell).parent) + os.pathsep + os.environ['PATH']}
|
||||
# MSYS lacks a setsid command, but its Perl exposes the actual POSIX
|
||||
# syscall. Keep separate process groups, including real cancellation.
|
||||
setsid = Path(folder) / 'setsid'
|
||||
setsid.write_text('#!/usr/bin/perl\nuse POSIX (); POSIX::setsid() >= 0 or die "setsid: $!"; exec @ARGV; die "exec: $!";\n', encoding='utf-8', newline='\n')
|
||||
env['PATH'] = folder + os.pathsep + env['PATH']
|
||||
# Match minimal OpenWrt builds: invoking base64 must fail, even if
|
||||
# it is installed on the test host. Update transport needs none.
|
||||
Path(folder, 'base64').write_text('#!/bin/sh\necho "base64: applet not found" >&2\nexit 127\n', encoding='ascii', newline='\n')
|
||||
Path(folder, 'uci').write_text("#!/bin/sh\nprintf '%s\\n' 'АНТОН ВПН'\n", encoding='utf-8', newline='\n')
|
||||
def run(script):
|
||||
file = Path(folder) / 'invoke.sh'
|
||||
file.write_text(script.replace('/tmp/owrt-remote-update-fixture', task_dir), encoding='utf-8', newline='\n')
|
||||
return subprocess.run([shell, file.as_posix()], capture_output=True, text=True, env=env, timeout=8)
|
||||
return subprocess.run([shell, file.as_posix()], capture_output=True, text=True,
|
||||
encoding='utf-8', errors='replace', env=env, timeout=15)
|
||||
preflight = hub.router_update_fields(run(hub.router_update_preflight_script()).stdout)
|
||||
self.assertEqual(preflight['READY'], '1')
|
||||
self.assertEqual(preflight['NAME'], 'АНТОН ВПН')
|
||||
launch = hub.router_update_launch_script('fixture', 'i=0; while [ "$i" -lt 1200 ]; do echo "A line of output to keep in a bounded tail only"; i=$((i+1)); done; false | cat')
|
||||
# MSYS has FIFO/process support but no setsid applet. Linux OpenWrt
|
||||
# provides setsid; only that platform-specific syscall is adapted.
|
||||
result = run(launch.replace('command -v setsid', 'command -v sh').replace('exec setsid /bin/sh', 'exec /bin/sh'))
|
||||
result = run(launch)
|
||||
self.assertEqual(result.returncode, 0, result.stderr)
|
||||
deadline = time.monotonic() + 5
|
||||
deadline = time.monotonic() + 12
|
||||
while not (Path(task_dir)/'result').exists() and time.monotonic() < deadline:
|
||||
time.sleep(.05)
|
||||
polled = run(hub.router_update_poll_script('fixture'))
|
||||
@@ -252,8 +480,8 @@ class RouterTaskTests(unittest.TestCase):
|
||||
self.assertFalse(Path(task_dir).exists())
|
||||
# A successful command yields rc=0 only after completion, and a
|
||||
# replay of the same task cannot execute that command twice.
|
||||
good = hub.router_update_launch_script('fixture', 'echo run >>"' + root + '/runs"; echo installed')
|
||||
adapted = good.replace('command -v setsid', 'command -v sh').replace('exec setsid /bin/sh', 'exec /bin/sh')
|
||||
good = hub.router_update_launch_script('fixture', 'echo run >>"' + root + '/runs"; printf \'%s\\n\' \'АНТОН ВПН\'')
|
||||
adapted = good
|
||||
self.assertEqual(run(adapted).returncode, 0)
|
||||
self.assertEqual(run(adapted).returncode, 0)
|
||||
deadline = time.monotonic() + 5
|
||||
@@ -261,16 +489,74 @@ class RouterTaskTests(unittest.TestCase):
|
||||
time.sleep(.05)
|
||||
fields = hub.router_update_fields(run(hub.router_update_poll_script('fixture')).stdout)
|
||||
self.assertEqual(fields['RC'], '0')
|
||||
self.assertIn('АНТОН ВПН', fields['OUTPUT'])
|
||||
self.assertEqual((Path(folder)/'runs').read_text().splitlines(), ['run'])
|
||||
self.assertEqual(run(hub.router_update_poll_script('fixture', cleanup=True)).returncode, 0)
|
||||
# A short line must be visible while the installer is still alive.
|
||||
def wait_for(check, timeout=12):
|
||||
deadline = time.monotonic() + timeout
|
||||
while time.monotonic() < deadline:
|
||||
if check(): return
|
||||
time.sleep(.05)
|
||||
self.fail('Detached task did not reach expected state')
|
||||
task = Path(task_dir)
|
||||
run(hub.router_update_launch_script('fixture', 'echo small-progress; sleep 20; echo must-not-run >>"' + root + '/after-cancel"'))
|
||||
wait_for(lambda: (task/'output').exists() and 'small-progress' in (task/'output').read_text())
|
||||
self.assertFalse((task/'result').exists())
|
||||
self.assertIn('OWRT_UPDATE_CANCEL=1', run(hub.router_update_cancel_script('fixture')).stdout)
|
||||
wait_for(lambda: (task/'result').exists())
|
||||
fields = hub.router_update_fields(run(hub.router_update_poll_script('fixture')).stdout)
|
||||
self.assertEqual(fields['RC'], '130')
|
||||
self.assertEqual(fields['REASON'], 'cancelled')
|
||||
self.assertFalse((Path(folder)/'after-cancel').exists())
|
||||
run(hub.router_update_poll_script('fixture', cleanup=True))
|
||||
run(hub.router_update_launch_script('fixture', 'echo must-not-run'))
|
||||
self.assertFalse((task/'command.sh').exists(), 'A delayed launch after stop must remain blocked')
|
||||
(task/'cancel').unlink()
|
||||
task.rmdir()
|
||||
# A lost VPS connection cannot disable the router's own watchdog.
|
||||
run(hub.router_update_launch_script('fixture', 'sleep 20', timeout=1))
|
||||
wait_for(lambda: (task/'result').exists())
|
||||
fields = hub.router_update_fields(run(hub.router_update_poll_script('fixture')).stdout)
|
||||
self.assertEqual(fields['RC'], '124')
|
||||
self.assertEqual(fields['REASON'], 'timeout')
|
||||
run(hub.router_update_poll_script('fixture', cleanup=True))
|
||||
# A daemon inheriting stdout must not hold result publication open.
|
||||
command = 'sleep 12 & echo $! >"' + root + '/inherited-pid"; echo installed'
|
||||
run(hub.router_update_launch_script('fixture', command))
|
||||
wait_for(lambda: (task/'result').exists(), timeout=8)
|
||||
fields = hub.router_update_fields(run(hub.router_update_poll_script('fixture')).stdout)
|
||||
self.assertEqual(fields['RC'], '0')
|
||||
run('kill "$(cat "' + root + '/inherited-pid")" 2>/dev/null || true\n')
|
||||
run(hub.router_update_poll_script('fixture', cleanup=True))
|
||||
# A cancellation arriving before launch cannot start an installer.
|
||||
run(hub.router_update_cancel_script('fixture'))
|
||||
run(hub.router_update_launch_script('fixture', 'echo must-not-run'))
|
||||
self.assertFalse((task/'command.sh').exists())
|
||||
self.assertFalse((task/'pid').exists())
|
||||
self.assertEqual(hub.router_update_fields(run(hub.router_update_poll_script('fixture')).stdout)['RC'], '130')
|
||||
run(hub.router_update_poll_script('fixture', cleanup=True))
|
||||
(task/'cancel').unlink()
|
||||
task.rmdir()
|
||||
# All generated shell scripts must also parse under real BusyBox ash.
|
||||
busybox = ROOT / '.test-output/busybox/busybox64.exe'
|
||||
script = Path(folder)/'syntax.sh'
|
||||
# Execute the generated command decoder under BusyBox ash itself,
|
||||
# including UTF-8 bytes, without requiring any base64 applet.
|
||||
decode = next(line for line in good.splitlines() if "printf '%b'" in line)
|
||||
script.write_text(decode.split(' >"$job/command.sh"', 1)[0], encoding='ascii', newline='\n')
|
||||
decoded = subprocess.run([str(busybox), 'ash', str(script)], capture_output=True)
|
||||
self.assertEqual(decoded.returncode, 0, decoded.stderr)
|
||||
self.assertEqual(decoded.stdout, ('echo run >>"' + root + '/runs"; printf \'%s\\n\' \'АНТОН ВПН\'').encode('utf-8'))
|
||||
script.write_text(launch, encoding='utf-8', newline='\n')
|
||||
self.assertEqual(subprocess.run([str(busybox), 'ash', '-n', str(script)], capture_output=True).returncode, 0)
|
||||
script.write_text(hub.router_update_cancel_script('fixture'), encoding='utf-8', newline='\n')
|
||||
self.assertEqual(subprocess.run([str(busybox), 'ash', '-n', str(script)], capture_output=True).returncode, 0)
|
||||
runner = launch.split("<<'OWRT_UPDATE_RUNNER'\n", 1)[1].split('\nOWRT_UPDATE_RUNNER', 1)[0]
|
||||
script.write_text(runner, encoding='utf-8', newline='\n')
|
||||
self.assertEqual(subprocess.run([str(busybox), 'ash', '-n', str(script)], capture_output=True).returncode, 0)
|
||||
script.write_text(hub.router_update_preflight_script(), encoding='utf-8', newline='\n')
|
||||
self.assertEqual(subprocess.run([str(busybox), 'ash', '-n', str(script)], capture_output=True).returncode, 0)
|
||||
|
||||
|
||||
if __name__ == '__main__': unittest.main()
|
||||
@@ -3,6 +3,7 @@ import os
|
||||
from pathlib import Path
|
||||
import shutil
|
||||
import subprocess
|
||||
import sys
|
||||
import tempfile
|
||||
import unittest
|
||||
|
||||
@@ -20,7 +21,7 @@ class RouterUpdatesDeployTests(unittest.TestCase):
|
||||
self.target = self.root / 'hub.py'
|
||||
self.previous = b'print("previous Hub")\n'
|
||||
self.target.write_bytes(self.previous)
|
||||
self.backup = self.root / 'hub.py.bak-before-router-updates-v117'
|
||||
self.backup = self.root / 'hub.py.bak-before-router-updates-control-v117'
|
||||
source = (ROOT / 'vps/deploy-router-updates.ps1').read_text(encoding='utf-8')
|
||||
self.script = source.split("$RemoteScript = @'\n", 1)[1].split("\n'@", 1)[0]
|
||||
self.script = self.script.replace('/opt/owrt-remote/owrt-remote-hub.py', self.target.as_posix())
|
||||
@@ -76,6 +77,38 @@ sleep() { return 0; }
|
||||
self.assertNotEqual(self.deploy('Rollback').returncode, 0)
|
||||
self.assertEqual(self.target.read_bytes(), self.previous)
|
||||
|
||||
@unittest.skipUnless(os.name == 'nt' and shutil.which('powershell.exe'),
|
||||
'Windows PowerShell required')
|
||||
def test_windows_powershell_preserves_remote_validation(self):
|
||||
deploy = ROOT / 'vps/deploy-router-updates.ps1'
|
||||
# Without a BOM, Windows PowerShell 5.1 decodes source using the ANSI
|
||||
# code page. Keep the deployment source ASCII and test the actual
|
||||
# PowerShell-to-UTF-8 staging boundary, not just the extracted heredoc.
|
||||
self.assertTrue(deploy.read_bytes().isascii())
|
||||
result = subprocess.run(
|
||||
['powershell.exe', '-NoProfile', '-ExecutionPolicy', 'Bypass',
|
||||
'-File', str(deploy), '-Vps', 'unused-local-test', '-PrepareOnly'],
|
||||
capture_output=True, encoding='utf-8', errors='replace', timeout=25,
|
||||
env={**os.environ, 'TEMP': str(self.root), 'TMP': str(self.root)})
|
||||
self.assertEqual(result.returncode, 0, result.stderr)
|
||||
prepared = next(line.removeprefix('Prepared only: ').strip()
|
||||
for line in result.stdout.splitlines()
|
||||
if line.startswith('Prepared only: '))
|
||||
stage = Path(prepared)
|
||||
self.assertEqual(stage.resolve().parent, self.root.resolve())
|
||||
self.assertTrue(stage.name.startswith('owrt-router-updates-'))
|
||||
remote = stage.joinpath('run.sh').read_bytes()
|
||||
self.assertTrue(remote.isascii())
|
||||
self.assertNotIn(b'\r', remote)
|
||||
expected_hub = (ROOT / 'vps/owrt-remote-hub.py').read_bytes().replace(b'\r\n', b'\n')
|
||||
self.assertEqual(stage.joinpath('hub.py').read_bytes(), expected_hub)
|
||||
validation = remote.decode('ascii').split("<<'PY'\n", 1)[1].split('\nPY\n', 1)[0]
|
||||
checked = subprocess.run([sys.executable, '-', str(stage / 'hub.py')],
|
||||
input=validation, encoding='utf-8',
|
||||
capture_output=True, timeout=10)
|
||||
self.assertEqual(checked.returncode, 0, checked.stderr)
|
||||
self.assertIn('Candidate validation OK', checked.stdout)
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
unittest.main()
|
||||
@@ -18,20 +18,32 @@ with tempfile.TemporaryDirectory() as state:
|
||||
out.joinpath('dashboard.html').write_text(hub.dashboard_html([],'owner',auth_bootstrap={'username':'owner','is_owner':True}),encoding='utf-8')
|
||||
print(hub.RAW_REPO_BASE)
|
||||
`], {env:{...process.env,PYTHONIOENCODING:'utf-8'},encoding:'utf-8'}).trim();
|
||||
let job = null, starts = [], polls = 0;
|
||||
let job = null, routers = [], starts = [], polls = 0;
|
||||
function data() {return {ok:true,job,routers};}
|
||||
function send(res, data) {res.setHeader('Content-Type','application/json');res.end(JSON.stringify(data));}
|
||||
const server = http.createServer((req,res)=>{
|
||||
const url=new URL(req.url,'http://localhost');
|
||||
if(url.pathname==='/api/router-updates') {polls++;return send(res,{job,routers:[{id:'main',name:'Советская 30'}]});}
|
||||
if(url.pathname==='/api/router-updates') {polls++;return send(res,data());}
|
||||
if(url.pathname==='/api/router-updates/refresh') {
|
||||
assert.equal(req.headers['x-router-update-csrf'],'test-csrf');
|
||||
let body='';req.on('data',chunk=>body+=chunk);req.on('end',()=>{
|
||||
const payload=JSON.parse(body);
|
||||
if(job&&job.id===payload.id&&job.state!=='running')job=null;
|
||||
send(res,data());
|
||||
});return;
|
||||
}
|
||||
if(url.pathname==='/api/router-updates/start') {
|
||||
assert.equal(req.headers['x-router-update-csrf'],'test-csrf');
|
||||
let body='';req.on('data',data=>body+=data);req.on('end',()=>{
|
||||
const payload=JSON.parse(body);starts.push(payload);
|
||||
job={id:'test-task',request_id:payload.request_id,state:'running',cancel_requested:false,items:[{id:'main',name:'Советская 30',state:'running',message:'Установка выполняется',output:'one\ntwo'}]};
|
||||
send(res,{ok:true,job});
|
||||
job={id:'test-task',request_id:payload.request_id,state:'running',cancel_requested:false,items:[{id:'node-5',name:'АНТОН ВПН',state:'running',message:'Установка выполняется',output:'one\ntwo'}]};
|
||||
send(res,data());
|
||||
});return;
|
||||
}
|
||||
if(url.pathname==='/api/router-updates/cancel') {job.cancel_requested=true;return send(res,{job});}
|
||||
if(url.pathname==='/api/router-updates/cancel') {
|
||||
job.cancel_requested=true;job.state='finished';job.items[0].state='cancelled';
|
||||
job.items[0].message='Остановка на роутере подтверждена';return send(res,data());
|
||||
}
|
||||
if(url.pathname==='/api/auth/meta')return send(res,{username:'owner',is_owner:true,users:[],sessions:[],captcha:{mode:'digits'}});
|
||||
if(url.pathname.startsWith('/api/'))return send(res,{});
|
||||
res.setHeader('Content-Type','text/html; charset=utf-8');
|
||||
@@ -43,13 +55,19 @@ const server = http.createServer((req,res)=>{
|
||||
try {
|
||||
for(const mobile of [false,true]) {
|
||||
job=null;
|
||||
routers=[{id:'node-5',name:'АНТОН ВПН',online:true,last_seen:Math.floor(Date.now()/1000),xray:'running'}];
|
||||
const page=await browser.newPage({viewport:mobile?{width:390,height:844}:{width:1280,height:900},isMobile:mobile,hasTouch:mobile});
|
||||
const errors=[];page.on('pageerror',error=>errors.push(error.message));
|
||||
const base=`http://127.0.0.1:${server.address().port}`;
|
||||
await page.goto(base+'/router-updates/');
|
||||
await page.waitForFunction(()=>!document.getElementById('start').disabled);
|
||||
assert.equal(await page.locator('.router strong').textContent(),'АНТОН ВПН');
|
||||
assert.equal(await page.locator('.router small').textContent(),'ID: node-5');
|
||||
assert.equal(await page.locator('#countTotal').textContent(),'1');
|
||||
assert.equal(await page.locator('#countSuccess').textContent(),'0');
|
||||
assert.equal(await page.locator('.live-badge').textContent(),'● Онлайн');
|
||||
assert.equal(await page.locator('#command').inputValue(),'wget -O - "'+defaultRepo+'/install.sh?v=$(date +%s)" | sh');
|
||||
const command='wget -O - "https://repo.example/install.sh?v=$(date +%s)" | sh';
|
||||
const command=mobile?'https://another.example/updates/router.sh?v=2&from=hub':'wget -O - "https://repo.example/install.sh?v=$(date +%s)" | sh';
|
||||
await page.locator('#command').fill(command);
|
||||
await page.locator('#sshPassword').fill('test-password');
|
||||
await page.locator('#start').click();
|
||||
@@ -58,6 +76,7 @@ const server = http.createServer((req,res)=>{
|
||||
assert.equal(await page.locator('#sshPassword').inputValue(),'');
|
||||
assert.equal(await page.locator('#start').isDisabled(),true);
|
||||
assert.equal(await page.locator('#cancel').isEnabled(),true);
|
||||
assert.equal(await page.locator('#countActive').textContent(),'1');
|
||||
await page.locator('summary').click();
|
||||
job.items[0].output+='\nupdated';
|
||||
await page.waitForFunction(()=>document.querySelector('pre').textContent.includes('updated'));
|
||||
@@ -66,19 +85,55 @@ const server = http.createServer((req,res)=>{
|
||||
await page.waitForFunction(()=>document.getElementById('cancel').disabled===false);
|
||||
const count=starts.length;
|
||||
assert.equal(await page.locator('#start').isDisabled(),true);
|
||||
routers[0].online=false;routers[0].xray='stopped';
|
||||
await page.locator('#refreshRouters').click();
|
||||
await page.waitForFunction(()=>document.getElementById('status').textContent.includes('Статусы обновлены'));
|
||||
assert.equal(job.state,'running');
|
||||
assert.equal(starts.length,count);
|
||||
assert.equal(await page.locator('.live-badge').textContent(),'● Офлайн');
|
||||
assert.equal(await page.locator('#countActive').textContent(),'1');
|
||||
assert.equal(await page.locator('#start').isDisabled(),true);
|
||||
if(mobile) {
|
||||
await page.locator('#cancel').click();
|
||||
await page.waitForFunction(()=>document.getElementById('status').textContent.includes('остальные роутеры будут пропущены'));
|
||||
await page.waitForFunction(()=>document.querySelector('.router strong').textContent==='Остановлено — АНТОН ВПН');
|
||||
assert.equal(job.cancel_requested,true);
|
||||
assert.equal(await page.locator('#cancel').isDisabled(),true);
|
||||
assert.equal(await page.locator('#cancel').textContent(),'Остановить всё');
|
||||
}
|
||||
job.state='finished';job.items[0].state='success';job.items[0].message='Установка успешно завершена, rc=0';
|
||||
await page.waitForFunction(()=>document.getElementById('status').textContent.includes('Очередь завершена'));
|
||||
assert.equal(await page.locator('.router strong').textContent(),'Успешно — Советская 30');
|
||||
await page.waitForFunction(()=>document.querySelector('.router strong').textContent==='Успешно — АНТОН ВПН');
|
||||
assert.equal(await page.locator('.router strong').textContent(),'Успешно — АНТОН ВПН');
|
||||
assert.equal(await page.locator('#countSuccess').textContent(),'1');
|
||||
assert.equal(await page.locator('#queueProgress').getAttribute('aria-valuenow'),'100');
|
||||
await page.locator('#command').fill(command);
|
||||
assert.equal(starts.length,count);
|
||||
assert.equal(await page.evaluate(()=>document.documentElement.scrollWidth<=innerWidth),true);
|
||||
assert.equal(await page.evaluate(()=>JSON.stringify({...localStorage,...sessionStorage}).includes('test-password')),false);
|
||||
await page.screenshot({path:path.join(root,mobile?'mobile.png':'desktop.png'),fullPage:true});
|
||||
// Match the user's example exactly, including all finished outcomes.
|
||||
job.items=Array.from({length:35},(_,i)=>({id:'node-'+(i+1),name:'Роутер '+(i+1),state:i<21?'success':i<25?'error':i<26?'unknown':i<27?'cancelled':'skipped',message:'Итог установки'}));
|
||||
await page.waitForFunction(()=>document.getElementById('countTotal').textContent==='35');
|
||||
for(const [key,value] of Object.entries({Success:21,Error:4,Unknown:1,Cancelled:1,Skipped:8,Total:35,Active:0,Queued:0})) {
|
||||
assert.equal(await page.locator('#count'+key).textContent(),String(value));
|
||||
}
|
||||
assert.equal(await page.locator('#queueProgress').getAttribute('aria-valuenow'),'100');
|
||||
await page.locator('.queue-dashboard').screenshot({path:path.join(root,mobile?'mobile-summary.png':'desktop-summary.png')});
|
||||
routers=[{id:'node-5',name:'АНТОН ВПН',online:true,last_seen:Math.floor(Date.now()/1000),xray:'running'},{id:'node-36',name:'Новый роутер',online:false,last_seen:0,xray:'unknown'}];
|
||||
await page.locator('#refreshRouters').click();
|
||||
await page.waitForFunction(()=>document.getElementById('status').textContent.includes('Можно запустить новую очередь'));
|
||||
assert.equal(job,null);
|
||||
assert.equal(starts.length,count,'Refresh must never execute an update');
|
||||
assert.equal(await page.locator('.router').count(),2);
|
||||
assert.equal(await page.locator('.router strong').first().textContent(),'АНТОН ВПН');
|
||||
assert.equal(await page.locator('#countTotal').textContent(),'2');
|
||||
assert.equal(await page.locator('#countSuccess').textContent(),'0');
|
||||
assert.equal(await page.locator('#start').isEnabled(),true);
|
||||
assert.equal(await page.locator('#command').inputValue(),command);
|
||||
await page.reload();
|
||||
await page.waitForFunction(()=>document.getElementById('countTotal').textContent==='2');
|
||||
assert.equal(await page.locator('#countSuccess').textContent(),'0');
|
||||
assert.equal(await page.evaluate(()=>document.documentElement.scrollWidth<=innerWidth),true);
|
||||
assert.deepEqual(errors,[]);
|
||||
await page.close();
|
||||
}
|
||||
@@ -89,6 +144,6 @@ const server = http.createServer((req,res)=>{
|
||||
assert.equal(await link.getAttribute('href'),'/router-updates/');
|
||||
assert.match(await link.getAttribute('rel'),/noopener/);
|
||||
await dashboard.close();
|
||||
console.log('Router updates desktop/mobile UI, polling, reload, privacy and new-tab link: PASS');
|
||||
console.log('Router updates desktop/mobile dashboard, live statuses, refresh, polling, reload, privacy and new-tab link: PASS');
|
||||
} finally {await browser.close();await new Promise(resolve=>server.close(resolve));}
|
||||
})().catch(error=>{console.error(error);process.exitCode=1;});
|
||||
@@ -15,7 +15,7 @@ $RemoteScript = @'
|
||||
set -eu
|
||||
stage=/tmp/__UPLOAD_NAME__
|
||||
target=/opt/owrt-remote/owrt-remote-hub.py
|
||||
backup=/opt/owrt-remote/owrt-remote-hub.py.bak-before-router-updates-v117
|
||||
backup=/opt/owrt-remote/owrt-remote-hub.py.bak-before-router-updates-control-v117
|
||||
candidate=$target.new-__UPLOAD_NAME__
|
||||
changed=0
|
||||
|
||||
@@ -63,6 +63,15 @@ required = (
|
||||
"def router_updates_api(self, action=''):",
|
||||
"X-Router-Update-CSRF",
|
||||
"router_update_launch_script",
|
||||
"def normalize_router_update_command(command):",
|
||||
"def router_update_cancel_script(task_id):",
|
||||
"def router_update_preflight_script():",
|
||||
"OWRT_UPDATE_NAME_TEXT=",
|
||||
"OWRT_UPDATE_OUTPUT_TEXT=",
|
||||
"refreshRouters",
|
||||
"queue-dashboard",
|
||||
"def clear_finished(self, job_id):",
|
||||
"\u041e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0432\u0441\u0451",
|
||||
"routerUpdatesGroup",
|
||||
"app.router_updates.stop()",
|
||||
)
|
||||
|
||||
+396
-76
@@ -20,6 +20,7 @@ import re
|
||||
import secrets
|
||||
import select
|
||||
import signal
|
||||
import shlex
|
||||
import socket
|
||||
import ssl
|
||||
import sqlite3
|
||||
@@ -12224,39 +12225,56 @@ def router_updates_html(csrf):
|
||||
*{box-sizing:border-box}body{min-height:100vh;margin:0;background:#07040f;background-image:radial-gradient(circle at 16% 10%,#a855f740,transparent 35%),linear-gradient(145deg,#07040f,#120a24 54%,#05030a);background-attachment:fixed;color:#f7f2ff;font:14px/1.5 system-ui,sans-serif}
|
||||
.wrap{max-width:1100px;margin:auto;padding:20px}.panel{margin-bottom:14px;padding:18px;border:1px solid var(--line);border-radius:12px;background:#191226e8}.head,.actions{display:flex;align-items:center;justify-content:space-between;gap:10px;flex-wrap:wrap}h1{font-size:22px;margin:0}h2{font-size:16px;margin:0 0 10px}.hint{color:var(--muted);font-size:13px}.note{margin:14px 0;padding:10px 12px;border:1px solid #f59e0b70;border-left:3px solid #f59e0b;border-radius:8px;background:#f59e0b12;color:#fde68a}
|
||||
label{display:block;margin:14px 0 6px;font-weight:700}textarea,input{display:block;width:100%;min-width:0;border:1px solid var(--line);border-radius:8px;background:#0d0917;color:#f7f2ff;padding:11px;font:14px/1.5 ui-monospace,Consolas,monospace}textarea{min-height:110px;resize:vertical}input{max-width:480px}button,.btn{display:inline-flex;align-items:center;justify-content:center;min-height:42px;border:1px solid var(--line);border-radius:8px;padding:9px 14px;background:#393044;color:#f7f2ff;font:700 13px system-ui;cursor:pointer;text-decoration:none}.primary{background:#7c3aed}button:disabled{opacity:.5;cursor:default}.actions{justify-content:flex-start;margin-top:16px}.ok{color:#86efac}.error{color:#fda4af}.warn{color:#fde68a}#status{margin:12px 0;overflow-wrap:anywhere}.router{border-top:1px solid var(--line);padding:13px 0}.router:first-child{border-top:0}.router strong{display:block;overflow-wrap:anywhere}.router p{margin:5px 0;overflow-wrap:anywhere}.router small{color:var(--muted)}pre{max-height:260px;overflow:auto;white-space:pre-wrap;overflow-wrap:anywhere;background:#0d0917;border:1px solid var(--line);border-radius:8px;padding:10px;font:12px/1.5 ui-monospace,Consolas,monospace}summary{cursor:pointer;color:var(--muted)}
|
||||
@media(max-width:680px){.wrap{padding:10px}.panel{padding:12px}.head{align-items:stretch;flex-direction:column}h1{font-size:19px}.actions{display:grid;grid-template-columns:1fr}.btn,button{width:100%}input{max-width:none}body{background-attachment:scroll}}
|
||||
.head-actions{display:flex;gap:8px;flex-wrap:wrap}.queue-dashboard{margin:18px 0 14px;padding:18px;border:1px solid var(--line);border-radius:12px;background:linear-gradient(120deg,#30203e90,#141521b0)}.queue-heading{display:flex;align-items:center;justify-content:space-between;gap:12px;margin-bottom:12px}.queue-heading h2{margin:0;font-size:17px}.queue-badge{padding:4px 10px;border:1px solid #a78bfa50;border-radius:20px;background:#a78bfa12;color:#d8c8ff;font-size:12px;font-weight:700}.progress-label{display:flex;justify-content:space-between;gap:12px;margin-bottom:7px;color:var(--muted);font-size:12px}.progress-track{height:7px;overflow:hidden;border-radius:8px;background:#ffffff0b}.progress-fill{height:100%;width:0;background:linear-gradient(90deg,#8b5cf6,#38bdf8);border-radius:8px;transition:width .25s}.metrics{display:grid;grid-template-columns:repeat(4,minmax(0,1fr));gap:10px;margin-top:16px}.metric{--accent:#c4b5fd;min-width:0;padding:13px 12px;border:1px solid #ffffff12;border-top:2px solid var(--accent);border-radius:9px;background:#100b1b90}.metric[data-state=success]{--accent:#86efac}.metric[data-state=error]{--accent:#fda4af}.metric[data-state=unknown]{--accent:#fcd34d}.metric[data-state=cancelled]{--accent:#fdba74}.metric[data-state=skipped]{--accent:#b9adc9}.metric[data-state=active]{--accent:#7dd3fc}.metric span{display:block;color:var(--muted);font-size:12px;overflow-wrap:anywhere}.metric strong{display:block;margin-top:5px;color:var(--accent);font-size:27px;line-height:1.1;font-variant-numeric:tabular-nums}.router-live{display:flex;align-items:center;gap:7px;flex-wrap:wrap;margin:7px 0;color:var(--muted);font-size:12px}.live-badge{padding:2px 8px;border-radius:20px;background:#ffffff08;border:1px solid #ffffff16}.live-badge.online{color:#86efac;border-color:#86efac40;background:#86efac0a}.live-badge.offline{color:#fda4af;border-color:#fda4af40;background:#fda4af0a}
|
||||
@media(max-width:680px){.wrap{padding:10px}.panel{padding:12px}.head{align-items:stretch;flex-direction:column}h1{font-size:19px}.actions,.head-actions{display:grid;grid-template-columns:1fr}.btn,button{width:100%}input{max-width:none}body{background-attachment:scroll}.queue-dashboard{padding:12px}.queue-heading{align-items:flex-start}.queue-heading h2{font-size:16px}.metrics{grid-template-columns:repeat(2,minmax(0,1fr));gap:8px}.metric{padding:12px}.metric strong{font-size:26px}}
|
||||
</style></head><body><main class="wrap">
|
||||
<section class="panel"><div class="head"><h1>Обновить все роутеры разом</h1><a class="btn" href="/">Вернуться в Hub</a></div>
|
||||
<section class="panel"><div class="head"><h1>Обновить все роутеры разом</h1><div class="head-actions"><button id="refreshRouters" type="button" disabled>Обновить список роутеров</button><a class="btn" href="/">Вернуться в Hub</a></div></div>
|
||||
<blockquote class="note">Команда выполняется на роутерах по очереди через SSH. Укажи один общий SSH-пароль root. Для каждого роутера будет отдельный итог. Если туннель не работает, обновить этот роутер через VPS не получится.</blockquote>
|
||||
<form id="updateForm"><label for="command">Команда обновления</label><textarea id="command" name="command" required maxlength="8192" autocapitalize="off" autocorrect="off" spellcheck="false">__COMMAND__</textarea>
|
||||
<form id="updateForm"><label for="command">Ссылка или команда обновления</label><textarea id="command" name="command" required maxlength="8192" autocapitalize="off" autocorrect="off" spellcheck="false">__COMMAND__</textarea>
|
||||
<div class="hint">Вставь прямую ссылку HTTP/HTTPS на установочный shell-скрипт с любого своего источника или полную команду. Для ссылки загрузка и запуск выполняются автоматически.</div>
|
||||
<label for="sshPassword">Общий SSH-пароль root на роутерах</label><input id="sshPassword" name="ssh_password" type="password" autocomplete="off" autocapitalize="off" autocorrect="off" spellcheck="false" placeholder="Оставь пустым, если настроен SSH-ключ">
|
||||
<div class="hint">Пароль используется только текущей очередью и не сохраняется на диске или в браузере. Закрытие вкладки не останавливает обновления. Перезапуск Hub прерывает очередь; начатая установка на роутере продолжает работать.</div>
|
||||
<div class="actions"><button class="primary" id="start" type="submit" disabled>Обновить все по очереди</button><button id="cancel" type="button" disabled>Остановить очередь после текущего</button></div></form>
|
||||
<div class="actions"><button class="primary" id="start" type="submit" disabled>Обновить все по очереди</button><button id="cancel" type="button" disabled>Остановить всё</button></div></form>
|
||||
<div class="hint">«Остановить всё» сразу прекращает очередь и отправляет остановку текущей задачи. Уже внесённые установщиком изменения не откатываются. Если SSH недоступен, панель покажет, что остановка на роутере не подтверждена.</div>
|
||||
<section class="queue-dashboard" aria-label="Статистика очереди"><div class="queue-heading"><h2 id="queueTitle">Список роутеров</h2><span class="queue-badge" id="queueBadge">Загрузка</span></div>
|
||||
<div class="progress-label"><span id="progressText">Получаю данные…</span><span id="progressPercent">0%</span></div><div class="progress-track" id="queueProgress" role="progressbar" aria-label="Ход очереди" aria-valuemin="0" aria-valuemax="100" aria-valuenow="0"><div class="progress-fill" id="progressFill"></div></div>
|
||||
<div class="metrics"><div class="metric" data-state="total"><span>Всего роутеров</span><strong id="countTotal">0</strong></div><div class="metric" data-state="active"><span>Обновляются</span><strong id="countActive">0</strong></div><div class="metric" data-state="queued"><span>Ожидают</span><strong id="countQueued">0</strong></div><div class="metric" data-state="success"><span>Успешно</span><strong id="countSuccess">0</strong></div><div class="metric" data-state="error"><span>Ошибок</span><strong id="countError">0</strong></div><div class="metric" data-state="unknown"><span>Не подтверждено</span><strong id="countUnknown">0</strong></div><div class="metric" data-state="cancelled"><span>Остановлено</span><strong id="countCancelled">0</strong></div><div class="metric" data-state="skipped"><span>Пропущено</span><strong id="countSkipped">0</strong></div></div></section>
|
||||
<div id="status" role="status" aria-live="polite">Получаю список роутеров…</div></section>
|
||||
<section class="panel"><h2>Ход обновления</h2><div id="results"></div></section>
|
||||
<section class="panel"><h2>Роутеры</h2><div class="hint">Текущая связь определяется по Heartbeat. Итог установки показан отдельно и не означает, что роутер сейчас онлайн.</div><div id="results"></div></section>
|
||||
</main><script>
|
||||
(()=>{
|
||||
const csrf=__CSRF__, endpoint='/api/router-updates', form=document.getElementById('updateForm'), command=document.getElementById('command'), password=document.getElementById('sshPassword'), start=document.getElementById('start'), cancel=document.getElementById('cancel'), status=document.getElementById('status'), results=document.getElementById('results');
|
||||
let timer=null, pending=false, job=null, lastRender='', stopped=false, generation=0;
|
||||
const refreshRouters=document.getElementById('refreshRouters');
|
||||
let timer=null, pending=false, refreshing=false, job=null, routers=[], lastRender='', stopped=false, generation=0;
|
||||
let requestId='';
|
||||
const requestKey='owrt-router-update-request';
|
||||
try{requestId=sessionStorage.getItem(requestKey)||'';}catch(error){}
|
||||
function requestToken(){if(!requestId){const bytes=crypto.getRandomValues(new Uint8Array(16));requestId=Array.from(bytes,n=>n.toString(16).padStart(2,'0')).join('');try{sessionStorage.setItem(requestKey,requestId);}catch(error){}}return requestId;}
|
||||
function forgetRequest(){requestId='';try{sessionStorage.removeItem(requestKey);}catch(error){}}
|
||||
function controls(){const active=job&&job.state==='running';start.disabled=pending||active;command.disabled=pending||active;password.disabled=pending||active;cancel.disabled=pending||!active||job.cancel_requested;}
|
||||
function controls(){const active=job&&job.state==='running';start.disabled=pending||active;command.disabled=pending||active;password.disabled=pending||active;cancel.disabled=pending||!active||job.cancel_requested;refreshRouters.disabled=pending;refreshRouters.textContent=refreshing?'Обновляю список…':'Обновить список роутеров';}
|
||||
function dashboard(){
|
||||
const items=job?job.items:[],count=state=>items.filter(x=>x.state===state).length,counts={Total:job?items.length:routers.length,Active:items.filter(x=>['connecting','running','cancelling'].includes(x.state)).length,Queued:count('queued'),Success:count('success'),Error:count('error'),Unknown:count('unknown'),Cancelled:count('cancelled'),Skipped:count('skipped')};
|
||||
Object.entries(counts).forEach(([key,value])=>{document.getElementById('count'+key).textContent=value;});
|
||||
const done=counts.Success+counts.Error+counts.Unknown+counts.Cancelled+counts.Skipped,percent=counts.Total&&job?Math.round(done*100/counts.Total):0;
|
||||
document.getElementById('queueTitle').textContent=summary();document.getElementById('queueBadge').textContent=job?(job.state==='running'?(job.cancel_requested?'Остановка':'В работе'):'Завершена'):'Готово к запуску';
|
||||
document.getElementById('progressText').textContent=job?'Обработано '+done+' из '+counts.Total:'Актуальный список · '+routers.filter(x=>x.online===true).length+' в сети';
|
||||
document.getElementById('progressPercent').textContent=percent+'%';document.getElementById('progressFill').style.width=percent+'%';document.getElementById('queueProgress').setAttribute('aria-valuenow',percent);
|
||||
}
|
||||
function render(data){
|
||||
job=data.job;controls();const items=job?job.items:(data.routers||[]), signature=JSON.stringify(items);if(signature===lastRender)return;lastRender=signature;
|
||||
job=data.job;routers=data.routers||[];controls();dashboard();const items=job?job.items:routers, signature=JSON.stringify([items,routers]);if(signature===lastRender)return;lastRender=signature;
|
||||
const open=new Map(Array.from(results.querySelectorAll('article')).map(row=>[row.dataset.router,{open:!!row.querySelector('details[open]'),top:row.querySelector('pre')?.scrollTop||0}])), fragment=document.createDocumentFragment();
|
||||
items.forEach(item=>{const row=document.createElement('article'), title=document.createElement('strong'), detail=document.createElement('p'), id=document.createElement('small');
|
||||
row.className='router';row.dataset.router=item.id;title.textContent=(item.state==='success'?'Успешно — ':item.state==='error'?'Ошибка — ':item.state==='unknown'?'Не подтверждено — ':'')+(item.name||item.id);title.className=item.state==='success'?'ok':item.state==='error'?'error':item.state==='unknown'?'warn':'';detail.textContent=item.message||'Готов к постановке в очередь';id.textContent=item.id;row.append(title,id,detail);
|
||||
row.className='router';row.dataset.router=item.id;title.textContent=(item.state==='success'?'Успешно — ':item.state==='error'?'Ошибка — ':item.state==='unknown'?'Не подтверждено — ':item.state==='cancelled'?'Остановлено — ':'')+(item.name||'Имя роутера не получено');title.className=item.state==='success'?'ok':item.state==='error'?'error':['unknown','cancelled'].includes(item.state)?'warn':'';detail.textContent=item.message||'Готов к постановке в очередь';id.textContent='ID: '+item.id;row.append(title,id,detail);
|
||||
const current=routers.find(router=>router.id===item.id),live=document.createElement('div'),badge=document.createElement('span'),last=document.createElement('span');live.className='router-live';badge.className='live-badge'+(current?(current.online?' online':' offline'):'');badge.textContent=current?(current.online?'● Онлайн':'● Офлайн'):'Статус не получен';last.textContent=current&¤t.last_seen?'Heartbeat: '+new Date(current.last_seen*1000).toLocaleString('ru-RU'):'Heartbeat ещё не получен';live.append(badge,last);if(current&¤t.xray){const xray=document.createElement('span');xray.textContent=(current.online?'Xray: ':'Последний статус Xray: ')+(current.xray==='running'?'запущен':current.xray==='stopped'?'остановлен':'нет данных');live.append(xray);}row.insertBefore(live,detail);
|
||||
if(item.output){const details=document.createElement('details'), summary=document.createElement('summary'), output=document.createElement('pre');summary.textContent='Вывод команды';output.textContent=item.output;details.open=!!open.get(item.id)?.open;details.append(summary,output);row.append(details);}fragment.append(row);
|
||||
});results.replaceChildren(fragment);results.querySelectorAll('article').forEach(row=>{const output=row.querySelector('pre');if(output)output.scrollTop=open.get(row.dataset.router)?.top||0;});
|
||||
}
|
||||
function summary(){if(!job)return 'В очереди будут все роутеры из Hub.';const items=job.items, count=state=>items.filter(x=>x.state===state).length;return (job.state==='running'?'Обновление выполняется. ':'Очередь завершена. ')+'Успешно: '+count('success')+' · Ошибок: '+count('error')+' · Не подтверждено: '+count('unknown')+' · Пропущено: '+count('skipped')+' · Всего: '+items.length;}
|
||||
function summary(){return !job?'Список роутеров обновлён':job.state==='running'?(job.cancel_requested?'Останавливаю обновление':'Обновление выполняется'):'Очередь завершена';}
|
||||
async function api(path,body){const controller=new AbortController(), timeout=setTimeout(()=>controller.abort(),15000);try{const response=await fetch(endpoint+path,{method:body?'POST':'GET',cache:'no-store',headers:body?{'Content-Type':'application/json','X-Router-Update-CSRF':csrf}:{},body:body?JSON.stringify(body):undefined,signal:controller.signal});if(response.status===401){window.location.replace('/login');throw new Error('Нужен вход в Hub');}const data=await response.json();if(!response.ok)throw new Error(data.error||'HTTP '+response.status);return data;}finally{clearTimeout(timeout);}}
|
||||
async function refresh(){if(stopped||pending)return;const current=++generation;if(timer!==null)clearTimeout(timer);timer=null;try{const data=await api('');if(current!==generation||pending)return;render(data);status.className='';status.textContent=summary();if(job&&job.state!=='running'&&job.request_id===requestId)forgetRequest();}catch(error){if(current===generation){status.className='error';status.textContent='Не удалось получить состояние: '+error.message;}}finally{if(!stopped&&!pending&¤t===generation)timer=setTimeout(refresh,3000);}}
|
||||
form.addEventListener('submit',async event=>{event.preventDefault();if(pending||(job&&job.state==='running'))return;generation++;pending=true;controls();if(timer!==null)clearTimeout(timer);try{const body={command:command.value,ssh_password:password.value,request_id:requestToken()};const data=await api('/start',body);password.value='';render(data);status.className='';status.textContent=summary();}catch(error){password.value='';status.className='error';status.textContent='Запуск не подтверждён: '+error.message+'. Проверяю состояние очереди.';}finally{pending=false;controls();if(!stopped)timer=setTimeout(refresh,1000);}});
|
||||
cancel.addEventListener('click',async()=>{if(!job||pending)return;generation++;if(timer!==null)clearTimeout(timer);pending=true;controls();try{const data=await api('/cancel',{id:job.id});render(data);status.textContent='Текущая установка завершится; остальные роутеры будут пропущены.';}catch(error){status.textContent=error.message;}finally{pending=false;controls();if(!stopped)timer=setTimeout(refresh,1000);}});
|
||||
cancel.addEventListener('click',async()=>{if(!job||pending)return;generation++;if(timer!==null)clearTimeout(timer);pending=true;controls();status.textContent='Останавливаю текущую задачу и очередь…';try{const data=await api('/cancel',{id:job.id});render(data);status.textContent=summary();}catch(error){status.textContent='Остановка не подтверждена: '+error.message;}finally{pending=false;controls();if(!stopped)timer=setTimeout(refresh,1000);}});
|
||||
refreshRouters.addEventListener('click',async()=>{if(pending)return;const current=++generation;if(timer!==null)clearTimeout(timer);pending=true;refreshing=true;controls();status.className='';status.textContent='Обновляю список и статусы роутеров…';try{const data=await api('/refresh',{id:job?job.id:''});if(current!==generation)return;render(data);if(!job)forgetRequest();status.textContent=job?'Статусы обновлены. '+summary():'Список и статусы обновлены. Можно запустить новую очередь.';}catch(error){status.className='error';status.textContent='Не удалось обновить список: '+error.message;}finally{pending=false;refreshing=false;controls();if(!stopped)timer=setTimeout(refresh,3000);}});
|
||||
window.addEventListener('pagehide',()=>{stopped=true;if(timer!==null)clearTimeout(timer);password.value='';});
|
||||
window.addEventListener('pageshow',()=>{if(stopped){stopped=false;refresh();}});refresh();
|
||||
})();
|
||||
@@ -14383,27 +14401,113 @@ class VpsResourceMonitor:
|
||||
return self.cached
|
||||
|
||||
|
||||
def router_update_launch_script(task_id, command):
|
||||
def normalize_router_update_command(command):
|
||||
command = command.removeprefix('\ufeff').replace('\r\n', '\n').replace('\r', '\n').strip()
|
||||
url = command[1:-1] if command[:1] in {'"', "'"} and command[-1:] == command[:1] else command
|
||||
if not re.match(r'(?i)^https?://', url):
|
||||
return command
|
||||
try:
|
||||
parsed = urllib.parse.urlsplit(url)
|
||||
valid = parsed.hostname and parsed.scheme.lower() in {'http', 'https'} and parsed.port != 0
|
||||
except ValueError:
|
||||
valid = False
|
||||
if not valid or re.search(r'\s|[\x00-\x1f\x7f]', url):
|
||||
raise ValueError('Нужна прямая ссылка HTTP/HTTPS без пробелов или полная shell-команда обновления.')
|
||||
return '''set -e
|
||||
: "${OWRT_REMOTE_UPDATE_DIR:?}"
|
||||
file="$OWRT_REMOTE_UPDATE_DIR/download.sh"
|
||||
echo 'Загрузка установочного скрипта…'
|
||||
if command -v curl >/dev/null 2>&1; then
|
||||
curl -fL --connect-timeout 10 -o "$file" -- __URL__
|
||||
else
|
||||
wget -O "$file" __URL__
|
||||
fi
|
||||
[ -s "$file" ] || { echo 'Ошибка: получен пустой установочный скрипт'; exit 1; }
|
||||
echo 'Скрипт загружен; запуск установки…'
|
||||
/bin/sh "$file"
|
||||
'''.replace('__URL__', shlex.quote(url))
|
||||
|
||||
|
||||
def router_update_name(row, reported_name=''):
|
||||
"""Prefer UCI's router_name; keep the stable router ID a separate field."""
|
||||
try:
|
||||
cached_name = json.loads(row.get('status_json') or '{}').get('name')
|
||||
except (ValueError, AttributeError):
|
||||
cached_name = ''
|
||||
for value in (reported_name, cached_name, row.get('custom_name')):
|
||||
name = re.sub(r'[\x00-\x1f\x7f]', ' ', str(value or '')).strip()[:200]
|
||||
if name:
|
||||
return name
|
||||
return 'Имя роутера не получено'
|
||||
|
||||
|
||||
def router_update_status(row):
|
||||
try:
|
||||
status = json.loads(row.get('status_json') or '{}')
|
||||
status = status if isinstance(status, dict) else {}
|
||||
except ValueError:
|
||||
status = {}
|
||||
last_seen = int(row.get('last_seen') or 0)
|
||||
xray = str(status.get('xray') or '')
|
||||
return {'id': row['id'], 'name': router_update_name(row),
|
||||
'online': bool(last_seen and now_ts() - last_seen <= router_online_timeout(status)),
|
||||
'last_seen': last_seen,
|
||||
'xray': xray if xray in {'running', 'stopped'} else 'unknown'}
|
||||
|
||||
|
||||
def router_update_preflight_script():
|
||||
return r'''set -eu
|
||||
printf 'OWRT_UPDATE_NAME_TEXT='
|
||||
(uci -q get owrtremote.main.router_name || true) | head -c 512 | tr '\r\n' ' '
|
||||
printf '\n'
|
||||
for tool in uci setsid mkfifo dd cut head tail tr wc cat mv rm mkdir sleep; do
|
||||
if ! command -v "$tool" >/dev/null 2>&1; then
|
||||
printf 'OWRT_UPDATE_STATE=not_started\nOWRT_UPDATE_ERROR=На роутере отсутствует утилита %s. Команда обновления не запускалась.\n' "$tool"
|
||||
exit 0
|
||||
fi
|
||||
done
|
||||
printf 'OWRT_UPDATE_READY=1\n'
|
||||
'''
|
||||
|
||||
|
||||
def router_update_launch_script(task_id, command, timeout=180):
|
||||
"""Stage a detached router-side task; never execute the owner's command on VPS."""
|
||||
encoded = base64.b64encode(command.encode("utf-8")).decode("ascii")
|
||||
# POSIX printf is an ash builtin even when BusyBox has no base64 applet.
|
||||
encoded = ''.join('\\0%03o' % byte for byte in command.encode('utf-8'))
|
||||
return r'''set -eu
|
||||
umask 077
|
||||
job=/tmp/owrt-remote-update-__TASK__
|
||||
limit=__TIMEOUT__
|
||||
started=0
|
||||
launch_exit() {
|
||||
rc=$?
|
||||
trap - EXIT
|
||||
if [ "$rc" -ne 0 ] && [ "$started" = 0 ]; then
|
||||
printf 'OWRT_UPDATE_STATE=not_started\nOWRT_UPDATE_ERROR=Подготовка задачи на роутере завершилась ошибкой, rc=%s. Команда обновления не запускалась.\n' "$rc"
|
||||
exit 0
|
||||
fi
|
||||
exit "$rc"
|
||||
}
|
||||
trap launch_exit EXIT
|
||||
if [ ! -d "$job" ]; then
|
||||
command -v setsid >/dev/null || { echo 'setsid is required'; exit 1; }
|
||||
mkdir "$job"
|
||||
printf '%s' '__COMMAND__' | base64 -d >"$job/command.sh"
|
||||
printf '%b' '__COMMAND__' >"$job/command.sh"
|
||||
cat >"$job/runner.sh" <<'OWRT_UPDATE_RUNNER'
|
||||
#!/bin/sh
|
||||
umask 077
|
||||
job=$1
|
||||
printf '%s\n' "$$" >"$job/pid"
|
||||
mkfifo "$job/stream" || exit 1
|
||||
# A bounded output tail in RAM. No growing log file, shell variable containing
|
||||
# the whole output, or writer that survives a normally completed command.
|
||||
(
|
||||
clock() { cut -d. -f1 /proc/uptime; }
|
||||
stop_group() {
|
||||
case "$1" in ''|*[!0-9]*) return;; esac
|
||||
[ "$1" -gt 1 ] || return
|
||||
kill -TERM "-$1" 2>/dev/null || true
|
||||
sleep 1
|
||||
kill -KILL "-$1" 2>/dev/null || true
|
||||
}
|
||||
if [ "${2:-}" = reader ]; then
|
||||
while :; do
|
||||
dd bs=4096 count=1 iflag=fullblock <&3 >"$job/chunk" 2>/dev/null
|
||||
dd bs=4096 count=1 <&3 >"$job/chunk" 2>/dev/null
|
||||
[ -s "$job/chunk" ] || break
|
||||
cat "$job/chunk" >>"$job/output"
|
||||
bytes=$(wc -c <"$job/output")
|
||||
@@ -14411,31 +14515,88 @@ mkfifo "$job/stream" || exit 1
|
||||
tail -c 16384 "$job/output" >"$job/output.new" && mv "$job/output.new" "$job/output"
|
||||
fi
|
||||
done 3<"$job/stream"
|
||||
) &
|
||||
exit
|
||||
fi
|
||||
limit=$2
|
||||
printf '%s\n' "$$" >"$job/pid"
|
||||
clock >"$job/started"
|
||||
printf '%s\n' "$limit" >"$job/limit"
|
||||
if [ -e "$job/cancel" ]; then
|
||||
echo cancelled >"$job/reason"
|
||||
echo 130 >"$job/result"
|
||||
exit 0
|
||||
fi
|
||||
mkfifo "$job/stream" || exit 1
|
||||
# Separate groups let cancellation target only this task's processes.
|
||||
setsid /bin/sh "$job/runner.sh" "$job" reader &
|
||||
reader=$!
|
||||
export OWRT_REMOTE_UPDATE_DIR="$job"
|
||||
# BusyBox ash's pipefail also catches wget failures in `wget ... | sh`.
|
||||
/bin/sh -ec 'set -o pipefail; . "$1"' sh "$job/command.sh" >"$job/stream" 2>&1
|
||||
setsid /bin/sh -ec 'set -o pipefail; . "$1"' sh "$job/command.sh" >"$job/stream" 2>&1 &
|
||||
installer=$!
|
||||
reason=exit
|
||||
started=$(cat "$job/started")
|
||||
while kill -0 "$installer" 2>/dev/null; do
|
||||
if [ -e "$job/cancel" ]; then reason=cancelled; break; fi
|
||||
now=$(clock)
|
||||
if [ "$((now - started))" -ge "$limit" ]; then reason=timeout; break; fi
|
||||
sleep 1
|
||||
done
|
||||
if [ "$reason" != exit ]; then
|
||||
stop_group "$installer"
|
||||
wait "$installer" 2>/dev/null || true
|
||||
if [ "$reason" = cancelled ]; then rc=130; else rc=124; fi
|
||||
else
|
||||
wait "$installer"
|
||||
rc=$?
|
||||
fi
|
||||
# A daemon may inherit stdout from the installer. Bound FIFO drain time.
|
||||
drain=0
|
||||
while kill -0 "$reader" 2>/dev/null && [ "$drain" -lt 2 ]; do sleep 1; drain=$((drain + 1)); done
|
||||
if kill -0 "$reader" 2>/dev/null; then
|
||||
stop_group "$reader"
|
||||
wait "$reader" 2>/dev/null || true
|
||||
else
|
||||
wait "$reader" || { [ "$rc" -ne 0 ] || rc=125; }
|
||||
fi
|
||||
printf '%s\n' "$reason" >"$job/reason"
|
||||
printf '%s\n' "$rc" >"$job/result.new"
|
||||
mv "$job/result.new" "$job/result"
|
||||
rm -f "$job/stream" "$job/chunk" "$job/command.sh" "$job/runner.sh"
|
||||
rm -f "$job/stream" "$job/chunk" "$job/command.sh" "$job/download.sh" "$job/runner.sh"
|
||||
OWRT_UPDATE_RUNNER
|
||||
# OpenWrt supplies setsid by default; nohup is optional. Ignore HUP before
|
||||
# exec so loss of the reverse SSH connection cannot kill the installer.
|
||||
(trap '' HUP; exec setsid /bin/sh "$job/runner.sh" "$job") </dev/null >/dev/null 2>&1 &
|
||||
(trap '' HUP; exec setsid /bin/sh "$job/runner.sh" "$job" "$limit") </dev/null >/dev/null 2>&1 &
|
||||
fi
|
||||
printf 'OWRT_UPDATE_NAME='
|
||||
(uci -q get owrtremote.main.router_name || true) | head -c 512 | base64 | tr -d '\r\n'
|
||||
printf '\nOWRT_UPDATE_STARTED=1\n'
|
||||
'''.replace('__TASK__', task_id).replace('__COMMAND__', encoded)
|
||||
started=1
|
||||
printf 'OWRT_UPDATE_STARTED=1\n'
|
||||
'''.replace('__TASK__', task_id).replace('__COMMAND__', encoded).replace('__TIMEOUT__', str(int(timeout)))
|
||||
|
||||
|
||||
def router_update_cancel_script(task_id):
|
||||
# A tombstone blocks delayed launches; the runner records the actual result
|
||||
# after stopping its own installer group, without matching unrelated PIDs.
|
||||
return ('umask 077\njob=/tmp/owrt-remote-update-' + task_id + '\n'
|
||||
+ '''if mkdir "$job" 2>/dev/null; then
|
||||
: >"$job/cancel"
|
||||
echo cancelled >"$job/reason"
|
||||
echo 130 >"$job/result.new"
|
||||
mv "$job/result.new" "$job/result"
|
||||
else
|
||||
: >"$job/cancel"
|
||||
fi
|
||||
echo OWRT_UPDATE_CANCEL=1
|
||||
''')
|
||||
|
||||
|
||||
def router_update_poll_script(task_id, cleanup=False):
|
||||
prefix = 'job=/tmp/owrt-remote-update-' + task_id + '\n'
|
||||
if cleanup:
|
||||
return prefix + '''[ -s "$job/result" ] || exit 0
|
||||
rm -f "$job/result" "$job/result.new" "$job/pid" "$job/output" "$job/output.new" "$job/chunk" "$job/stream" "$job/command.sh" "$job/runner.sh"
|
||||
rm -f "$job/result" "$job/result.new" "$job/pid" "$job/output" "$job/output.new" "$job/chunk" "$job/stream" "$job/command.sh" "$job/download.sh" "$job/runner.sh" "$job/started" "$job/limit" "$job/reason"
|
||||
# Keep the tiny cancellation marker until reboot. A launch still in transit
|
||||
# must not start this task after the confirmed result has been cleaned up.
|
||||
[ ! -e "$job/cancel" ] || exit 0
|
||||
rmdir "$job" 2>/dev/null || true
|
||||
'''
|
||||
return prefix + r'''if [ ! -d "$job" ]; then echo OWRT_UPDATE_STATE=missing; exit 0; fi
|
||||
@@ -14444,18 +14605,23 @@ if [ -s "$job/result" ]; then
|
||||
echo OWRT_UPDATE_STATE=done
|
||||
elif [ -s "$job/pid" ] && kill -0 "$(cat "$job/pid")" 2>/dev/null; then
|
||||
echo OWRT_UPDATE_STATE=running
|
||||
elif [ -s "$job/pid" ]; then
|
||||
echo OWRT_UPDATE_STATE=dead
|
||||
else
|
||||
echo OWRT_UPDATE_STATE=starting
|
||||
fi
|
||||
printf 'OWRT_UPDATE_OUTPUT='
|
||||
tail -c 8192 "$job/output" 2>/dev/null | base64 | tr -d '\r\n'
|
||||
printf '\n'
|
||||
printf 'OWRT_UPDATE_REASON='; cat "$job/reason" 2>/dev/null || echo
|
||||
printf 'OWRT_UPDATE_OUTPUT_TEXT=\n'
|
||||
tail -c 8192 "$job/output" 2>/dev/null || true
|
||||
'''
|
||||
|
||||
|
||||
def router_update_fields(output):
|
||||
# The final text payload is bounded on the router. Parse metadata only
|
||||
# before it, so installer output cannot forge a result or another name.
|
||||
header, separator, payload = str(output or '').partition('\nOWRT_UPDATE_OUTPUT_TEXT=\n')
|
||||
fields = {}
|
||||
for line in str(output or '').splitlines():
|
||||
for line in header.splitlines():
|
||||
key, separator, value = line.partition('=')
|
||||
if separator and key.startswith('OWRT_UPDATE_'):
|
||||
fields[key.removeprefix('OWRT_UPDATE_')] = value
|
||||
@@ -14464,13 +14630,21 @@ def router_update_fields(output):
|
||||
fields[key] = base64.b64decode(fields.get(key, ''), validate=True).decode('utf-8', 'replace')
|
||||
except (ValueError, UnicodeError):
|
||||
fields[key] = ''
|
||||
if 'NAME_TEXT' in fields:
|
||||
fields['NAME'] = fields.pop('NAME_TEXT').strip()
|
||||
if separator:
|
||||
fields['OUTPUT'] = payload
|
||||
return fields
|
||||
|
||||
|
||||
class RouterUpdateManager:
|
||||
"""One sequential owner-controlled queue per Hub, independent of the browser."""
|
||||
POLL_SECONDS = 3
|
||||
ROUTER_TIMEOUT = 900
|
||||
ROUTER_TIMEOUT = 180
|
||||
LAUNCH_TIMEOUT = 15
|
||||
CONNECTION_TIMEOUT = 30
|
||||
SILENCE_TIMEOUT = 90
|
||||
STOP_TIMEOUT = 10
|
||||
RESULT_TTL = 7200
|
||||
|
||||
def __init__(self, app):
|
||||
@@ -14480,11 +14654,56 @@ class RouterUpdateManager:
|
||||
self.job = None
|
||||
self.thread = None
|
||||
self.stopping = threading.Event()
|
||||
self.wake = threading.Event()
|
||||
self.cancel_event = threading.Event()
|
||||
self.transport_lock = threading.Lock()
|
||||
self.transport = None
|
||||
|
||||
def _ssh(self, row, script, password):
|
||||
# These transport helpers use no request headers or client connection.
|
||||
# Keep this transport interruptible without changing other SSH features.
|
||||
helper = Handler.__new__(Handler)
|
||||
return helper.run_router_ssh_script(row, script, timeout=20, ssh_password=password)
|
||||
env, args = helper.ssh_exec_args(int(row['ssh_entry_port']), allow_password=bool(password))
|
||||
askpass = helper.prepare_ssh_askpass(env, password)
|
||||
process = None
|
||||
received = False
|
||||
try:
|
||||
process = subprocess.Popen(args + ['sh', '-s', '--'], stdin=subprocess.PIPE,
|
||||
stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True,
|
||||
encoding='utf-8', errors='replace', env=env,
|
||||
start_new_session=bool(password))
|
||||
with self.transport_lock:
|
||||
self.transport = process
|
||||
try:
|
||||
stdout, stderr = process.communicate(str(script), timeout=10)
|
||||
received = True
|
||||
except subprocess.TimeoutExpired as exc:
|
||||
raise RuntimeError('SSH: нет ответа за 10 секунд') from exc
|
||||
if process.returncode:
|
||||
raise RuntimeError((stderr or stdout or '').strip() or 'SSH-соединение прервано')
|
||||
return stdout
|
||||
finally:
|
||||
if process:
|
||||
if process.poll() is None:
|
||||
try:
|
||||
process.kill()
|
||||
except OSError:
|
||||
pass
|
||||
if not received:
|
||||
process.communicate()
|
||||
with self.transport_lock:
|
||||
if self.transport is process:
|
||||
self.transport = None
|
||||
if askpass:
|
||||
shutil.rmtree(askpass, ignore_errors=True)
|
||||
|
||||
def _interrupt_transport(self):
|
||||
with self.transport_lock:
|
||||
process = self.transport
|
||||
if process and process.poll() is None:
|
||||
try:
|
||||
process.kill()
|
||||
except OSError:
|
||||
pass
|
||||
|
||||
def snapshot(self):
|
||||
with self.lock:
|
||||
@@ -14492,6 +14711,14 @@ class RouterUpdateManager:
|
||||
self.job = None
|
||||
return json.loads(json.dumps(self.job)) if self.job else None
|
||||
|
||||
def clear_finished(self, job_id):
|
||||
if not isinstance(job_id, str):
|
||||
raise ValueError('Некорректный идентификатор очереди.')
|
||||
with self.lock:
|
||||
# A stale browser must not erase a newer job or an active worker.
|
||||
if self.job and self.job['id'] == job_id and self.job['state'] != 'running':
|
||||
self.job = None
|
||||
|
||||
def start(self, command, password, request_id):
|
||||
if not isinstance(command, str) or not command.strip() or len(command.encode('utf-8')) > 8192 or '\x00' in command:
|
||||
raise ValueError('Укажи команду обновления размером до 8 КиБ без нулевых символов.')
|
||||
@@ -14499,7 +14726,7 @@ class RouterUpdateManager:
|
||||
raise ValueError('Некорректный SSH-пароль.')
|
||||
if not isinstance(request_id, str) or not re.fullmatch(r'[a-zA-Z0-9_-]{16,80}', request_id):
|
||||
raise ValueError('Некорректный идентификатор запроса. Обнови страницу.')
|
||||
command = command.removeprefix('\ufeff').replace('\r\n', '\n').replace('\r', '\n').strip()
|
||||
command = normalize_router_update_command(command)
|
||||
with self.lock:
|
||||
if self.job and self.job['request_id'] == request_id:
|
||||
return self.job['id']
|
||||
@@ -14507,6 +14734,8 @@ class RouterUpdateManager:
|
||||
raise RuntimeError('Очередь уже запущена. Дождись её завершения или останови оставшиеся обновления.')
|
||||
if self.stopping.is_set():
|
||||
raise RuntimeError('Hub завершает работу. Повтори после запуска.')
|
||||
self.cancel_event.clear()
|
||||
self.wake.clear()
|
||||
with self.app.conn() as conn:
|
||||
rows = [dict(row) for row in list_router_rows(conn)]
|
||||
if not rows:
|
||||
@@ -14515,12 +14744,8 @@ class RouterUpdateManager:
|
||||
raise ValueError('В одной очереди поддерживается до 512 роутеров.')
|
||||
items = []
|
||||
for row in rows:
|
||||
try:
|
||||
reported_name = json.loads(row.get('status_json') or '{}').get('name')
|
||||
except (ValueError, AttributeError):
|
||||
reported_name = ''
|
||||
items.append({'id': row['id'], 'name': str(reported_name or row.get('name') or row['id'])[:200],
|
||||
'state': 'queued', 'message': 'Ожидает очереди', 'output': ''})
|
||||
items.append({'id': row['id'], 'name': router_update_name(row),
|
||||
'state': 'queued', 'message': 'Ожидает очереди', 'output': '', 'elapsed_seconds': 0})
|
||||
job_id = secrets.token_hex(16)
|
||||
self.job = {'id': job_id, 'request_id': request_id, 'state': 'running', 'started_at': time.time(),
|
||||
'finished_at': 0, 'cancel_requested': False, 'items': items}
|
||||
@@ -14539,6 +14764,15 @@ class RouterUpdateManager:
|
||||
if not self.job or self.job['id'] != job_id:
|
||||
raise ValueError('Очередь не найдена.')
|
||||
self.job['cancel_requested'] = True
|
||||
for item in self.job['items']:
|
||||
if item['state'] == 'queued':
|
||||
item.update(state='skipped', message='Пропущен: очередь остановлена пользователем')
|
||||
elif item['state'] in {'connecting', 'running', 'cancelling'}:
|
||||
item['state'] = 'cancelling'
|
||||
item['message'] = 'Останавливаю текущую задачу…'
|
||||
self.cancel_event.set()
|
||||
self.wake.set()
|
||||
self._interrupt_transport()
|
||||
|
||||
def _set(self, index, **values):
|
||||
with self.lock:
|
||||
@@ -14573,6 +14807,11 @@ class RouterUpdateManager:
|
||||
return ('Общий SSH-пароль не принят этим роутером. Возможно, пароль роутера отличается '
|
||||
'от общего; проверь его пароль и разрешение входа root по SSH.')
|
||||
return 'SSH-авторизация отклонена. Укажи пароль root или проверь SSH-ключ доступа к этому роутеру.'
|
||||
safe = cls._safe(text, password)[:1200]
|
||||
if re.search(r'(?i)(?:connection timed out during banner exchange|banner exchange:.*(?:timed out|timeout))', text):
|
||||
return ('SSH не прислал приветствие за отведённое время. До проверки пароля дело не дошло. '
|
||||
'По этому ответу нельзя отличить проблему обратного туннеля от зависания SSH-сервера. '
|
||||
'Технический ответ: ' + safe)
|
||||
return cls._safe(text, password)[:1200] or 'Ошибка подключения по SSH'
|
||||
|
||||
def _run(self, rows, command, password, job_id):
|
||||
@@ -14591,13 +14830,10 @@ class RouterUpdateManager:
|
||||
self._set(index, state='skipped', message='Роутер удалён из Hub')
|
||||
continue
|
||||
self._update_one(index, current, command, password, job_id)
|
||||
with self.lock:
|
||||
# Do not start a second installation while the first may
|
||||
# still be running behind a disconnected SSH tunnel.
|
||||
if self.job['items'][index]['state'] == 'unknown':
|
||||
self.job['cancel_requested'] = True
|
||||
except Exception as exc:
|
||||
self._set(index, state='error', message=self._ssh_error(exc, password))
|
||||
cancelled = self.cancel_event.is_set()
|
||||
self._set(index, state='cancelled' if cancelled else 'error',
|
||||
message='Остановлено до отправки команды установки' if cancelled else self._ssh_error(exc, password))
|
||||
finally:
|
||||
password = ''
|
||||
command = ''
|
||||
@@ -14610,67 +14846,151 @@ class RouterUpdateManager:
|
||||
self._set(index, state='skipped', message='SSH-туннель не настроен')
|
||||
return
|
||||
task_id = job_id + '-' + str(index)
|
||||
self._set(index, state='connecting', message='Подключаюсь по SSH')
|
||||
ready = self._ssh(row, "printf 'OWRT_UPDATE_READY=1\\n'\n", password)
|
||||
if 'OWRT_UPDATE_READY=1' not in ready.splitlines():
|
||||
with self.lock:
|
||||
if self.cancel_event.is_set() or self.stopping.is_set():
|
||||
self.job['items'][index].update(state='skipped', message='Пропущен: очередь остановлена')
|
||||
return
|
||||
self.job['items'][index].update(state='connecting', message='Подключаюсь по SSH')
|
||||
try:
|
||||
fields = router_update_fields(self._ssh(row, router_update_preflight_script(), password))
|
||||
except Exception as exc:
|
||||
cancelled = self.cancel_event.is_set()
|
||||
self._set(index, state='cancelled' if cancelled else 'error',
|
||||
message=('Остановлено до отправки команды установки' if cancelled else
|
||||
self._ssh_error(exc, password) + '. Команда обновления не запускалась.'))
|
||||
return
|
||||
self._set(index, name=router_update_name(row, fields.get('NAME', '')))
|
||||
if fields.get('STATE') == 'not_started':
|
||||
self._set(index, state='error', message=self._safe(fields.get('ERROR'), password)
|
||||
or 'Подготовка роутера не пройдена. Команда обновления не запускалась.')
|
||||
return
|
||||
if fields.get('READY') != '1':
|
||||
raise RuntimeError('SSH не подтвердил готовность. Команда обновления не отправлена.')
|
||||
if self.cancel_event.is_set() or self.stopping.is_set():
|
||||
self._set(index, state='cancelled', message='Остановлено до отправки команды установки')
|
||||
return
|
||||
launched = False
|
||||
launch_error = ''
|
||||
started = time.monotonic()
|
||||
hard_deadline = started + self.ROUTER_TIMEOUT
|
||||
try:
|
||||
fields = router_update_fields(self._ssh(row, router_update_launch_script(task_id, command), password))
|
||||
fields = router_update_fields(self._ssh(row, router_update_launch_script(task_id, command, self.ROUTER_TIMEOUT), password))
|
||||
if fields.get('STATE') == 'not_started':
|
||||
self._set(index, state='error', message=self._safe(fields.get('ERROR'), password)
|
||||
or 'Не удалось подготовить задачу на роутере. Команда обновления не запускалась.')
|
||||
return
|
||||
launched = fields.get('STARTED') == '1'
|
||||
if fields.get('NAME', '').strip():
|
||||
name = re.sub(r'[\x00-\x1f\x7f]', ' ', fields['NAME']).strip()[:200]
|
||||
self._set(index, name=name)
|
||||
self._set(index, name=router_update_name(row, fields['NAME']))
|
||||
except Exception as exc:
|
||||
# SSH can close after the detached task was accepted. Poll its known
|
||||
# ID instead of executing the installation a second time.
|
||||
launch_error = self._ssh_error(exc, password)
|
||||
self._set(index, state='running', message='Установка выполняется' if launched else 'Проверяю, запустилась ли установка')
|
||||
deadline = time.monotonic() + (self.ROUTER_TIMEOUT if launched else 40)
|
||||
last_error = launch_error
|
||||
missing = 0
|
||||
while time.monotonic() < deadline and not self.stopping.is_set():
|
||||
last_contact = time.monotonic()
|
||||
last_progress = last_contact
|
||||
previous_output = ''
|
||||
stop_reason = ''
|
||||
stop_deadline = None
|
||||
cancel_delivered = False
|
||||
timeout_reason = 'Превышено время установки (' + str(self.ROUTER_TIMEOUT) + ' с)'
|
||||
while not self.stopping.is_set():
|
||||
now = time.monotonic()
|
||||
if self.cancel_event.is_set():
|
||||
stop_reason = 'Остановка пользователем'
|
||||
elif now - last_contact >= self.CONNECTION_TIMEOUT and not stop_reason:
|
||||
stop_reason = 'SSH не отвечает ' + str(self.CONNECTION_TIMEOUT) + ' с: ' + (last_error or 'связь потеряна')
|
||||
elif not launched and now - started >= self.LAUNCH_TIMEOUT and not stop_reason:
|
||||
stop_reason = 'Запуск не подтверждён: ' + (launch_error or 'нет ответа задачи')
|
||||
elif launched and not stop_reason and now - last_progress >= self.SILENCE_TIMEOUT:
|
||||
stop_reason = 'Нет нового вывода установщика ' + str(self.SILENCE_TIMEOUT) + ' с; задача зависла или ожидает ввода'
|
||||
elif now >= hard_deadline and not stop_reason:
|
||||
stop_reason = timeout_reason
|
||||
if stop_reason and stop_deadline is None:
|
||||
stop_deadline = now + self.STOP_TIMEOUT
|
||||
if stop_reason and not cancel_delivered:
|
||||
try:
|
||||
response = self._ssh(row, router_update_cancel_script(task_id), password)
|
||||
cancel_delivered = 'OWRT_UPDATE_CANCEL=1' in response.splitlines()
|
||||
except Exception as exc:
|
||||
last_error = self._ssh_error(exc, password)
|
||||
if stop_reason and (time.monotonic() >= stop_deadline or not cancel_delivered):
|
||||
self._set(index, state='unknown', message=stop_reason + '. Результат и остановка не подтверждены'
|
||||
+ (': ' + last_error if last_error else '')
|
||||
+ '; после восстановления связи проверь роутер. Очередь продолжает работу.')
|
||||
return
|
||||
try:
|
||||
fields = router_update_fields(self._ssh(row, router_update_poll_script(task_id), password))
|
||||
self._set(index, output=self._safe(fields.get('OUTPUT', ''), password))
|
||||
now = time.monotonic()
|
||||
elapsed = int(now - started)
|
||||
output = self._safe(fields.get('OUTPUT', ''), password)
|
||||
if fields.get('OUTPUT', '') != previous_output:
|
||||
previous_output = fields.get('OUTPUT', '')
|
||||
last_progress = now
|
||||
self._set(index, output=output, elapsed_seconds=elapsed)
|
||||
state = fields.get('STATE')
|
||||
if self.cancel_event.is_set() and not stop_reason:
|
||||
continue
|
||||
if state in {'done', 'running', 'starting', 'dead', 'missing'}:
|
||||
last_contact = now
|
||||
if state == 'done':
|
||||
rc = fields.get('RC', '')
|
||||
if not re.fullmatch(r'\d{1,3}', rc):
|
||||
raise RuntimeError('Роутер вернул некорректный результат установки')
|
||||
self._set(index, state='success' if rc == '0' else 'error',
|
||||
message='Установка успешно завершена, rc=0' if rc == '0' else 'Ошибка установки, rc=' + rc)
|
||||
reason = fields.get('REASON', '')
|
||||
if reason == 'cancelled':
|
||||
final_state = 'cancelled' if self.cancel_event.is_set() else 'error'
|
||||
message = (stop_reason or 'Задача остановлена') + '; остановка на роутере подтверждена, rc=' + rc
|
||||
elif reason == 'timeout':
|
||||
final_state, message = 'error', timeout_reason + '; установщик остановлен на роутере, rc=' + rc
|
||||
else:
|
||||
final_state = 'success' if rc == '0' else 'error'
|
||||
message = 'Установка успешно завершена, rc=0' if rc == '0' else 'Ошибка установки, rc=' + rc
|
||||
if rc != '0':
|
||||
lines = [line.strip() for line in output.splitlines()
|
||||
if line.strip() and 'строка с ключом или паролем скрыта' not in line]
|
||||
message += '. Последний вывод: ' + (' / '.join(lines[-3:])[-500:] if lines else 'установщик не передал описание ошибки')
|
||||
self._set(index, state=final_state, message=message)
|
||||
try:
|
||||
self._ssh(row, router_update_poll_script(task_id, cleanup=True), password)
|
||||
except Exception:
|
||||
pass
|
||||
return
|
||||
if state in {'running', 'starting'} and not launched:
|
||||
if state == 'running' and not launched:
|
||||
launched = True
|
||||
deadline = time.monotonic() + self.ROUTER_TIMEOUT
|
||||
if state == 'missing':
|
||||
missing += 1
|
||||
if not launched and missing < 3:
|
||||
self.stopping.wait(self.POLL_SECONDS)
|
||||
continue
|
||||
if state == 'dead':
|
||||
self._set(index, state='error', message='Процесс установки завершился без итогового кода; возможна ошибка запуска. Очередь продолжает работу.')
|
||||
return
|
||||
if state == 'starting' and now - started >= self.LAUNCH_TIMEOUT:
|
||||
stop_reason = 'Задача установки не запустилась: ' + (launch_error or 'нет процесса установщика')
|
||||
elif state == 'missing' and not launched and now - started >= self.LAUNCH_TIMEOUT:
|
||||
stop_reason = 'Задача установки не запустилась: ' + (launch_error or 'нет процесса установщика')
|
||||
if state == 'missing' and launched:
|
||||
self._set(index, state='unknown' if launched else 'error',
|
||||
message=('Результат установки потерян: временные файлы отсутствуют. Успех не подтверждён.'
|
||||
if launched else launch_error or 'Установка не запущена'))
|
||||
return
|
||||
if state not in {'running', 'starting'}:
|
||||
if state not in {'running', 'starting', 'missing'}:
|
||||
raise RuntimeError('Не получен статус установки от роутера')
|
||||
self._set(index, message='Установка выполняется; ожидаю итоговый код')
|
||||
message = (stop_reason + '; ожидаю подтверждение остановки' if stop_reason else
|
||||
'Установка выполняется: ' + str(elapsed) + ' с; без нового вывода '
|
||||
+ str(int(now - last_progress)) + ' с; лимит ' + str(self.ROUTER_TIMEOUT) + ' с')
|
||||
self._set(index, message=message)
|
||||
except Exception as exc:
|
||||
last_error = self._ssh_error(exc, password)
|
||||
self._set(index, message='SSH временно недоступен; ожидаю результат установки')
|
||||
self.stopping.wait(self.POLL_SECONDS)
|
||||
self._set(index, message='Нет ответа по SSH: ' + last_error + '; ожидание не более '
|
||||
+ str(self.CONNECTION_TIMEOUT) + ' с')
|
||||
self.wake.wait(min(self.POLL_SECONDS, 1) if stop_reason else self.POLL_SECONDS)
|
||||
self.wake.clear()
|
||||
self._set(index, state='unknown',
|
||||
message='Результат не подтверждён: '
|
||||
+ (last_error or 'истекло время ожидания'))
|
||||
|
||||
def stop(self):
|
||||
self.stopping.set()
|
||||
self.wake.set()
|
||||
self._interrupt_transport()
|
||||
thread = self.thread
|
||||
if thread and thread.ident is not None and thread is not threading.current_thread():
|
||||
thread.join(timeout=25)
|
||||
@@ -16403,6 +16723,8 @@ a{{display:inline-flex;margin-top:18px;color:#93c5fd}}
|
||||
manager.start(payload.get('command'), payload.get('ssh_password', ''), payload.get('request_id'))
|
||||
elif action == 'cancel':
|
||||
manager.cancel(payload.get('id'))
|
||||
elif action == 'refresh':
|
||||
manager.clear_finished(payload.get('id', ''))
|
||||
except ValueError as exc:
|
||||
self.send_json(400, {'ok': False, 'error': str(exc)})
|
||||
return
|
||||
@@ -16410,10 +16732,8 @@ a{{display:inline-flex;margin-top:18px;color:#93c5fd}}
|
||||
self.send_json(409, {'ok': False, 'error': str(exc)})
|
||||
return
|
||||
job = manager.snapshot()
|
||||
routers = []
|
||||
if not job:
|
||||
with self.app.conn() as conn:
|
||||
routers = [{'id': row['id'], 'name': row['name']} for row in list_router_rows(conn)]
|
||||
routers = [router_update_status(dict(row)) for row in list_router_rows(conn)]
|
||||
self.send_json(200, {'ok': True, 'job': job, 'routers': routers})
|
||||
|
||||
def ssh_ws(self):
|
||||
@@ -18007,7 +18327,7 @@ exit 127
|
||||
|
||||
def do_POST(self):
|
||||
path = self.parsed().path
|
||||
if path in {'/api/router-updates/start', '/api/router-updates/cancel'}:
|
||||
if path in {'/api/router-updates/start', '/api/router-updates/cancel', '/api/router-updates/refresh'}:
|
||||
self.router_updates_api(path.rsplit('/', 1)[-1])
|
||||
return
|
||||
if path == "/login":
|
||||
|
||||
Reference in new issue
Block a user