tcup

@edo привет! На большинство вопросов выше уже есть ответы. Сейчас оставил 3 внешних сервера. 3 внутренних - 2 в контейнерах, 1 отдельно стоящий ПК. Гипервизоры сделал пирами друг друга. Не думаю, что pool с большим количеством даст гарантии, тем более, и пул недавно имел проблемы. Один из сбоев у нас (кажется, двух?) был скорее всего связан с наложением нескольких проблем/моментов - отвал внешних ntp-сереров, сбой райда на одном из хостов (может это другой был раз), поочередное обновление с перезагрузкой хостов На железных хостах rtcsync прописаны. Пока работает, но есть ещё, что изучить по данному вопросу

У меня через ТТК так же. Только телнетом проверял

@straus возможно, что-то с сетью, либо виртуализация плавает

На отдельно стоящем ПК на тех же настройках, как я понимаю, всё идеально. Решил перенаправить на него. Но и пока на виртуалке всё магически успокоилось (возможно, в какой-то момент начинает частота плавать). Хостам добавил в настройку сервер, что на отдельно стоящем ПК, объединил их в пиры, добавил настройку Как я понимаю, если перестанут синхронизироваться с внешкой, то будут обособленно синхронизироваться между собой. Буду набюлдать Всем спасибо за подсказки и советы Есть ещё, что поизучать

или бэкдора добавили

@M0nkr1s я не специалист, но опишите, что нужно

Логи с одного из гипервизоров Чото 9 секунд вроде видел где-то сдвиг tracking.log statistics.log measurements.log

Примерно понятно) На данный момент пока не наблюдаю скачков (больших по крайней мере) Напомню, оставил один локальный ntp в контейнере. Синхронизируется с 2 серверами от НИИФТРИ + 1 msk-ix Гипервизорам прописал высокоэффективную производительность. Посмотрел логи. На ntp-сервере, сегодня: Sep 03 09:43:53 dns chronyd[5639]: Selected source 80.242.83.228 (ntp.sniim.ru) Sep 03 09:43:16 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:42:47 dns chronyd[5639]: Detected falseticker 194.190.168.1 (ntp.msk-ix.ru) Sep 03 09:42:11 dns chronyd[5639]: Detected falseticker 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:41:43 dns chronyd[5639]: Selected source 80.242.83.228 (ntp.sniim.ru) Sep 03 09:41:42 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:41:42 dns chronyd[5639]: Detected falseticker 194.190.168.1 (ntp.msk-ix.ru) Sep 03 09:41:42 dns chronyd[5639]: Detected falseticker 80.242.83.228 (ntp.sniim.ru) Sep 03 09:40:38 dns chronyd[5639]: Selected source 80.242.83.228 (ntp.sniim.ru) Sep 03 09:40:38 dns chronyd[5639]: Detected falseticker 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:40:02 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:39:34 dns chronyd[5639]: Selected source 80.242.83.228 (ntp.sniim.ru) Sep 03 09:38:57 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:38:29 dns chronyd[5639]: Selected source 80.242.83.228 (ntp.sniim.ru) Sep 03 09:37:52 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:37:24 dns chronyd[5639]: Selected source 80.242.83.228 (ntp.sniim.ru) Sep 03 09:36:48 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:36:48 dns chronyd[5639]: Detected falseticker 194.190.168.1 (ntp.msk-ix.ru) Sep 03 09:36:19 dns chronyd[5639]: Selected source 194.190.168.1 (ntp.msk-ix.ru) Sep 03 09:36:19 dns chronyd[5639]: Detected falseticker 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:36:19 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:36:19 dns chronyd[5639]: Detected falseticker 80.242.83.228 (ntp.sniim.ru) Sep 03 09:35:43 dns chronyd[5639]: Detected falseticker 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:34:10 dns chronyd[5639]: Selected source 80.242.83.228 (ntp.sniim.ru) Sep 03 09:33:33 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:32:00 dns chronyd[5639]: Detected falseticker 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:29:50 dns chronyd[5639]: Selected source 80.242.83.228 (ntp.sniim.ru) Sep 03 09:29:15 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:28:46 dns chronyd[5639]: Detected falseticker 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:28:45 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:28:45 dns chronyd[5639]: Detected falseticker 80.242.83.228 (ntp.sniim.ru) Sep 03 09:28:10 dns chronyd[5639]: Detected falseticker 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:20:07 dns chronyd[5639]: Selected source 80.242.83.228 (ntp.sniim.ru) Sep 03 09:19:35 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:19:02 dns chronyd[5639]: Selected source 80.242.83.228 (ntp.sniim.ru) Sep 03 09:18:30 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:18:01 dns chronyd[5639]: Selected source 194.190.168.1 (ntp.msk-ix.ru) Sep 03 09:18:01 dns chronyd[5639]: Detected falseticker 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:17:57 dns chronyd[5639]: Selected source 80.242.83.227 (ntp.sstf.nsk.ru) Sep 03 09:17:57 dns chronyd[5639]: Detected falseticker 80.242.83.228 (ntp.sniim.ru) Sep 03 09:16:57 dns chronyd[5639]: Detected falseticker 80.242.83.227 (ntp.sstf.nsk.ru) На одном из гипервизоров Sep 02 07:39:38 pve2 chronyd[1191]: System clock wrong by 1.457903 seconds Sep 02 07:37:30 pve2 chronyd[1191]: System clock wrong by 1.575654 seconds Sep 02 07:35:20 pve2 chronyd[1191]: System clock wrong by -1.260975 seconds Sep 02 07:34:15 pve2 chronyd[1191]: System clock wrong by -2.218039 seconds Sep 02 07:29:57 pve2 chronyd[1191]: System clock wrong by 1.619190 seconds Sep 02 07:29:57 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 02 07:28:52 pve2 chronyd[1191]: Can't synchronise: no selectable sources (1 unreachable sources) Sep 02 07:25:38 pve2 chronyd[1191]: System clock wrong by -1.221860 seconds Sep 02 07:17:02 pve2 chronyd[1191]: System clock wrong by -1.263051 seconds Sep 01 11:26:08 pve2 chronyd[1191]: System clock wrong by 7.812319 seconds Sep 01 11:26:08 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 01 11:22:54 pve2 chronyd[1191]: Jitter of 172.16.33.11 exceeds maxjitter of 1.000 seconds Sep 01 11:19:39 pve2 chronyd[1191]: Can't synchronise: no selectable sources (1 unreachable sources) Sep 01 11:18:34 pve2 chronyd[1191]: System clock wrong by -1.357776 seconds Sep 01 11:17:29 pve2 chronyd[1191]: System clock wrong by -4.760428 seconds Sep 01 11:17:29 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 01 11:16:25 pve2 chronyd[1191]: Can't synchronise: no selectable sources (1 unreachable sources) Sep 01 11:14:15 pve2 chronyd[1191]: System clock wrong by -14.590260 seconds Sep 01 11:14:15 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 01 11:13:11 pve2 chronyd[1191]: Jitter of 172.16.33.11 exceeds maxjitter of 1.000 seconds Sep 01 11:12:07 pve2 chronyd[1191]: Root distance of 172.16.33.11 exceeds maxdistance of 3.000 seconds Sep 01 11:08:52 pve2 chronyd[1191]: Can't synchronise: no selectable sources (1 unreachable sources) Sep 01 11:07:48 pve2 chronyd[1191]: System clock wrong by 2.588064 seconds Sep 01 11:06:43 pve2 chronyd[1191]: System clock wrong by 5.120498 seconds Sep 01 11:06:43 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 01 11:05:39 pve2 chronyd[1191]: Can't synchronise: no selectable sources (1 unreachable sources) Sep 01 11:04:34 pve2 chronyd[1191]: System clock wrong by 8.447292 seconds Sep 01 11:04:34 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 01 11:02:24 pve2 chronyd[1191]: Jitter of 172.16.33.11 exceeds maxjitter of 1.000 seconds Sep 01 11:00:10 pve2 chronyd[1191]: Can't synchronise: no selectable sources (1 unreachable sources) Sep 01 10:58:07 pve2 chronyd[1191]: System clock wrong by -3.380585 seconds Sep 01 10:58:07 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 01 10:57:03 pve2 chronyd[1191]: Can't synchronise: no selectable sources (1 unreachable sources) Sep 01 10:52:44 pve2 chronyd[1191]: System clock wrong by 2.574736 seconds Sep 01 10:52:44 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 01 10:51:40 pve2 chronyd[1191]: Can't synchronise: no selectable sources (1 unreachable sources) Sep 01 10:47:22 pve2 chronyd[1191]: System clock wrong by 1.596446 seconds Sep 01 10:46:18 pve2 chronyd[1191]: System clock wrong by -4.758118 seconds Sep 01 10:46:18 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 01 10:44:08 pve2 chronyd[1191]: Can't synchronise: no selectable sources (1 unreachable sources) Sep 01 10:33:21 pve2 chronyd[1191]: System clock wrong by 1.287629 seconds Sep 01 10:33:21 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 01 10:30:07 pve2 chronyd[1191]: Jitter of 172.16.33.11 exceeds maxjitter of 1.000 seconds Sep 01 10:26:54 pve2 chronyd[1191]: Can't synchronise: no selectable sources (1 unreachable sources) Sep 01 10:25:49 pve2 chronyd[1191]: System clock wrong by 1.431441 seconds Sep 01 10:24:45 pve2 chronyd[1191]: System clock wrong by -3.023559 seconds Sep 01 10:21:30 pve2 chronyd[1191]: System clock wrong by -1.194266 seconds Sep 01 10:15:02 pve2 chronyd[1191]: System clock wrong by 1.896213 seconds Sep 01 10:12:53 pve2 chronyd[1191]: System clock wrong by -2.456758 seconds Sep 01 10:12:53 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 01 10:11:49 pve2 chronyd[1191]: Can't synchronise: no selectable sources (1 unreachable sources) Sep 01 10:10:44 pve2 chronyd[1191]: System clock wrong by -1.029437 seconds Sep 01 10:08:35 pve2 chronyd[1191]: System clock wrong by 1.508236 seconds Sep 01 10:02:08 pve2 chronyd[1191]: System clock wrong by -1.125146 seconds Sep 01 09:35:13 pve2 chronyd[1191]: System clock wrong by -2.831171 seconds Sep 01 09:35:13 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 01 09:28:46 pve2 chronyd[1191]: Root distance of 172.16.33.11 exceeds maxdistance of 3.000 seconds Sep 01 09:27:41 pve2 chronyd[1191]: Jitter of 172.16.33.11 exceeds maxjitter of 1.000 seconds Sep 01 09:24:27 pve2 chronyd[1191]: Can't synchronise: no selectable sources (1 unreachable sources) Sep 01 09:23:23 pve2 chronyd[1191]: System clock wrong by 1.415566 seconds Sep 01 09:22:18 pve2 chronyd[1191]: System clock wrong by 1.852414 seconds Sep 01 09:21:13 pve2 chronyd[1191]: System clock wrong by 9.070408 seconds Sep 01 09:21:13 pve2 chronyd[1191]: Selected source 172.16.33.11 Sep 01 09:16:55 pve2 chronyd[1191]: Jitter of 172.16.33.11 exceeds maxjitter of 1.000 seconds Как видно, рассинхроны вчера-позавчера

@No_name спасибо!

@straus спасибо, надо изучать

Ничего не понятно, но так интересно) Один источник - то есть, один сервер, не два-три? Что за встроенная функция сравнения? Куда ниже? На клиентах? Ожидал, что маршрутизатор использует второй источник, если недоступен первый

Было два сервера, второй синхронизировал время с первого. По первому совету, пока загасил второй. Кажется, разбег стал в два раза меньше - 5 секунд, против 10

@straus попробую поймать на гипервизоре, там chrony root@debackup:~# chronyc sources MS Name/IP address Stratum Poll Reach LastRx Last sample =============================================================================== ^+ ntp.sstf.nsk.ru 1 10 377 372 -212us[ -212us] +/- 5429us ^* ip83-228.ipblk.ksn.ru 1 10 377 407 -70us[ -116us] +/- 4471us ^- ntp.ix.ru 1 10 377 916 -5180us[-5223us] +/- 33ms root@debackup:~# chronyc sources MS Name/IP address Stratum Poll Reach LastRx Last sample =============================================================================== ^+ ntp.sstf.nsk.ru 1 10 377 99 +209us[ +209us] +/- 5082us ^* ip83-228.ipblk.ksn.ru 1 10 377 118 +7207ns[ -19us] +/- 4248us ^- ntp.ix.ru 1 10 377 677 -3088us[-3114us] +/- 33ms root@debackup:~# chronyc tracking Reference ID : 50F253E4 (ip83-228.ipblk.ksn.ru) Stratum : 2 Ref time (UTC) : Tue Sep 01 05:21:24 2026 System time : 0.000034647 seconds slow of NTP time Last offset : -0.000026602 seconds RMS offset : 0.000089141 seconds Frequency : 13.987 ppm fast Residual freq : -0.000 ppm Skew : 0.028 ppm Root delay : 0.008213685 seconds Root dispersion : 0.000283375 seconds Update interval : 1043.8 seconds Leap status : Normal Отдельно стоящий ПК, настроенный на те же сервера, вроде через те же маршруты. Как я понимаю, тут всё красиво

Вот на роутере. В предупреждениях ceph видел 7.8 сек skew одного из хостов @straus с локального ntp, ntp в контейнере, контейнер на гипервизоре, гипервизоры c ceph сутки не было рассинронов

Утром опять пошли рассинхроны, до 7 секунд. Возможно, нагрузка на оборудование возрастает. Контейнер с ntp-сервером по совместительству клиентский dns резольвер