Микротик х86 PPPoE сервер и нагрузка

[x-rayd]

Имеем сервер на котором 1200 PPPoE активных соединений. Трафик около 1 Гбит и 100.000 п/с.
Вопрос что касается  Connection Tracking и TCP Established Timeout  на данный момент стоит 1 час, будет ли целесообразно уменьшить это значение чтобы снять нагрузку?
Также там есть настройка Loose TCP Tracking и стоит галочка, есть смысл ее убрать?

Проблема в том  что нагрузка на CPU всего 5-10 % но есть ощущение что интернет под вечер подлагивает. Как бы с задержкой работает.
CPU Intel-7 3.7Ггц  12 ядер.
Сетевая карта Intel 82576

[Jora_1]

днс на нём?  И шейпер какой?

Может просто днс кэш забивается или очередь не успевает отрабатывать.

Edited September 26, 2020 by jora_1

[x-rayd]

ДНС стоит на отдельном сервере. У Bind может заполнится очередь?
Используем шейпер Simple Queues

[jffulcrum]

7 часов назад, x-rayd сказал:

но есть ощущение что интернет под вечер подлагивает. Как бы с задержкой работает.

А на портах в статистике нет в эти моменты аномалий?

[Saab95]

В 26.09.2020 в 15:05, x-rayd сказал:

Connection Tracking и TCP Established Timeout  на данный момент стоит 1 час, будет ли целесообразно уменьшить это значение чтобы снять нагрузку?

Поставьте 5 минут.

 

Вы уже посмотрели на вариант, что если используете НАТ на один белый адрес приходится слишком много абонентов и у него просто свободные порты заканчиваются?

В 26.09.2020 в 15:05, x-rayd сказал:

CPU Intel-7 3.7Ггц  12 ядер.

Гипертрединг отключить надо.

[x-rayd]

1 час назад, Saab95 сказал:

Гипертрединг отключить надо.

Можно больше информации почему?

[Saab95]

2 часа назад, x-rayd сказал:

Можно больше информации почему?

Потому что роутер занимается роутингом, и практически все операции представляют собой взять данные с внешней шины и туда же их потом отправить.

Гипертрединг предназначен для того, что бы выполнять операции на части схем ядра процессора, которые не используются в данный момент. А схемы ввода - вывода это не разделяемые ресурсы и 2 ядра как бы используют одну, и когда приходят операции по приему данных с сетевых адаптеров (по распределенным прерываниям), основное или логическое ядро простаивает.

 

Поэтому при использовании гипертрединга складывается не верное определение нагрузки, т.к. ядро как бы используется на 10-15 процентов, а на самом деле больше, т.к. простои, как и снижение частоты и прочие процессорные тормоза, в определении процентов загрузки не участвуют.

[x-rayd]

15 часов назад, Saab95 сказал:

Поставьте 5 минут.

Это реально снизит нагрузку?
Что дает такое маленькое значение?
Также там есть настройка Loose TCP Tracking и стоит галочка, есть смысл ее убрать?

[Saab95]

Нет пусть стоит.

Если соединение активно, то через него передаются данные. Если данные не передаются более 5 минут, разве это соединение активно? Оно должно по таймауту отвалиться.

При изменении настроек они применяются не сразу - старые соединения так и будут висеть, пока не пройдет их время активности, так что результат нужно смотреть после перезагрузки оборудования, или когда все соединения с большими таймаутами пропадут из таблицы.

[NiTr0]

3 часа назад, x-rayd сказал:

Что дает такое маленькое значение?

клиенты, юзающие ssh туннели или rdp, будут в диком восторге например, и быстро сменят такого недопровайдера на кого-то с более прямыми руками.

[kayot]

5 минут назад, NiTr0 сказал:

клиенты, юзающие ssh туннели или rdp, будут в диком восторге например, и быстро сменят такого недопровайдера на кого-то с более прямыми руками.

Неправда.

Таймауты это именно таймауты, пока там хоть 1 пакет пробегает за 5 минут соединение не оборвется.

SSH полностью неактивный через 5 минут умрет, но это не самый популярный кейс для домашних абонентов.

Когда нас ДДОСили мне приходилось ставить значения порядка 1 минуты(!!!) дабы сервера не ложились полностью. И ни одного звонка за месяц с претензиями не получили ни от игроков, ни от "админов".

[x-rayd]

понял, спасибо!

[NiTr0]

59 минут назад, kayot сказал:

Таймауты это именно таймауты, пока там хоть 1 пакет пробегает за 5 минут соединение не оборвется.

в том-то и дело что по неактивному ssh туннелю, который висит, пакеты не бегают. и, думается, rdp аналогично.

 

1 час назад, kayot сказал:

Когда нас ДДОСили мне приходилось ставить значения порядка 1 минуты(!!!) дабы сервера не ложились полностью.

ддосили tcp established коннектами?...

[kayot]

@NiTr0 

Сложно сказать чем и что атаковали, раз в час-два росла таблица отслеживания на НАТ серверах вплоть до окукливания сервера.

Уменьшение таймеров помогло, еще пару недель были всплески размера таблиц но в пределах разумного и без последствий. С тех пор больше года тишина и покой, стоит цифра порядка 10 минут.

Мы по-моему этот вопрос и на локале обсуждали.

[Saab95]

20 часов назад, NiTr0 сказал:

в том-то и дело что по неактивному ssh туннелю, который висит, пакеты не бегают. и, думается, rdp аналогично.

Все там бегает, у нас и ssh и rdp используется, а таймаут стоит 5 минут. Никаких проблем. Если окно rdp свернуть на час, до появления черного экрана и повторного запроса авторизации - соединение не обрывается.

[NiTr0]

В 28.09.2020 в 14:52, kayot сказал:

Сложно сказать чем и что атаковали, раз в час-два росла таблица отслеживания на НАТ серверах вплоть до окукливания сервера. 

обычно - идет udp флуд, причем - часто битые пакеты, с рандомным отправителем.

 

8 часов назад, Saab95 сказал:

Все там бегает

халва, халва...

расскажите тому, кто не пользовался ssh через недооператоров с зарезанными таймаутами коннтрака.

[x-rayd]

2 часа назад, NiTr0 сказал:

расскажите тому, кто не пользовался ssh через недооператоров с зарезанными таймаутами коннтрака.

Я активно использую SSH и RDP поставил TCP Established Timeout на 10 минут полет нормальный, обрывов пока не замечал.

[kayot]

17 часов назад, NiTr0 сказал:

расскажите тому, кто не пользовался ssh через недооператоров с зарезанными таймаутами коннтрака.

Если уж красноглазить до упора - в rdp практически всегда есть часики на рабочем столе, которые раз в минуту картинку обновляют)

Ну а если "админ" постоянно пользуется дома ssh тоннелями и не может поставить в клиенте галочку keepalive - тут больше вопросы к нему, чем к провайдеру.

[NiTr0]

3 часа назад, kayot сказал:

Если уж красноглазить до упора - в rdp практически всегда есть часики на рабочем столе, которые раз в минуту картинку обновляют)

угу, пока нет скринсейвера...

 

3 часа назад, kayot сказал:

Ну а если "админ" постоянно пользуется дома ssh тоннелями и не может поставить в клиенте галочку keepalive - тут больше вопросы к нему, чем к провайдеру.

когда у 99.9% операторов/провайдеров все гладко и шелковисто, а у 0.1%, которыми приходится изредка пользоваться (раз в несколько месяцев) - надо по мнению их собратьев ставить какие-то галочки где-то в openssh клиенте, который консольный, то тут таки вопросы к провайдеру...

[TriKS]

@NiTr0 ты что-то реально перегибаешь... Какие то выдуманные проблемы десятилетней давности...

[pppoetest]

6 часов назад, NiTr0 сказал:

когда у 99.9% операторов/провайдеров все гладко и шелковисто, а у 0.1%, которыми приходится изредка пользоваться (раз в несколько месяцев) - надо по мнению их собратьев ставить какие-то галочки где-то в openssh клиенте, который консольный, то тут таки вопросы к провайдеру...

Впервые  с тобой не соглашусь

[NiTr0]

9 часов назад, TriKS сказал:

ты что-то реально перегибаешь... Какие то выдуманные проблемы десятилетней давности...

поюзай ssh на интертелекоме. если не лезть в конфиги с кипалайвами - минут через 5-10 (на глаз) сессия без активности в ней отсыхает. отвлекся на гугол, вернулся в ssh - а сессия померла. заморачиваться с настройками кипалайва ради резервного линка, юзаемого от силы раз в несколько месяцев - смысла не вижу (больше времени потрачу на настройку с экспериментами, чем сэкономлю на реконнекте за лет 5).

 

Только что, kayot сказал:

и отслеживайте десятки миллионов мусорных записей вместо сотен тысяч.

цифры-то откуда?

"мусорная запись" может взяться только в случае, если у клиента с активной сессией оборвалась связь. всё. экзотические tcp ddos - в теории конечно возможны, но на практике - я их не видел, да и малополезны они (пушо раскрывают ip отправителя пакетов).

[kayot]

5 часов назад, NiTr0 сказал:

то тут таки вопросы к провайдеру...

Вот сейчас ради интереса залез в конфиг рабочего НАТ-сервера. TCP Established Timeout = 200с, в таком виде работает уже больше года. Это чуть больше 3 минут, даже не 5 как рекомендовали выше.

Никаких жалоб не было и нет.

Так что ставьте себе на здоровье сутки, или даже месяц как в дефолте, и отслеживайте десятки миллионов мусорных записей вместо сотен тысяч. Но не советуйте другим заниматься этим мазохизмом.

[TriKS]

10 часов назад, NiTr0 сказал:

поюзай ssh на интертелекоме

Зачем? Когда он банкротится повсеместно и сворачивается. Не юзай его. Поюзай с мобилы раздатчик 3\4G. и не надо будет еще модемы тягать с собой отдельно...

 

@kayot Шото у тебя ретрансмиты вместо кипалайвов пошли :)

Edited October 1, 2020 by TriKS

[NiTr0]

В 01.10.2020 в 12:25, TriKS сказал:

Зачем? Когда он банкротится повсеместно и сворачивается

ну чтобы представлять как это. т.к. банкротится и сворачивается сейчас. а проблема на нем была отродясь.

ну и да, пока модем валяется и интертелеком еще дергается - смысла не вижу его не использовать. благое дело, покрытие куда лучше чем у прочего 3/4ж.