roma33rus Posted April 3, 2019 Всем привет. Заменили значит микротик на тазик с centos на борту. На машине только bgp и ipt_NETFLOW. От юзерей стали поступать жалобы о плохой работе gre. Тормоза и обрывы. Куда можно копнуть, с какой стороны подойти к проблеме? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
roma33rus Posted April 3, 2019 Немного разобрался в ситуации. Увеличил net.netfilter.nf_conntrack_max до 1048576. Сейчас из крутилок: /sbin/ethtool -K eth1 tso off /sbin/ethtool -K eth0 tso off /sbin/ethtool -K eth1 lro off /sbin/ethtool -K eth0 lro off /sbin/ethtool -G eth0 rx 4096 tx 4096 /sbin/ethtool -G eth1 rx 4096 tx 4096 /sbin/ifconfig eth0 txqueuelen 10000 /sbin/ifconfig eth0.851 txqueuelen 10000 /sbin/ifconfig eth1 txqueuelen 10000 Очереди прибиты к ядрам. На какие еще переменные стоит обращать внимание в sysctl при роутинге? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
TriKS Posted April 3, 2019 (edited) Ну как бы контрак по умолчанию мониторят. А на бордере совсем отрубают, если НАТа нет. Вангую, что в лог сыпало что-то вроде nf_conntrack: table full Крутить надо, но надо понимать что крутить и зачем. Можно порезать таймауты tcp. Можно еще много чего. Но нужно почитать и понять что вам надо, что нет. А уж потом крутить. Edited April 3, 2019 by TriKS Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
roma33rus Posted April 3, 2019 Вы правы на счет сообщений nf_conntrack: table full. Может статейку посоветуете какую почитать можно по теме? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
TriKS Posted April 3, 2019 google.com -> тюнинг сетевого стека linux. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
roma33rus Posted April 3, 2019 Хорошо, поищу. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
s.lobanov Posted April 3, 2019 5 часов назад, roma33rus сказал: Хорошо, поищу. вас просто послали на три буквы. если будете в гугле искать тюнинг сетевого стек, то нарвётесь на тюнинг tcp-параметров, которые влияют на локальные приложения (все эти howto написаны под веб-сервера), но не на форвардинг (софтроутеры) вообщем вот рецепт: # cat /etc/modprobe.d/nf_conntrack.conf options nf_conntrack hashsize=1048576 # cat /etc/sysctl.conf | grep max | grep conntr net.nf_conntrack_max=8388608 опционально, можно ещё подкрутить таймауты, но с таким хешем и общим размером таблицы скорее всего вам это не потребуется Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
TriKS Posted April 4, 2019 10 часов назад, s.lobanov сказал: опционально, можно ещё подкрутить таймауты, но с таким хешем и общим размером таблицы скорее всего вам это не потребуется Да-да. Расскажите это при ДДОСе. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
roma33rus Posted April 4, 2019 11 часов назад, s.lobanov сказал: вас просто послали на три буквы. если будете в гугле искать тюнинг сетевого стек, то нарвётесь на тюнинг tcp-параметров, которые влияют на локальные приложения (все эти howto написаны под веб-сервера), но не на форвардинг (софтроутеры) вообщем вот рецепт: # cat /etc/modprobe.d/nf_conntrack.conf options nf_conntrack hashsize=1048576 # cat /etc/sysctl.conf | grep max | grep conntr net.nf_conntrack_max=8388608 опционально, можно ещё подкрутить таймауты, но с таким хешем и общим размером таблицы скорее всего вам это не потребуется то есть при роутинге conntrack лучше оставить или все-таки отключить? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
pppoetest Posted April 4, 2019 Если NAT'а нет, и в фаере не нужны состояния, лучше -j NOTRACK Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
s.lobanov Posted April 4, 2019 8 минут назад, roma33rus сказал: то есть при роутинге conntrack лучше оставить или все-таки отключить? При чистом роутинге, conntrack лучше отключить. Если есть нат/трекинг состояний, то вы вынуждены использовать conntrack Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
roma33rus Posted April 4, 2019 Нет, на этой железке НАТа не будет, только bgp и netflow 32 минуты назад, pppoetest сказал: Если NAT'а нет, и в фаере не нужны состояния, лучше -j NOTRACK Спасибо. попробую перенастроить iptables Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
TriKS Posted April 4, 2019 7 минут назад, roma33rus сказал: попробую перенастроить iptables Лучше его(модуль) вообше отключить в таком случае. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
roma33rus Posted April 5, 2019 В 04.04.2019 в 10:38, TriKS сказал: Лучше его(модуль) вообше отключить в таком случае. Ну да, сначала правила переписать и же отрубать модуль. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
kayot Posted April 5, 2019 @roma33rus Обычно проще не трогать модуль и использовать для самого сервера established-правила, а для транзитного добавить -j NOTRACK. Если на сервере кроме маршрутизации еще куча сервисов, stateless правила могут быть длинными и нудными. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
roma33rus Posted April 8, 2019 А правило NOTRACK должно быть в табличке raw? а потом уже в табличке filter разрешающие правила? я все правильно понимаю? На этой железке, кроме маршрутизации и нетфлоу ничего не будет. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
kayot Posted April 8, 2019 @roma33rus Верно. Фаервол остается без изменений, добавляется таблица RAW с 1 или несколькими правилами. Даже на серверах с NAT такой прием используют, для реальных адресов делается NOTRACK, а серые работают по старинке с трекингом. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
roma33rus Posted April 8, 2019 спасибо. вроде стал немного понимать логику. изучаю просторы интернета. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...