epollia Опубликовано 1 марта, 2018 · Жалоба https://radiosintetica.ru/2017/10/25/ustanovka-extfilter-filtruiem-saity-pravilno-chast-1-ustanovka/#disqus_thread Вот тут написано про память Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 1 марта, 2018 · Жалоба 38 минут назад, Huko сказал: А как узнать сколько поддерживает Intel(R) Xeon(R) CPU E5520 @ 2.27GHz ? grep pdpe1gb /proc/cpuinfo 11 часов назад, SokolovS сказал: Так, уже понятней. Только у нас на BGP-бордере в сторону абонентов смотрят 2 L3-интерфейса и соответственно два шлюза (один для тех кто за NAT-ом). Для такого варианта есть какое-то решение? Памяти выделил 4Гб, missed по нулям, в пике сегодня до 150 kpps. Ответы от фильтра должны отправляться на L3 интерфейс, который знает маршруты к ip адресам абонентов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 1 марта, 2018 · Жалоба 2 часа назад, myth сказал: тогда вариант с ответами через dpdk не годится и нужны обычные настроенные интерфейсы под контролем ядра. Я отдаю ответы в бордер. А уже он отдает кому надо Это требует специальной настройки? Можете конфиг показать? Смущает проблема с IPv6. При доступе к запрещенному ресурсу по IPv6 в логах ошибка и ресурс доступен. Error CSender - sendto() failed to [XXXX:XX00:2:0:2142:6e27:46d6:2978]:[ERRFMT] from [2400:cb00:2048:1::681c:960]:[ERRFMT] errno: 97 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Huko Опубликовано 1 марта, 2018 · Жалоба 43 minutes ago, max1976 said: grep pdpe1gb /proc/cpuinfo Если CPU не поддерживает 1GB на сколько это критично ? (echo 2048 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages прописан) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 1 марта, 2018 · Жалоба 50 минут назад, max1976 сказал: Ответы от фильтра должны отправляться на L3 интерфейс, который знает маршруты к ip адресам абонентов. Речь об отправке пакетов через DPDK (порт типа sender) или через стандартный механизм ядра? Все таки в параметре "mac =" указывается MAC адрес интерфейса на сервере с extfilter? Мне правильно выше ответили? Получается практически любой L3-интерфейс бордера знает маршруты ко всем абонентам. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
flow-control Опубликовано 1 марта, 2018 · Жалоба 11 минут назад, SokolovS сказал: MAC адрес интерфейса bgp бордера, а не extfilter Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 1 марта, 2018 (изменено) · Жалоба 48 минут назад, SokolovS сказал: Речь об отправке пакетов через DPDK (порт типа sender) или через стандартный механизм ядра? Все таки в параметре "mac =" указывается MAC адрес интерфейса на сервере с extfilter? Мне правильно выше ответили? Получается практически любой L3-интерфейс бордера знает маршруты ко всем абонентам. Самым оптимальным вариантом кмк сделать ответы через DPDK на ip-unnumbered интерфейсе или SVI/30. При этом в случае ip-unnumbered адрес не тратиться. Пример с джунипера: show interfaces ge-4/3/9 description DPI_DPDK_sender_Port_2; flexible-vlan-tagging; native-vlan-id 1000; gigether-options { no-flow-control; } unit 0 { description DPI_DPDK_sender_Port_2; vlan-id 1000; family inet { } unnumbered-address lo0.0 preferred-source-address x.x.x.x; } } Где x.x.x.x адрес gw на lo0. Пакет ответа будет иметь такой вид: SRC MAC фильтра, DST MAC шлюза (MAC интерфейса ge-4/3/9), DST IP абонента, SRC IP ресурса от имени которого идет ответ. IP шлюза и фильтра тут не участвуют. При включение в конфиге type = sender ответы через Linux ip интерфейс прекращаются. Если ответы слать через Linux ip интерфейс на extfilter сервере, то там просто должен быть адрес который смотрит в бордер и может достучаться до всех абонентов. На циске можете попробовать сделать по аналогии. Изменено 1 марта, 2018 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 1 марта, 2018 · Жалоба Коллеги спасибо, что разжевали подробно. Вопросов больше нет. Теперь все предельно ясно. 22 минуты назад, hsvt сказал: Если ответы слать через Linux ip интерфейс на extfilter сервере, то там просто должен быть адрес который смотрит в бордер и может достучаться до всех абонентов. Сейчас у нас так и есть, причем IPv6 на интерфейсе тоже настроен, но в логах ошибка о которой пиал выше. Надеюсь переход на ответы через DPDK решит этот вопрос, т.к. IPv6 сейчас выделяем вообще всем и инженеры роутеры начали настраивать с IPv6. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 1 марта, 2018 (изменено) · Жалоба 1 час назад, SokolovS сказал: Error CSender - sendto() failed to [XXXX:XX00:2:0:2142:6e27:46d6:2978]:[ERRFMT] from [2400:cb00:2048:1::681c:960]:[ERRFMT] errno: 97 Видимо на сервере с фильтром нет маршрута по умолчанию для ipv6 или вообще не настроен ipv6. Изменено 1 марта, 2018 пользователем max1976 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 1 марта, 2018 (изменено) · Жалоба 28 минут назад, max1976 сказал: Видимо на сервере с фильтром нет маршрута по умолчанию для ipv6 или вообще не настроен ipv6. Да нет, все есть и IPv6 настроен. Доступен как IPv6 Интернет, так и абоненты по IPv6. Может форвард нужно разрешить? У меня сейчас запрещен и в iptables политика по умолчанию DROP. Изменено 1 марта, 2018 пользователем SokolovS Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 1 марта, 2018 · Жалоба 4 часа назад, myth сказал: тогда вариант с ответами через dpdk не годится и нужны обычные настроенные интерфейсы под контролем ядра. Я отдаю ответы в бордер. А уже он отдает кому надо Ага, потом он откажит, и не будет работать блокировка. Ещё блокировка такая работать не будет, если клиенты находятся в броадкаст домене. Например, есть инфекционное отделение, на него выделена подсеть: 198.18.177.0/24. Вот примерная схема сети: 198.18.177.1 - главный шлюз отделения 198.18.177.2 - главный коммутатор отделения 198.18.177.3 - коммутатор первого этажа 198.18.177.4 - коммутатор второго этожа 198.18.177.5 - коммутатор третьего этажа 198.18.177.6 - ферма для майнинга bitcoin 198.18.177.7 - ферма для майнинга monero 198.18.177.8 - ферма для майнинга zcash 198.18.177.9 - extfilter 198.18.177.10 - зав. отделением 198.18.177.11 - системный администратор 198.18.177.12 - систринская 198.18.177.13, 198.18.177.14 - ординаторская 198.18.177.15 - кабинет врача 1 198.18.177.16 - кабинет врача 2 198.18.177.17 - кабинет врача 3 198.18.177.18 - кабинет врача 4 198.18.177.19 - кабинет врача 5 198.18.177.20 - кабинет врача 6 198.18.177.21 - кабинет врача 7 198.18.177.22 - кабинет врача 8 198.18.177.23 - палата 1 198.18.177.24 - палата 2 198.18.177.25 - палата 3 198.18.177.26 - палата 4 198.18.177.27 - палата 5 198.18.177.28 - палата 6 198.18.177.29 - палата 7 198.18.177.30 - палата 8 198.18.177.31 - палата 9 198.18.177.32 - палата 10 198.18.177.33 - палата 11 198.18.177.34 - палата 12 198.18.177.35 - палата 13 198.18.177.36 - палата 14 198.18.177.37 - палата 15 198.18.177.38 - палата 16 198.18.177.39 - палата 17 198.18.177.40 - палата 18 198.18.177.41 - палата 19 198.18.177.42 - палата 20 Вот примерная схема сети. Настройки у клиента выгледят так: IP-адрес: 198.18.177.20 Маска подсети: 255.255.255.0 Шлюз: 198.18.177.1 Понятное дело, если зеркалирование есть на коммутаторе, то с бордера (который находится за пределами отделение) отправлять ничего нельзя, потому что если у вас сеть как описанно выше, то блокировка внутри широковещательного домена работать не будет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 1 марта, 2018 · Жалоба 3 минуты назад, ne-vlezay80 сказал: Ага, потом он откажит, и не будет работать блокировка. Если откажет бордер, то блокировать будет нечего ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 1 марта, 2018 · Жалоба Только что, SokolovS сказал: Если откажет бордер, то блокировать будет нечего ;) Но, сеть работать все равно будет. А если в сети несколько бордеров? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 1 марта, 2018 · Жалоба 10 минут назад, ne-vlezay80 сказал: Но, сеть работать все равно будет. А если в сети несколько бордеров? Сеть без Интернета? Или заблокированные ресурсы уже в Интранете появились? ;-) На самом деле, если в сети резервируются бордеры, то логично резервировать и серверы с extFilter. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexwin Опубликовано 1 марта, 2018 · Жалоба 20 минут назад, ne-vlezay80 сказал: Ага, потом он откажит, и не будет работать блокировка. Ещё блокировка такая работать не будет, если клиенты находятся в броадкаст домене. Например, есть инфекционное отделение, на него выделена подсеть: 198.18.177.0/24. Вот примерная схема сети: 198.18.177.1 - главный шлюз отделения 198.18.177.2 - главный коммутатор отделения 198.18.177.3 - коммутатор первого этажа 198.18.177.4 - коммутатор второго этожа 198.18.177.5 - коммутатор третьего этажа 198.18.177.6 - ферма для майнинга bitcoin 198.18.177.7 - ферма для майнинга monero 198.18.177.8 - ферма для майнинга zcash 198.18.177.9 - extfilter 198.18.177.10 - зав. отделением 198.18.177.11 - системный администратор 198.18.177.12 - систринская 198.18.177.13, 198.18.177.14 - ординаторская 198.18.177.15 - кабинет врача 1 198.18.177.16 - кабинет врача 2 198.18.177.17 - кабинет врача 3 198.18.177.18 - кабинет врача 4 198.18.177.19 - кабинет врача 5 198.18.177.20 - кабинет врача 6 198.18.177.21 - кабинет врача 7 198.18.177.22 - кабинет врача 8 198.18.177.23 - палата 1 198.18.177.24 - палата 2 198.18.177.25 - палата 3 198.18.177.26 - палата 4 198.18.177.27 - палата 5 198.18.177.28 - палата 6 198.18.177.29 - палата 7 198.18.177.30 - палата 8 198.18.177.31 - палата 9 198.18.177.32 - палата 10 198.18.177.33 - палата 11 198.18.177.34 - палата 12 198.18.177.35 - палата 13 198.18.177.36 - палата 14 198.18.177.37 - палата 15 198.18.177.38 - палата 16 198.18.177.39 - палата 17 198.18.177.40 - палата 18 198.18.177.41 - палата 19 198.18.177.42 - палата 20 Вот примерная схема сети. Настройки у клиента выгледят так: IP-адрес: 198.18.177.20 Маска подсети: 255.255.255.0 Шлюз: 198.18.177.1 Понятное дело, если зеркалирование есть на коммутаторе, то с бордера (который находится за пределами отделение) отправлять ничего нельзя, потому что если у вас сеть как описанно выше, то блокировка внутри широковещательного домена работать не будет. Так,стоп,а где старший/младший коммутатор N-ого этажа? Непорядок. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 1 марта, 2018 · Жалоба 1 час назад, SokolovS сказал: Да нет, все есть и IPv6 настроен. Доступен как IPv6 Интернет, так и абоненты по IPv6. Может форвард нужно разрешить? У меня сейчас запрещен и в iptables политика по умолчанию DROP. forward не нужен. Скорее output надо смотреть. В любом случае ошибка 97 (EAFNOSUPPORT) - Address family not supported by protocol. Что-то неправильно настроено под ipv6. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 1 марта, 2018 · Жалоба Кстати заметил такую ругань, но URL блочится. 2018-03-01 15:15:31.837 [43993] Error Application - An SyntaxException occured: 'Syntax error: URI encoding: no hex digit following percent sign: /post/100896000862/%' on URI: 'http://pervedinstab.tumblr.com/post/100896000862/%' 2018-03-01 15:15:39.300 [43993] Error Application - An SyntaxException occured: 'Syntax error: URI encoding: no hex digit following percent sign: /post/100896000862/%' on URI: 'http://pervedinstab.tumblr.com/post/100896000862/%' 2018-03-01 15:15:46.778 [43993] Error Application - An SyntaxException occured: 'Syntax error: URI encoding: no hex digit following percent sign: /post/100896000862/%' on URI: 'http://pervedinstab.tumblr.com/post/100896000862/%' 2018-03-01 15:15:54.238 [43993] Error Application - An SyntaxException occured: 'Syntax error: URI encoding: no hex digit following percent sign: /post/100896000862/%' on URI: 'http://pervedinstab.tumblr.com/post/100896000862/%' Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 1 марта, 2018 (изменено) · Жалоба 34 минуты назад, hsvt сказал: Кстати заметил такую ругань, но URL блочится. 2018-03-01 15:15:31.837 [43993] Error Application - An SyntaxException occured: 'Syntax error: URI encoding: no hex digit following percent sign: /post/100896000862/%' on URI: 'http://pervedinstab.tumblr.com/post/100896000862/%' 2018-03-01 15:15:39.300 [43993] Error Application - An SyntaxException occured: 'Syntax error: URI encoding: no hex digit following percent sign: /post/100896000862/%' on URI: 'http://pervedinstab.tumblr.com/post/100896000862/%' 2018-03-01 15:15:46.778 [43993] Error Application - An SyntaxException occured: 'Syntax error: URI encoding: no hex digit following percent sign: /post/100896000862/%' on URI: 'http://pervedinstab.tumblr.com/post/100896000862/%' 2018-03-01 15:15:54.238 [43993] Error Application - An SyntaxException occured: 'Syntax error: URI encoding: no hex digit following percent sign: /post/100896000862/%' on URI: 'http://pervedinstab.tumblr.com/post/100896000862/%' какой то странный , сперва попробовал , он заблочится , потом открыл корневой , открылся , и больше урл не блочится ни чем .... О , понял , он же ssl ный стал , вот делааа Изменено 1 марта, 2018 пользователем dee Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 2 марта, 2018 · Жалоба В пропусках с начала тестирования extfilter регулярно одна и та же запись: ID 683933 и несколько адресов вида http://35.173.251.105. При этом при попытке открыть этот адрес, ответа никакого нет вообще, а в отчете 200 OK. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexwin Опубликовано 2 марта, 2018 · Жалоба 27 минут назад, SokolovS сказал: В пропусках с начала тестирования extfilter регулярно одна и та же запись: ID 683933 и несколько адресов вида http://35.173.251.105. При этом при попытке открыть этот адрес, ответа никакого нет вообще, а в отчете 200 OK. Скорее всего это связано с заголовком Host? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 2 марта, 2018 · Жалоба 2 минуты назад, alexwin сказал: Скорее всего это связано с заголовком Host? По идее при таком запросе Host должен быть пустым. Нет? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexwin Опубликовано 2 марта, 2018 · Жалоба 2 минуты назад, SokolovS сказал: По идее при таком запросе Host должен быть пустым. Нет? Надо смотреть в RFC,но по идее да,так имени хоста нет. А url фильтруются,я предполагаю,dpi как Host+url в заголовке запроса. Но за особенностями реализации либо лучше к автору,либо в сорцы. 6 минут назад, SokolovS сказал: По идее при таком запросе Host должен быть пустым. Нет? Сниффер в помощь ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 2 марта, 2018 · Жалоба 44 минуты назад, SokolovS сказал: В пропусках с начала тестирования extfilter регулярно одна и та же запись: ID 683933 и несколько адресов вида http://35.173.251.105. При этом при попытке открыть этот адрес, ответа никакого нет вообще, а в отчете 200 OK. Этот сайт должен блокироваться по всем протоколам, т.е. быть в blackhole. Смотрите что у вас за blackhole, отдающий 200 OK. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 2 марта, 2018 · Жалоба 31 минуту назад, max1976 сказал: Этот сайт должен блокироваться по всем протоколам, т.е. быть в blackhole. Смотрите что у вас за blackhole, отдающий 200 OK. Т.е. в блокировке подобных записей extfilter не участвует. Мы должны их зароутить в null или заблокировать ACLями. Правильно понял? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
flow-control Опубликовано 2 марта, 2018 · Жалоба 30 минут назад, SokolovS сказал: Мы должны их зароутить в null или заблокировать ACLями. да Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...