Перейти к содержимому
Калькуляторы

sanyasi

Пользователи
  • Публикации

    68
  • Зарегистрирован

  • Посещение

О sanyasi

  • Звание
    Абитуриент
  1. Кто-нибудь пробовал этот софт для организации аггрегатора трафика, к примеру для зеркала трафика. Вход пару тройку 10G интерфейсов, по второму уровню, сортировка по вланам, префиксам, и распихивание по двум-трем другим интерфейсам, возможно с фильтрацией по протоколам.
  2. Упал процесс extFilter Fatal WorkerThread-1 - There is no space in the ipv4 flow hash редиректы отправляются ядром системы max_active_flows_ipv4 = 2000000 убавил до 1500000 - упал сразу, увеличил до 3000000 - пока работает. Чем ограничены эти значения? fragmentation_ipv4_table_size = 512 [bootloader] cmdline=isolcpus=1,2 default_hugepagesz=1G hugepagesz=1G hugepages=4 All worker threads seen packets: 337956479, IP packets: 337954118 (IPv4 packets: 337954118, IPv6 packets: 0), seen bytes: 46788738647, traffic throughtput: 554.84 K All worker IPv4 fragments: 1774712, IPv6 fragments: 0, IPv4 short packets: 0 All worker threads matched by ip/port: 0, matched by ssl: 7, matched by ssl/ip: 0, matched by domain: 74, matched by url: 3829 All worker threads redirected domains: 74, redirected urls: 3829, rst sended: 7 All worker threads active flows: 1668502 (IPv4 flows: 1668502, IPv6 flows: 0), deletet flows: 30059142
  3. "Согласно приказу, операторы связи ограничивают доступ к интернет-ресурсам только на основании выгрузки Роскомнадзора." Как я понимаю, список минюста можно больше не парсить?
  4. Последняя версия, после борьбы с сайтами Навального, стала пропуски делать. При чем, постепенно накапливая число пропусков. Перезагрузка восстанавливает блокирование. С 14 марта worker.core.1.total_packets=87092242704 worker.core.1.ip_packets=87092242692 worker.core.1.ipv4_packets=87092242692 worker.core.1.ipv6_packets=0 worker.core.1.total_bytes=11251442102500 worker.core.1.matched_ip_port=8404 worker.core.1.matched_ssl=1973271 worker.core.1.matched_ssl_ip=0 worker.core.1.matched_domains=3205212 worker.core.1.matched_ulrs=13556523 worker.core.1.active_flows=118758 worker.core.1.ipv4_fragments=358471246 worker.core.1.ipv6_fragments=0 worker.core.1.ipv4_short_packets=0 worker.core.2.total_packets=86899669030 worker.core.2.ip_packets=86899669030 worker.core.2.ipv4_packets=86899669030 worker.core.2.ipv6_packets=0 worker.core.2.total_bytes=10941309671106 worker.core.2.matched_ip_port=4495 worker.core.2.matched_ssl=2581274 worker.core.2.matched_ssl_ip=0 worker.core.2.matched_domains=3100672 worker.core.2.matched_ulrs=13075150 worker.core.2.active_flows=118036 worker.core.2.ipv4_fragments=381236481 worker.core.2.ipv6_fragments=0 worker.core.2.ipv4_short_packets=0 allworkers.total_packets=173991911734 allworkers.ip_packets=173991911722 allworkers.ipv4_packets=173991911722 allworkers.ipv6_packets=0 allworkers.total_bytes=22192751773606 allworkers.matched_ip_port=12899 allworkers.matched_ssl=4554545 allworkers.matched_ssl_ip=0 allworkers.matched_domains=6305884 allworkers.matched_ulrs=26631673 allworkers.active_flows=236794 allworkers.ipv4_fragments=739707727 allworkers.ipv6_fragments=0 allworkers.ipv4_short_packets=0 allports.received_packets=173991909573 allports.missed_packets=0 allports.rx_nombuf=0 allports.ierrors=77 P.S. Ошибка нашлась - не срабатывал скрипт обновления конфигурации.
  5. как вариант, удалить седом из дампа ts="2018-02-12T09:28:00+03:00", вернее ts="все что внутри". Если кто быстрей сообразит - напишите команду
  6. надо править sub parseDump, как минимум.
  7. да, то-же самое, при отправке через dpdk Network devices using DPDK-compatible driver ============================================ 0000:01:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused= 0000:01:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=
  8. Версия 0.70, тоже наблюдаются редкие падения, в момент обновления списков. Попробую новую.
  9. 2012 году было предложено специально для таких случаев ввести код 511[3]. Поскольку сценарий работы с captive portal корректно себя ведёт только в браузере при обращении к не-https сайту, большинство современных клиентских операционных систем после подключения к сети выполняют проверку на его наличие: Android начиная с версии 4 через несколько секунд после подключения запрашивает с одного из серверов компании Google файл с названием generate_204 и не получая в http-ответе код 204 создает соответствующее уведомление, при нажатии на которое в браузере открывается captive portal. Windows и Windows Phone используют сервис Network Connectivity Status Indicator, который запрашивает файл с сайта, принадлежащего Microsoft, ожидая получить предопределённое содержимое. В некоторых случаях сверяется с эталоном IP-адрес сайта, возвращаемый DNS-сервером. При обнаружении captive portal так же как и в Android формируется уведомление для пользователя[4]. iOS-устройства, так же как Windows, запрашивают файл (с одного из нескольких сотен[5] принадлежащих Apple сайтов) и сверяют его содержимое. В случае обнаружения captive portal во всплывающем окне открывается Captive Network Assistant, представляющий собой браузер без поддержки HTTP cookies.
  10. Может кто улучшит, или воспользуется. Быстрая многопоточная проверялка блокирования. Ревизор (urls.dump с протоколами http://) cat revizor #!/bin/bash > noblock > error cat urls.dump | grep -v '^$' | while read url; do echo $url ./poller "$url" & done cat poller #!/bin/bash STR=`wget -q -nv -t 1 -T 5 --no-check-certificate --spider -S "$@" 2>&1` ERR=$? GET=`echo -e "$STR" | head -1` if [[ "$ERR" == "0" ]]; then if [[ "$GET" == ' HTTP/1.1 200 OK' ]] ; then echo -e "$@\n$STR" >> noblock fi else echo [$ERR] - $@1 >> error fi time ./revizor real 1m13.453s user 2m8.200s sys 1m34.770s
  11. CentOS Linux release 7.3.1611/3.10.0-514.26.2.el7.x86_6 dpdk-stable-17.05.1 poco-1.7.8p3 или poco-1.6.1 extfilter сегодняшний делает много пропусков, причем один раз из 5-10 запросов одной и той-же ссылки блокирует. С русскими url, пока не разбирался, но тоже пропусков много. ссылка порезана, для конспирации: wget -nv -t 1 -T 2 --no-check-certificate --spider -S "http://.com/top/4290-Топ-10-способов.html" иногда блокируется, запрос передается в правильном формате (закодирован) curl --connect-timeout 2 -skL "http://.com/top/4290-Топ-10-способов.html" не блокируется, запрос передается как есть откатился пока на 0.70 В этой версии два способа проверки блокируются одинаково хорошо.
  12. Ну вот когда на 10G протестируете, возможно работу в зеркале трафика, графики ппс/цпу, можете смело предлагать в паблик. Работа через NFQUEUE по очередям, делается и на nfqfilter. Преимуществом будет собирание tcp сессий, правильная обработка загрузки процессора (регулирование максимальной загрузки ЦПУ), отдельный контроль белых списков, перезапуск без пропусков, поддержка форматов файлов extfilter как в генераторе конфигурации, так и в демоне. Возможно модуль ядра, был бы эффективнее. При использовании extfilter в зеркале, так и хочется чего-то связанного с NFQUEUE, но не требовательного к ресурсам, для подстраховки.
  13. Опишите ТТХ. Технологии, возможности, нагрузочные испытания, требования к оборудованию. Чем лучше/хуже ExtFilter.
  14. content id="553710" [CDATA[https://www.google.ru/aclk?sa=L&ai=DChcSEwjFuIm2nKrUA.....
  15. А если ограничиваться частью URL? Например оставлять из записи реестра первые 64 символа, которые входят в первый пакет tcp сессии, и анализировать в пакете только эти 64 символа? Это, кроме того, сократит число требуемых записей, так как часто блокируют несколько страниц, на одном сайте, В реестре: http://qwerrrr.ru/какая-то-фигня/ыфвсльфыжлввсь жыдфльс жыфдвлсьжфыдлсь...ыфдлвсь.jpg http://qwerrrr.ru/какая-то-фигня/ыфвсльфыжлввсь жыдфльс жыфдвлсьжфыдлсь...ыфдлвсь1.jpg А блокируем все, что содержит символы: http://qwerrrr.ru/какая-то-фигня/ыфвсльфыжлввсь жыдфльс жыфдвлсьжфыдлсь...