1. Для блокировка используем

[myth]

Создать два сета. В один складывать ip из дампа, после - swap с основным

[big-town]

Народ, есть кто зеркалит с Dlink-ов На сетевухах 82575EB? Есть проблемы?

 

Создать два сета. В один складывать ip из дампа, после - swap с основным

Зачем такие сложности?

То что надо добавил ipset -A , что не надо удалил ipset -D. ipset -T проверка на вхождение.

[myth]

Быстро, просто

[big-town]

У кого работает нормально extfilter, поделитесь конфигурацией железа. У меня упорно сыпет пропуски, причем сейчас ради эксперимента оставил одну очередь пропусков стало гораздо меньше, но тем не менее они есть.

 

Мой конфик в стенде:

Мать двухпроцессорная Intel® Xeon® CPU E5620 @ 2.40GHz 16Gb RAM

HT-выключен.

В качестве сетевухи intel 82575EB

свитч dlink 3200 - пока грешу на него

параметры кернела

ядро 4.8.0-58-lowlatency 16.04.1-Ubuntu server

default_hugepagesz=1G hugepage sz=1G hugepages=8 iommu=pt intel_iommu=on isolcpus=1,3,5,7

очереди

queues = 0,1; 1,3; 2,5; 3,7 (полностью один проц)

правда core_mask=255 при правильной 240 почему то не хочет запускаться.

 

Тест конечно идет только с одного компьютера, но почему то счетчик URL: растет только на первом worker. На других только Active flows: увеличивается. Складывается такое впечатление, что он фильтрует ссылки только в первом вокере из нулевой очереди. Но работают все 4, и загрузка ядер под 100% тоже всех четырех, все вроде как надо.

Изменено 10 июля, 2017 пользователем big-town

[myth]

К тому же надо будет ipset удалять прежде чем на его место что то ставить?

достаточно очистить. Для swap очистка не требуется

 

У кого работает нормально extfilter, поделитесь конфигурацией железа.

Intel® Pentium® CPU G4400 @ 3.30GHz

8гб ram

Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01) для зеркала

встроенная в материнку - для ответов

extfilter> show port stats 0
show port stats 0

 ======================= NIC statistics for port 0  =======================
 RX-packets:              5525841941    RX-errors:          0    RX-bytes: 2278625398366
 RX-nombuf:                        0    RX-missed:          0
 TX-packets:                       0    TX-errors:          0    TX-bytes:          0

70kpps

[big-town]

А зеркало на чем? Свитч какой? И какая ОС?

 

У меня как бы тоже все красиво выглядит, но увы пропуски.

======================= NIC statistics for port 0 =======================

RX-packets: 14192 RX-errors: 0 RX-bytes: 15043322

RX-nombuf: 0 RX-missed: 0

TX-packets: 0 TX-errors: 0 TX-bytes: 0

Изменено 10 июля, 2017 пользователем big-town

[myth]

Ubuntu 16.04

D-link DGS1100-08 в разрыв аплинка. Предлагаю выковырять один проц и работать на одном. Скорее всего, будет лучше. Такая же проблема, как и с роутерами.

 

Конфиг какой?

 

Для ревизора, на всякий пожарный, держу еще nfqfilter

 

registercheck с абонентского пк пропусков не показывает

[borcat]

К тому же надо будет ipset удалять прежде чем на его место что то ставить? Кернел его удалить не даст пока он в iptables используется.А правило удалишь, дыру откроешь, пусть не на долго.

готовим файл в extfilter_maker в формате сохранённого ipset, а потом:

ipset destroy disabled_new

ipset restore -file $null_file

ipset swap disabled disabled_new

ipset destroy disabled_new

и всё без перерыва.

[Bat]

У кого работает нормально extfilter, поделитесь конфигурацией железа. У меня упорно сыпет пропуски, причем сейчас ради эксперимента оставил одну очередь пропусков стало гораздо меньше, но тем не менее они есть.

Наверняка у вас есть сервер виртуальных машин. Попробуйте на нем. У нас на виртуалке крутится. Missed packet равен 0. 150 kpps.

[myth]

borcat, почему не flush disabled_new

[borcat]

borcat, почему не flush disabled_new

 

Это временный сет - зачем его хранить...

[myth]

Это быстрее.

[Antares]

Ну ждёмс скрипт и потестируем

[myth]

В общем-то, несложно это

 

Вопрос только - насколько сильнее это будет грузить цпу?

[big-town]

Наверняка у вас есть сервер виртуальных машин. Попробуйте на нем. У нас на виртуалке крутится. Missed packet равен 0. 150 kpps.

Ну как бы Макс говорил обратное. Missed packet у меня тоже 0, я говорю о реальных пропусках ссылок. На всякий какую виртуалку используете?

Ubuntu 16.04

D-link DGS1100-08 в разрыв аплинка. Предлагаю выковырять один проц и работать на одном. Скорее всего, будет лучше. Такая же проблема, как и с роутерами.

Я думаю все же проблема не в cpu. Сегодня буду экспериментировать. Возьму путный свитч и отзеркалю acl-ками. А кернел какой у вас lowlatency или обычный?

[myth]

Обычный. В двухпроцессорных системах есть узкие места. Поэтому именно на сетевых задачах возможны проблемы

[big-town]

Сменил сегодня сетевуху и свитч на Intel Corporation 82576 Gigabit Network Connection (rev 01) и DGS-3420 соответственно, отзеркалил acl-ками.

Пашет уже несколько минут, ни одного пропуска. Теперь счетчик URL идет во всех worker-ах.

[big-town]

Пропуски все же есть, но их немного. 52 Из общего количества - это примерно 0.1%, такой показатель устраивает проверяшек. Причем это не случайный пропуск, именно url не попадает под регулярку.

 

 

http://mp3davalka.com/files/%D0%90%D0%BD%D0%B4%D0%B5%D0%B3%D1%80%D0%B0%D1%83%D0%BD%D0%B4

http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%A1%D0%BC%D0%B5%D1%80%D1%82%D1%8C

http://www.ynet.co.il/articles/0,7340,L-4715257,00.html

http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%9A%D0%B0%D0%B6%D0%B4%D1%8B%D0%B9

http://freemuzichka.com/tunes/%D0%A2%D0%B8%D0%BC%D1%83%D1%80%20%D0%9C%D1%83%D1%86%D1%83%D1%80%D0%B0%D0%B5%D0%B2%20-%20%D0%92%D0%BE%D1%81%D1%81%D1%82%D0%B0%D0%BD%D1%8C,%20%D0%9C%D1%83%D1%81%D0%BB%D0%B8%D0%BC!

https://ru.downloadatoz.com/%D0%A4%D0%BE%D0%BD%D0%B1%D0%B5%D1%82-mini/com.boloid.results.fonbet/

http://umorina.info/track/%D0%A5%D1%80%D1%83%D1%81%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5

http://gigmuziki.com/search/%D0%9F%D1%81%D0%B8%D1%85%D0%B5%D1%8F

http://www.ynet.co.il/articles/0,7340,L-4715257,00.html

http://mp3davalka.com/files/%D0%BE%D0%BF%D1%80%D0%B0%D0%B2%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9

http://news.siteua.org/%D0%A3%D0%BA%D1%80%D0%B0%D0%B8%D0%BD%D0%B0/567431/%D0%A7%D1%83%D0%B1%D0%B0%D1%80%D0%BE%D0%B2

http://kinogo.by/page,1,2,5118-watch-online-movie-dospehi-boga-4-v-poiskah-sokrovisch_kung-fu-yoga_2017-29-03.html

http://awtomaty.com/

http://muzogig.net/gig/%D0%98%D0%B1%D0%BD

http://josspic.net/image-calvin-calvin-s-mom-calvin-and-hobbes-hobbes-pandoras-box/rule34-data-003.paheal.net*_images*0172d83e660aa3849cce7d6ce4f438d2*157%20-%20Calvin%20Calvin's_Mom%20Calvin_and_Hobbes%20Hobbes%20Pandoras_Box.jpg.html

http://nash-torrent.org/topic-otel'_eleon_sezon_1_serii_1-21_iz_21_anton_fedotov_2016_komediya_melodrama_web-dlrip-t=17265.html

http://directorredirector1.com/?/ru/?partner=p13587p68159p5810%25l7520

http://umorina.info/track/%D1%81%D0%BC%D0%B5%D1%80%D1%82%D1%8C

http://piczool.com/hentai,yuri/best:2013-18/jpg/big

http://fb2gratis.com/

http://mp3play.org/%D0%A7%D1%82%D0%BE-%D1%82%D0%B0%D0%BA%D0%BE%D0%B5-%D1%81%D1%83%D1%84%D0%B8%D0%B7%D0%BC-%D0%9C%D1%83%D1%85%D0%B0%D0%BC%D0%BC%D0%B0%D0%B4-%D0%91%D0%B0%D0%B3%D0%B0%D1%83%D0%B4%D0%B8%D0%BD(A86Vh77RCL8)

http://mp3davalka.com/files/%D0%BE%D0%BF%D1%80%D0%B0%D0%B2%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9

http://mp3koka.com/muz/%D0%90%D1%80%D0%B3%D0%B5%D0%BD%D1%82%D0%B8%D0%BD%D0%90

http://www.tekstowo.pl/piosenka,kolovrat,_1050_1088_1072_1089_1085_1099_1081___1090_1077_1088_1088_1086_1088___czerwony_terror_.html

http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/Yo-Yo-%D1%80%D1%8D%D0%BF

http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D1%80%D1%8B

http://mp3davalka.com/files/%D0%92%D0%B0%D0%BB%D0%B5%D1%80%D0%B8%D0%B9

http://genshtab.info/%D0%A3%D0%BA%D1%80%D0%B0%D0%B8%D0%BD%D1%81%D0%BA%D0%B0%D1%8F_%D0%BD%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%B0%D1%81%D1%81%D0%B0%D0%BC%D0%B1%D0%BB%D0%B5%D1%8F_(%D0%A3%D0%9D%D0%90-%D0%A3%D0%9D%D0%A1%D0%9E)

http://www.bukranking.pl/1352,vulkanbet.html

http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%94%D0%B5%D1%82%D0%B8

http://chan4chan.com/archive/2327/Remember,_Kids:_It's_%22down_the_road%22_not_%22across_the_street%22._Make_it_count!/thumb/off

http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%A5%D1%80%D1%83%D1%81%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F

http://www.dragoart.com/tuts/15289/1/1/how-to-draw-a-swastika,-swastika.htm

http://www.excluzive.net/films/print:page,1,1161725810-kung-fu-yoga-kung-fu-yoga-2017-camrip.html

http://kinogo.by/page,1,2,5357-watch-online-serial_otel-eleon_2-sezon_02-06.html

http://kinogo.by/page,1,2,4540-vzlomat-blogerov-2016-smotret-onlayn.html

http://kinogo.by/page,1,2,4540-watch-online-film_vzlomat-blogerov_2016-15-06.html

http://kinogo.by/page,1,3,4540-vzlomat-blogerov-2016-smotret-onlayn.html

http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%9E%D1%82%D1%80%D1%8F%D0%B4

http://freemuzichka.com/tunes/%D1%81%D0%BC%D0%B5%D1%80%D1%82%D1%8C

http://umorina.info/track/%D1%82%D0%B8%D0%BC%D1%83%D1%80

http://torrenthere.ru/100286-%D0%9E%D1%82%D0%B5%D0%BB%D1%8C%20%D0%AD%D0%BB%D0%B5%D0%BE%D0%BD%20[02%D1%8501-10%20%D0%B8%D0%B7%2021]%20%20(2017)%20WEB-DLRip%20%20%D0%BE%D1%82%20Files-x.html

http://downloadapk.net/%D0%9A%D0%BD%D0%B8%D0%B3%D0%B0-%D0%B5%D0%B4%D0%B8%D0%BD%D0%BE%D0%B1%D0%BE%D0%B6%D0%B8%D1%8F-(%D0%B0%D1%82-%D0%A2%D0%B0%D0%BC%D0%B8%D0%BC%D0%B8).html

http://umorina.info/track/La

http://ru.odfoundation.eu/a/6450,otchet-dobrovolcheskie-batalony-vozniknovenie-deyatelnost-protivorechiya

http://fb2gratis.com/62833_rechi_varga_(Vargsmel).html

http://mp3davalka.com/files/%D0%BE%D0%BF%D1%80%D0%B0%D0%B2%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9

http://mp3davalka.com/files/%D0%BE%D0%BF%D1%80%D0%B0%D0%B2%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9

http://www.888media-ru.com/ru/poker/best-poker-room.html?sr=1157957&flag=000001&utm_medium

http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%92

http://www.prochan.com/view?

http://ukrmedserv.com/content/view/6294/318/lang,ru/

 

 

Полный лог https://yadi.sk/d/hhP1hT-g3KyG88

get_url - скрипт проверки

wlog - лог wget

папка html - что скачалось по запросу

url-abuse.txt.orig - ссылки по которым проводилась проверка

missed.sh - выбирает из wlog то что пролетело

Изменено 12 июля, 2017 пользователем big-town

[flow-control]

Похоже у вас какой-то косяк с пробелами :

 

У вас http://umorina.info/track/La

В реестре umorina.info/track/La Vida Cuesta Libertades и тд

Изменено 12 июля, 2017 пользователем flow-control

[big-town]

Похоже у вас какой-то косяк с пробелами :

 

У вас http://umorina.info/track/La

В реестре umorina.info/track/La Vida Cuesta Libertades и тд

Кстати да, вы правы.

Внес изменения в скрипт проверки

было
wget --timeout=3 --no-check-certificate -t 1 $url -P /root/ZAPRET/html -a /root/ZAPRET/wlog ; 
стало
wget --timeout=3 --no-check-certificate -t 1 "$url" -P /root/ZAPRET/html -a /root/ZAPRET/wlog ; 

[myth]

а зачем wget, если можно curl?

[big-town]

а зачем wget, если можно curl?

А зачем curl если есть wget :)? В чем принципиальная разница? А вообще так исторически сложилось ;).

Изменено 12 июля, 2017 пользователем big-town

[big-town]

Перезалил актуальный архив с пропусками https://yadi.sk/d/hhP1hT-g3KyG88

Анализ показал что пропускает ссылки с "," "'" (с запятой или апострофом)

Можно конечно в самом перле при формировании url обрезать до указанных символов.

Причем как я понял безразницы символ ли это %2C или ,

Изменено 12 июля, 2017 пользователем big-town

[hsvt]

Перезалил актуальный архив с пропусками https://yadi.sk/d/hhP1hT-g3KyG88

Анализ показал что пропускает ссылки с "," "'" (с запятой или апострофом)

Можно конечно в самом перле обрезать до указанных символов.

Причем как я понял безразницы символ ли это %2C или ,

 

Какими пропусками? Делайте всё через Максовский софт и файлы и фильтрацию, все регулярки и обрезание и пр. в перле там уже есть.

 

Нету ни каких пропусков, уже писали неоднократно как и сам max197616, а если и есть то по вине ревизора, белые списки\не верные коды ответов, либо максимум последний раз что пролетало это через nfqfilter ssl_ip+port.

 

С запятыми точно не было пропусков на последних версиях.

Изменено 12 июля, 2017 пользователем hsvt

[big-town]

Какими пропусками? Делайте всё через Максовский софт и файлы и фильтрацию, все регулярки и обрезание и пр. в перле там уже есть.

 

Не надо других за идиотов держать! Я вообще не использую Максовский софт, в том числе и по предубеждениям. Сорри только сейчас прочитал какую чушь написал. Я прочитал как "Майкрософовский", конечно все через софт Максима делаю.

И прежде чем написать, я все 10 раз проверил.

 

После прогона через фильтр пропуски устранились

cat urls.orig | sed -r "s/\,.*$//gi" | sed -e "s/'.*$//gi" > urls

Изменено 14 июля, 2017 пользователем big-town