myth Опубликовано 10 июля, 2017 · Жалоба Создать два сета. В один складывать ip из дампа, после - swap с основным Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 10 июля, 2017 · Жалоба Народ, есть кто зеркалит с Dlink-ов На сетевухах 82575EB? Есть проблемы? Создать два сета. В один складывать ip из дампа, после - swap с основным Зачем такие сложности? То что надо добавил ipset -A , что не надо удалил ipset -D. ipset -T проверка на вхождение. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 10 июля, 2017 · Жалоба Быстро, просто Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 10 июля, 2017 (изменено) · Жалоба У кого работает нормально extfilter, поделитесь конфигурацией железа. У меня упорно сыпет пропуски, причем сейчас ради эксперимента оставил одну очередь пропусков стало гораздо меньше, но тем не менее они есть. Мой конфик в стенде: Мать двухпроцессорная Intel® Xeon® CPU E5620 @ 2.40GHz 16Gb RAM HT-выключен. В качестве сетевухи intel 82575EB свитч dlink 3200 - пока грешу на него параметры кернела ядро 4.8.0-58-lowlatency 16.04.1-Ubuntu server default_hugepagesz=1G hugepage sz=1G hugepages=8 iommu=pt intel_iommu=on isolcpus=1,3,5,7 очереди queues = 0,1; 1,3; 2,5; 3,7 (полностью один проц) правда core_mask=255 при правильной 240 почему то не хочет запускаться. Тест конечно идет только с одного компьютера, но почему то счетчик URL: растет только на первом worker. На других только Active flows: увеличивается. Складывается такое впечатление, что он фильтрует ссылки только в первом вокере из нулевой очереди. Но работают все 4, и загрузка ядер под 100% тоже всех четырех, все вроде как надо. Изменено 10 июля, 2017 пользователем big-town Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 10 июля, 2017 · Жалоба К тому же надо будет ipset удалять прежде чем на его место что то ставить? достаточно очистить. Для swap очистка не требуется У кого работает нормально extfilter, поделитесь конфигурацией железа. Intel® Pentium® CPU G4400 @ 3.30GHz 8гб ram Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01) для зеркала встроенная в материнку - для ответов extfilter> show port stats 0 show port stats 0 ======================= NIC statistics for port 0 ======================= RX-packets: 5525841941 RX-errors: 0 RX-bytes: 2278625398366 RX-nombuf: 0 RX-missed: 0 TX-packets: 0 TX-errors: 0 TX-bytes: 0 70kpps Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 10 июля, 2017 (изменено) · Жалоба А зеркало на чем? Свитч какой? И какая ОС? У меня как бы тоже все красиво выглядит, но увы пропуски. ======================= NIC statistics for port 0 ======================= RX-packets: 14192 RX-errors: 0 RX-bytes: 15043322 RX-nombuf: 0 RX-missed: 0 TX-packets: 0 TX-errors: 0 TX-bytes: 0 Изменено 10 июля, 2017 пользователем big-town Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 10 июля, 2017 · Жалоба Ubuntu 16.04 D-link DGS1100-08 в разрыв аплинка. Предлагаю выковырять один проц и работать на одном. Скорее всего, будет лучше. Такая же проблема, как и с роутерами. Конфиг какой? Для ревизора, на всякий пожарный, держу еще nfqfilter registercheck с абонентского пк пропусков не показывает Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
borcat Опубликовано 11 июля, 2017 · Жалоба К тому же надо будет ipset удалять прежде чем на его место что то ставить? Кернел его удалить не даст пока он в iptables используется.А правило удалишь, дыру откроешь, пусть не на долго. готовим файл в extfilter_maker в формате сохранённого ipset, а потом: ipset destroy disabled_new ipset restore -file $null_file ipset swap disabled disabled_new ipset destroy disabled_new и всё без перерыва. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bat Опубликовано 11 июля, 2017 · Жалоба У кого работает нормально extfilter, поделитесь конфигурацией железа. У меня упорно сыпет пропуски, причем сейчас ради эксперимента оставил одну очередь пропусков стало гораздо меньше, но тем не менее они есть. Наверняка у вас есть сервер виртуальных машин. Попробуйте на нем. У нас на виртуалке крутится. Missed packet равен 0. 150 kpps. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 11 июля, 2017 · Жалоба borcat, почему не flush disabled_new Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
borcat Опубликовано 11 июля, 2017 · Жалоба borcat, почему не flush disabled_new Это временный сет - зачем его хранить... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 11 июля, 2017 · Жалоба Это быстрее. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 11 июля, 2017 · Жалоба Ну ждёмс скрипт и потестируем Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 11 июля, 2017 · Жалоба В общем-то, несложно это Вопрос только - насколько сильнее это будет грузить цпу? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 11 июля, 2017 · Жалоба Наверняка у вас есть сервер виртуальных машин. Попробуйте на нем. У нас на виртуалке крутится. Missed packet равен 0. 150 kpps. Ну как бы Макс говорил обратное. Missed packet у меня тоже 0, я говорю о реальных пропусках ссылок. На всякий какую виртуалку используете? Ubuntu 16.04 D-link DGS1100-08 в разрыв аплинка. Предлагаю выковырять один проц и работать на одном. Скорее всего, будет лучше. Такая же проблема, как и с роутерами. Я думаю все же проблема не в cpu. Сегодня буду экспериментировать. Возьму путный свитч и отзеркалю acl-ками. А кернел какой у вас lowlatency или обычный? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 11 июля, 2017 · Жалоба Обычный. В двухпроцессорных системах есть узкие места. Поэтому именно на сетевых задачах возможны проблемы Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 11 июля, 2017 · Жалоба Сменил сегодня сетевуху и свитч на Intel Corporation 82576 Gigabit Network Connection (rev 01) и DGS-3420 соответственно, отзеркалил acl-ками. Пашет уже несколько минут, ни одного пропуска. Теперь счетчик URL идет во всех worker-ах. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 12 июля, 2017 (изменено) · Жалоба Пропуски все же есть, но их немного. 52 Из общего количества - это примерно 0.1%, такой показатель устраивает проверяшек. Причем это не случайный пропуск, именно url не попадает под регулярку. http://mp3davalka.com/files/%D0%90%D0%BD%D0%B4%D0%B5%D0%B3%D1%80%D0%B0%D1%83%D0%BD%D0%B4 http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%A1%D0%BC%D0%B5%D1%80%D1%82%D1%8C http://www.ynet.co.il/articles/0,7340,L-4715257,00.html http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%9A%D0%B0%D0%B6%D0%B4%D1%8B%D0%B9 http://freemuzichka.com/tunes/%D0%A2%D0%B8%D0%BC%D1%83%D1%80%20%D0%9C%D1%83%D1%86%D1%83%D1%80%D0%B0%D0%B5%D0%B2%20-%20%D0%92%D0%BE%D1%81%D1%81%D1%82%D0%B0%D0%BD%D1%8C,%20%D0%9C%D1%83%D1%81%D0%BB%D0%B8%D0%BC! https://ru.downloadatoz.com/%D0%A4%D0%BE%D0%BD%D0%B1%D0%B5%D1%82-mini/com.boloid.results.fonbet/ http://umorina.info/track/%D0%A5%D1%80%D1%83%D1%81%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5 http://gigmuziki.com/search/%D0%9F%D1%81%D0%B8%D1%85%D0%B5%D1%8F http://www.ynet.co.il/articles/0,7340,L-4715257,00.html http://mp3davalka.com/files/%D0%BE%D0%BF%D1%80%D0%B0%D0%B2%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9 http://news.siteua.org/%D0%A3%D0%BA%D1%80%D0%B0%D0%B8%D0%BD%D0%B0/567431/%D0%A7%D1%83%D0%B1%D0%B0%D1%80%D0%BE%D0%B2 http://kinogo.by/page,1,2,5118-watch-online-movie-dospehi-boga-4-v-poiskah-sokrovisch_kung-fu-yoga_2017-29-03.html http://awtomaty.com/ http://muzogig.net/gig/%D0%98%D0%B1%D0%BD http://josspic.net/image-calvin-calvin-s-mom-calvin-and-hobbes-hobbes-pandoras-box/rule34-data-003.paheal.net*_images*0172d83e660aa3849cce7d6ce4f438d2*157%20-%20Calvin%20Calvin's_Mom%20Calvin_and_Hobbes%20Hobbes%20Pandoras_Box.jpg.html http://nash-torrent.org/topic-otel'_eleon_sezon_1_serii_1-21_iz_21_anton_fedotov_2016_komediya_melodrama_web-dlrip-t=17265.html http://directorredirector1.com/?/ru/?partner=p13587p68159p5810%25l7520 http://umorina.info/track/%D1%81%D0%BC%D0%B5%D1%80%D1%82%D1%8C http://piczool.com/hentai,yuri/best:2013-18/jpg/big http://fb2gratis.com/ http://mp3play.org/%D0%A7%D1%82%D0%BE-%D1%82%D0%B0%D0%BA%D0%BE%D0%B5-%D1%81%D1%83%D1%84%D0%B8%D0%B7%D0%BC-%D0%9C%D1%83%D1%85%D0%B0%D0%BC%D0%BC%D0%B0%D0%B4-%D0%91%D0%B0%D0%B3%D0%B0%D1%83%D0%B4%D0%B8%D0%BD(A86Vh77RCL8) http://mp3davalka.com/files/%D0%BE%D0%BF%D1%80%D0%B0%D0%B2%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9 http://mp3koka.com/muz/%D0%90%D1%80%D0%B3%D0%B5%D0%BD%D1%82%D0%B8%D0%BD%D0%90 http://www.tekstowo.pl/piosenka,kolovrat,_1050_1088_1072_1089_1085_1099_1081___1090_1077_1088_1088_1086_1088___czerwony_terror_.html http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/Yo-Yo-%D1%80%D1%8D%D0%BF http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D1%80%D1%8B http://mp3davalka.com/files/%D0%92%D0%B0%D0%BB%D0%B5%D1%80%D0%B8%D0%B9 http://genshtab.info/%D0%A3%D0%BA%D1%80%D0%B0%D0%B8%D0%BD%D1%81%D0%BA%D0%B0%D1%8F_%D0%BD%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%B0%D1%81%D1%81%D0%B0%D0%BC%D0%B1%D0%BB%D0%B5%D1%8F_(%D0%A3%D0%9D%D0%90-%D0%A3%D0%9D%D0%A1%D0%9E) http://www.bukranking.pl/1352,vulkanbet.html http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%94%D0%B5%D1%82%D0%B8 http://chan4chan.com/archive/2327/Remember,_Kids:_It's_%22down_the_road%22_not_%22across_the_street%22._Make_it_count!/thumb/off http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%A5%D1%80%D1%83%D1%81%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F http://www.dragoart.com/tuts/15289/1/1/how-to-draw-a-swastika,-swastika.htm http://www.excluzive.net/films/print:page,1,1161725810-kung-fu-yoga-kung-fu-yoga-2017-camrip.html http://kinogo.by/page,1,2,5357-watch-online-serial_otel-eleon_2-sezon_02-06.html http://kinogo.by/page,1,2,4540-vzlomat-blogerov-2016-smotret-onlayn.html http://kinogo.by/page,1,2,4540-watch-online-film_vzlomat-blogerov_2016-15-06.html http://kinogo.by/page,1,3,4540-vzlomat-blogerov-2016-smotret-onlayn.html http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%9E%D1%82%D1%80%D1%8F%D0%B4 http://freemuzichka.com/tunes/%D1%81%D0%BC%D0%B5%D1%80%D1%82%D1%8C http://umorina.info/track/%D1%82%D0%B8%D0%BC%D1%83%D1%80 http://torrenthere.ru/100286-%D0%9E%D1%82%D0%B5%D0%BB%D1%8C%20%D0%AD%D0%BB%D0%B5%D0%BE%D0%BD%20[02%D1%8501-10%20%D0%B8%D0%B7%2021]%20%20(2017)%20WEB-DLRip%20%20%D0%BE%D1%82%20Files-x.html http://downloadapk.net/%D0%9A%D0%BD%D0%B8%D0%B3%D0%B0-%D0%B5%D0%B4%D0%B8%D0%BD%D0%BE%D0%B1%D0%BE%D0%B6%D0%B8%D1%8F-(%D0%B0%D1%82-%D0%A2%D0%B0%D0%BC%D0%B8%D0%BC%D0%B8).html http://umorina.info/track/La http://ru.odfoundation.eu/a/6450,otchet-dobrovolcheskie-batalony-vozniknovenie-deyatelnost-protivorechiya http://fb2gratis.com/62833_rechi_varga_(Vargsmel).html http://mp3davalka.com/files/%D0%BE%D0%BF%D1%80%D0%B0%D0%B2%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9 http://mp3davalka.com/files/%D0%BE%D0%BF%D1%80%D0%B0%D0%B2%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9 http://www.888media-ru.com/ru/poker/best-poker-room.html?sr=1157957&flag=000001&utm_medium http://gigmuziki.com/search/artist/%D0%A6%D0%B8%D0%BA%D0%BB%D0%BE%D0%BD-%D0%91/%D0%92 http://www.prochan.com/view? http://ukrmedserv.com/content/view/6294/318/lang,ru/ Полный лог https://yadi.sk/d/hhP1hT-g3KyG88 get_url - скрипт проверки wlog - лог wget папка html - что скачалось по запросу url-abuse.txt.orig - ссылки по которым проводилась проверка missed.sh - выбирает из wlog то что пролетело Изменено 12 июля, 2017 пользователем big-town Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
flow-control Опубликовано 12 июля, 2017 (изменено) · Жалоба Похоже у вас какой-то косяк с пробелами : У вас http://umorina.info/track/La В реестре umorina.info/track/La Vida Cuesta Libertades и тд Изменено 12 июля, 2017 пользователем flow-control Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 12 июля, 2017 · Жалоба Похоже у вас какой-то косяк с пробелами : У вас http://umorina.info/track/La В реестре umorina.info/track/La Vida Cuesta Libertades и тд Кстати да, вы правы. Внес изменения в скрипт проверки было wget --timeout=3 --no-check-certificate -t 1 $url -P /root/ZAPRET/html -a /root/ZAPRET/wlog ; стало wget --timeout=3 --no-check-certificate -t 1 "$url" -P /root/ZAPRET/html -a /root/ZAPRET/wlog ; Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 12 июля, 2017 · Жалоба а зачем wget, если можно curl? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 12 июля, 2017 (изменено) · Жалоба а зачем wget, если можно curl? А зачем curl если есть wget :)? В чем принципиальная разница? А вообще так исторически сложилось ;). Изменено 12 июля, 2017 пользователем big-town Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 12 июля, 2017 (изменено) · Жалоба Перезалил актуальный архив с пропусками https://yadi.sk/d/hhP1hT-g3KyG88 Анализ показал что пропускает ссылки с "," "'" (с запятой или апострофом) Можно конечно в самом перле при формировании url обрезать до указанных символов. Причем как я понял безразницы символ ли это %2C или , Изменено 12 июля, 2017 пользователем big-town Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 12 июля, 2017 (изменено) · Жалоба Перезалил актуальный архив с пропусками https://yadi.sk/d/hhP1hT-g3KyG88 Анализ показал что пропускает ссылки с "," "'" (с запятой или апострофом) Можно конечно в самом перле обрезать до указанных символов. Причем как я понял безразницы символ ли это %2C или , Какими пропусками? Делайте всё через Максовский софт и файлы и фильтрацию, все регулярки и обрезание и пр. в перле там уже есть. Нету ни каких пропусков, уже писали неоднократно как и сам max197616, а если и есть то по вине ревизора, белые списки\не верные коды ответов, либо максимум последний раз что пролетало это через nfqfilter ssl_ip+port. С запятыми точно не было пропусков на последних версиях. Изменено 12 июля, 2017 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 12 июля, 2017 (изменено) · Жалоба Какими пропусками? Делайте всё через Максовский софт и файлы и фильтрацию, все регулярки и обрезание и пр. в перле там уже есть. Не надо других за идиотов держать! Я вообще не использую Максовский софт, в том числе и по предубеждениям. Сорри только сейчас прочитал какую чушь написал. Я прочитал как "Майкрософовский", конечно все через софт Максима делаю. И прежде чем написать, я все 10 раз проверил. После прогона через фильтр пропуски устранились cat urls.orig | sed -r "s/\,.*$//gi" | sed -e "s/'.*$//gi" > urls Изменено 14 июля, 2017 пользователем big-town Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...