Перейти к содержимому
Калькуляторы

IMPERATOR

Пользователи
  • Публикации

    49
  • Зарегистрирован

  • Посещение

О IMPERATOR

  • Звание
    Абитуриент

Контакты

  • ICQ
    316626050

Информация

  • Пол
    Мужчина

Город

  • Город
    Ярославль

Посетители профиля

629 просмотров профиля
  1. Добрый день . Помогите понять в чем проблема может быть. Случается следующие , скрипт zapret.pl (для выгрузки реестра, его парсинга и занесения в базу данных для блокировки) , ведет себя странно . иногда все проходит хорошо, т.е. в базу вносятся все записи и дальше уже extfilter полностью формирует из них все файлы . НО иногда , может и пару раз в день , (выгружаю 6 раз в день) происходит так что в базе оказывается всего 5% необходимых данных, в логе при этом вместо 69000 доменов пишет что добавлено 36 , айпишинков тоже на порядок меньше и т.д. В итоге extfilter перезагружает почти пустую базу к себе и начинаются пропуски. У меня мысли такие : 1) я чего то не понимаю и так должно быть . 2) Не хватает времени на отработку zapret.pl (нужно в конфигах каких то , что то увеличить.) если выполнять скрипт руками из консоли все норм , проблема возникает когда выполняется по cron Если в вкратце то zapret.pl должен полностью все таблицы каждый раз обнулять и заполнять по новой информацией или все же просто добавлять в существующие новые данные . UPD: Все нормально заработало с переносом базы данных на тот же сервер где делается выгрузка.
  2. zapret - на виртуалке ( 2 ядра , 4 Гб памяти) сам extfilter - стареньком intel Q9550 , 8Гб память , сеть 82571EB - для зеркального трафика, ну и встроенная в сторону клиентов какая )
  3. да , скрипты полностью обновил до новых версий. сегодня опять 4 пропуска , хорошо что не тысячи как было до этого . А вообще выписали повестку в куда то в управление, или в суд , вроде как хотят штрафануть , но может и предупреждением отделаемся .
  4. В старом фильтре было выставлено ; количество потоков по анализу трафика number_of_workers=2 ; Какие ядра использовать. Default: все ядра, кроме management. ; core_mask = 7 Было загружено 2 ядра. В новом: core_mask = 7 [port 0] queues = 0,1 пробовал queues = 0,1; 1,2 все равно 1 ядро. Может конечно дело и в самой сетевой.
  5. На что влиляет резольвинг ? Нужно ли его включить обратно , пускай проверяет даже долго или мне он вообще не нужен ? Сегодня ночью прошли проверки, с утра в отчете всего 3 пропуска , сайты\урлы в файлах extFiltra есть , гл почему то не заблочились. http://www.libros.am./book/read/id/357319/slug/russkijj-mirovjj-poryadok1 http://purposechem.com./ (с точкой в конце - в браузере не открывается) https://ispovednik.org/ (идет редиректом вот с такого адреса http://www.ispovednik.com./prilozhenie-no-2 ) что с ними не так ? видел где то в конфиге настройку "Удалять точку в конце домена " - может надо включить её ? И по поводу ядер , почему с маской 7 , работает только 1 ядро из 4 , сетевая карта 82571EB Gigabit Ethernet Controller 105e ?
  6. Вроде на машине с 4гб памяти дело пошло дальше. сейчас идет парасинг выгрузки , в логи вижу такое: 2017-09-19 14:03:55 | INFO | main | Bad ip type: LOOPBACK for ip 127.0.0.1 host 56c13f47f81e8be0b5f193ad2d31f9627c305e35.marathonbet8.com 2017-09-19 14:04:13 | INFO | main | Bad ip type: LOOPBACK for ip 127.0.0.1 host www.kinofestival.net 2017-09-19 14:04:33 | INFO | main | Bad ip type: 6TO4 for ip 2002:5111:1ec6:0000:0000:0000:0000:0001 host zlotracker.org 2017-09-19 14:06:18 | INFO | main | Bad ip type: LOOPBACK for ip 127.0.0.1 host toprc.biz 2017-09-19 14:09:27 | INFO | main | Bad ip type: LOOPBACK for ip 127.0.0.1 host slotobar.info 2017-09-19 14:10:41 | INFO | main | Bad ip type: LOOPBACK for ip 127.0.0.1 host livecinema.ucoz.ua 2017-09-19 14:14:30 | INFO | main | Bad ip type: LOOPBACK for ip 127.0.0.1 host tula.prostitutki.red это идет очень долго , видно по времени он один адрес пытается резольвить 3-5 минут. .. Кто то обращал на это внимание ?
  7. 2 Гб , вижу что при выполнение ей этого мало . Может не умещаться ? Это делается на Виртуалке . сейчас буду пробовать на клоне с увеличеной памятью
  8. Базу пересоздал , запустил скрипт zapret.pl В базе в таблице zap2_domains 25561 запись . До обеда было чуть больше 27 тыс. затык в выполнение скрипта , почему то не доконца он отрабатывает. Может что то надо в системе настроить , увеличить какой нибуть тайминг что бы процесс не убивался. потому что есть мысль что Killed - завершение принудительное .
  9. почему через какое то время нельзя дальше редактировать своё сообщение ? ( Суть , начал дальше проверять сайты из списка которые прислал ревизор - как не заблокированные http://bk-marafon-zerkalo.ru/ http://newfonbet.com/ Не блочатся , с файлах у меня их тоже нету ( что за напастье, посмотрите у себя , надо разобраться Есть подозрения что не отрабатывает до конца вот это zapret.pl , т.е. из выгрузки не все сайты в базу заносятся. , с чем может быть связано . При ручном запуске вижу вот такое: (Centos 7)
  10. Ну я так понимаю скрит мы используем один и тот же , от max1976 . сделал выгрузку с сайта в ручном режиме - искомый сайт в ней присутвует. Обнулил все таблицы в MYSQL базе zapret , запустил скрит , и каким то образом в базе появился сайт bkleon100 , вывод -фигня какая то . запустил extfilter_maker.pl (оставшийся от старой версии extFilter) в сформировавшийхся файлах не оказалось сайта bkleon100 , хотя в базе он есть. Обновил extfilter_maker.pl , запустил , сайт появился ) Вывод - НЕВНИМАТЕЛЬНОСТЬ. сайт стал блокироваться !!! ЗЫ: для всех кто наступает на грабли , вроде меня, неплохо бы что бы кто то со светлыми мыслями в голове накатал инструкцию.
  11. Добра всем ! Вчера обновился до последний версии, заработало. Не смог настроить что бы работало на 2-3 ядрах, процессор Q9550 (трафика мало- справляется) . Коре маска стоит 7 , пробовал 3 , но все равно загружается только 1 ядро. так же не понял немного по поводу очередей на сетевой карте.Сетевая Интел Network devices using DPDK-compatible driver ============================================ 0000:05:00.0 '82571EB Gigabit Ethernet Controller 105e' drv=igb_uio unused=uio_pci_generic И еще кто и откуда выгружает списки и какие ? , надо ли что то кроме списка роскомнадзора ( вот отсюда http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl) В последнее время появились пропуски , сайт bkleon100.ru его нету в моей выгрузке, нету на сайте http://eais.rkn.gov.ru/ Но он есть в базе на сайте https://antizapret.info/api.php У меня он не блочится потому что я его не выгружаю , а ревизор его проверяет Выгрузку для extFilter делаю с помощью zapret-master скрипта. Что нужно сделать что бы выгружать всё нужное для блокировки всех сайтов Инфо лог работы фильтра
  12. Привет всем ! Пересобрал вчера по новой extfilter , вроде второй день нету отказов в работе, в отчетах по пропускам с нескольких тысяч осталось десятки сайтов . 2 дня подряд не блочатся вот эти , хотя они и раньше не блочились https://52.29.64.231:16869/en/, 52.29.64.231, GET https://52.29.64.231:16869/en/, 52.29.64.231, GET https://52.29.64.231:16869/ru/, 52.29.64.231, GET https://52.28.27.206:16869/ru/promotions, 52.28.27.206, GET https://52.28.27.206:16869/ru/odds/today/e-sports, 52.28.27.206, GET https://52.28.27.206:16869/ru/odds/today/football, 52.28.27.206, GET https://52.28.27.206:16869/ru/odds-list/, 52.28.27.206, GET https://52.28.27.206:16869/ru/odds/today/soccer, 52.28.27.206, GET https://52.50.87.120:16869/ru/, 52.50.87.120, GET https://52.28.27.206:16869/it/, 52.28.27.206, GET https://52.50.87.120:16869/en/, 52.50.87.120, GET https://52.28.27.206:16869/en/, 52.28.27.206, GET https://52.50.87.120:16869/ru/odds-list/, 52.50.87.120, GET https://52.50.87.120:16869/ru/odds-list/countries/formula-1, 52.50.87.120, GET https://52.50.87.120:16869/ru/odds-list/countries/Alpine-Skiing, 52.50.87.120, GET https://52.28.27.206:16869/ru/odds-list/countries/Entertainment, 52.28.27.206, GET https://52.29.64.231:16869/ru/odds-list/countries/Entertainment, 52.29.64.231, GET https://52.50.87.120:16869/ru/odds-list/countries/Entertainment, 52.50.87.120, GET https://52.28.27.206:16869/ru/odds/match/baseball/usa/mlb, 52.28.27.206, GET http://knigidarom.ru/domovodstvo_main/domovodstvo/3034/read.htm#book, 69.73.181.191, GET в чем может быть причина ?
  13. Кто может подсказать что вот это за ерунда Dec 26 09:00:25 extfilter pcapplusplusapp[18641]: EAL: WARNING: cpu flags constant_tsc=yes nonstop_tsc=no -> using unreliable clock cycles ! Dec 26 09:00:26 extfilter pcapplusplusapp[18641]: EAL: PCI device 0000:05:00.0 on NUMA socket -1 Dec 26 09:00:26 extfilter pcapplusplusapp[18641]: EAL: probe driver: 8086:105e rte_em_pmd Dec 26 09:00:26 extfilter pcapplusplusapp[18641]: EAL: PCI device 0000:05:00.1 on NUMA socket -1 Dec 26 09:00:26 extfilter pcapplusplusapp[18641]: EAL: probe driver: 8086:105e rte_em_pmd
  14. Привет Так и не могу понять , почему начинает пропускать. После запуска все нормально , блочится все , работает как надо от нескольких часов , до дня , но через какое время начинает вообще все пропускать , помогает рестарт extfilter. Что , как , и где можно посмотреть , железо вроде должно справляться , в логах ничего не пишет. Процессор 4 ядерный Q9550 , сейчас запущено на 2 ядрах, оперативки 8 гб , Может что то в системе надо потюнить ? Centos 7