1. Для блокировка используем

[flow-control]

Спасибо!

[arhead]

Все ни как не доеду до серверной и переделать немного блокировку. А то две записи постоянно в 5 или 6 утра проскакивают

Скрытый текст

https://1xbet101.com/

https://1xbet101.com/toto/football/

 

[arhead]

@max1976 А теперь как я понял в новом парсере файл dump.xml переноситься в архив после того как данные внесет скрипт в базу?

UPD

А все не надо. Нашел что и куда)

Изменено 20 апреля, 2018 пользователем arhead

[nevsik]

Поделитесь как вы "режете" сети от РКН, на каком оборудовании?

[ne-vlezay80]

1 час назад, nevsik сказал:

Поделитесь как вы "режете" сети от РКН, на каком оборудовании?

Никак. Всё стораемся блокировать через DPI. В качастве dpi suricata.

[admf]

1 час назад, nevsik сказал:

Поделитесь как вы "режете" сети от РКН, на каком оборудовании?

Если имеется ввиду, отдельно для Ревизора, то у нас на виртуалке стоит nfqfilter + ipset

 

Изменено 20 апреля, 2018 пользователем admf

[myth]

Можно просто на бордере некоторые анонсы не принимать

 

А ревизор пускать через фильтр. На фильтре маршрут в Null будет. Соответственно, трафик не пойдет

[Andrei]

22 часа назад, alibek сказал:

Скрипт вначале выгружает разные типы записей в разные файлы, а затем по ним получает статистику.

Ошибки какие-то:
Формируются списки из дампа...
- список адресов (list-url.txt)
- список доменов (list-domain.txt)
./dump_stat: line 23: idn: command not found
- список доменов с маской (list-mask.txt)
./dump_stat: line 31: idn: command not found
- список IP-адресов (list-ip.txt)
- список IP-подсетей (list-net.txt)
 

[arhead]

1 час назад, nevsik сказал:

Поделитесь как вы "режете" сети от РКН, на каком оборудовании?

Из дампа скрипт на питоне парсит IP и подсети и создает на маршрутизаторе access-list. Добавляет все это и вешает на аплинков.

[alibek]

19 минут назад, Andrei сказал:

./dump_stat: line 23: idn: command not found

Это кириллические домены нормализуются.

Можно установить соответствующий пакет или удалить idn из конвеера.

[Andrei]

2 минуты назад, alibek сказал:

Можно установить соответствующий пакет

название подскажете?

[alibek]

yum install libidn

[nevsik]

23 минуты назад, arhead сказал:

Из дампа скрипт на питоне парсит IP и подсети и создает на маршрутизаторе access-list. Добавляет все это и вешает на аплинков.

что за маршрутизатор у вас?

[arhead]

8 минут назад, nevsik сказал:

что за маршрутизатор у вас?

Cisco ASR-1002

[Andrei]

3 часа назад, alibek сказал:

yum install libidn

у меня debian

ничего из этого  https://packages.debian.org/ru/source/wheezy/libidn не ставится.
 

root@gate# aptitude install libidn
Couldn't find package "libidn".  However, the following
packages contain "libidn" in their name:
  libidn2-0-dbg libidn2-0-dev libidn11 libidn11-java libidna-punycode-perl libidn2-0
  libidn11-dev libnet-libidn-perl
Couldn't find package "libidn".  However, the following
packages contain "libidn" in their name:
  libidn2-0-dbg libidn2-0-dev libidn11 libidn11-java libidna-punycode-perl libidn2-0
  libidn11-dev libnet-libidn-perl
No packages will be installed, upgraded, or removed.
0 packages upgraded, 0 newly installed, 0 to remove and 53 not upgraded.
Need to get 0 B of archives. After unpacking 0 B will be used.

root@gate# aptitude install libidn11
No packages will be installed, upgraded, or removed.
0 packages upgraded, 0 newly installed, 0 to remove and 53 not upgraded.
Need to get 0 B of archives. After unpacking 0 B will be used.

root@gate# aptitude install libidn11-dev
The following NEW packages will be installed:
  libidn11-dev pkg-config{a}
0 packages upgraded, 2 newly installed, 0 to remove and 53 not upgraded.
Need to get 667 kB/726 kB of archives. After unpacking 1,127 kB will be used.
Do you want to continue? [Y/n/?] y
Err http://security.debian.org/ wheezy/updates/main libidn11-dev amd64 1.25-2+deb7u2
  404  Not Found [IP: 217.196.149.233 80]
0% [Working]Selecting previously unselected package pkg-config.
(Reading database ... 62928 files and directories currently installed.)
Unpacking pkg-config (from .../pkg-config_0.26-1_amd64.deb) ...
Processing triggers for man-db ...
Setting up pkg-config (0.26-1) ...
E: Failed to fetch http://security.debian.org/pool/updates/main/libi/libidn/libidn11-dev_1.25-2+deb7u2_amd64.deb: 404  Not Found [IP: 217.196.149.233 80]

 

[dee]

https://packages.debian.org/search?keywords=libidn

[hsvt]

Немного оффтопа.

 

Подскажите как это лечится?

cpan[1]> install XML::LibXML::Reader
Reading '/root/.cpan/Metadata'
  Database was generated on Thu, 19 Apr 2018 00:17:03 GMT
Running install for module 'XML::LibXML::Reader'
Checksum for /root/.cpan/sources/authors/id/S/SH/SHLOMIF/XML-LibXML-2.0132.tar.gz ok
Scanning cache /root/.cpan/build for sizes
............................................................................DONE
Configuring S/SH/SHLOMIF/XML-LibXML-2.0132.tar.gz with Makefile.PL
enable native perl UTF8
running xml2-config...didn't manage to get libxml2 config, guessing
options:
  LIBS='-L/usr/local/lib -L/usr/lib -lxml2 -lm'
  INC='-I/usr/local/include -I/usr/include'
If this is wrong, Re-run as:
  $ /usr/bin/perl Makefile.PL LIBS='-L/path/to/lib' INC='-I/path/to/include'

Checking for ability to link against xml2...no
Checking for ability to link against libxml2...libxml2, zlib, and/or the Math library (-lm) have not been found.
Try setting LIBS and INC values on the command line
Or get libxml2 from
  http://xmlsoft.org/
If you install via RPMs, make sure you also install the -devel
RPMs, as this is where the headers (.h files) are.

Also, you may try to run perl Makefile.PL with the DEBUG=1 parameter
to see the exact reason why the detection of libxml2 installation
failed or why Makefile.PL was not able to compile a test program.
No 'Makefile' created  SHLOMIF/XML-LibXML-2.0132.tar.gz
  /usr/bin/perl Makefile.PL -- NOT OK
Failed during this command:
 SHLOMIF/XML-LibXML-2.0132.tar.gz             : writemakefile NO -- No 'Makefile' created

До этого обновлял DBI и сам cpan, сделал install CPAN и cpan reload

 

Warning: By default new modules are installed into your 'site_lib'
         directories. Since site_lib directories come after the normal library
         directories you must delete old DBI files and directories from your
         'privlib' and 'archlib' directories and their auto subdirectories.

Reinstall DBI and your DBD::* drivers after deleting the old directories.

Here's a list of probable old files and directories:

 /usr/lib64/perl5/vendor_perl/Bundle/DBD
 /usr/lib64/perl5/vendor_perl/Bundle/DBI.pm

-------------------------------------------------------

-------------------------------------------------------

 

Изменено 20 апреля, 2018 пользователем hsvt

[rm_]

2 hours ago, Andrei said:

у меня debian

ничего из этого  https://packages.debian.org/ru/source/wheezy/libidn не ставится.

В Debian пакет называется просто idn. https://packages.debian.org/wheezy/idn

 

+ Если при попытке что-то установить возникает ошибка 404 Not found, предварительно сделайте "apt-get update".

[max1976]

1 час назад, hsvt сказал:

Checking for ability to link against libxml2...libxml2, zlib, and/or the Math library (-lm) have not been found.

Установите libxml2, zlib.

[flow-control]

Странный пропуск ревизор нарисовал , нет такого в реестре и вроде не было.

http://52.59.0.0, 52.59.0.0,
 

[SokolovS]

--- Added URLs ---
URL: http:// 52.237.222.222 for id: 891837

 

Такую запись сегодня увидел. Обратите внимание на пробел между http и ip. Где проблема? В zapret.pl? Похоже с пробелами стали добавлять.

[myth]

Как они достали... Пусть сами исправляют

[swsn]

Коллеги, кто знает в каких сетях PSN сервера сидят? а то PS  у меня нет под рукой чтоб проснифить и в acl  добавить.

[max1976]

5 часов назад, SokolovS сказал:

--- Added URLs ---
URL: http:// 52.237.222.222 for id: 891837

 

Такую запись сегодня увидел. Обратите внимание на пробел между http и ip. Где проблема? В zapret.pl? Похоже с пробелами стали добавлять.

Проблема в кривых руках ркн'овцев.

[st_re]

В данном месте доступ к этому IP (52.237.222.222) вообще закрыт аж 2 раза по

content id="889126" с 2018-04-21T11:44:00+03:00

content id="891488"  с 2018-04-21T07:59:00+03:00

 

и http://  с пробелом с 2018-04-21T11:44:00+03:00

 

тоесть тут не страшно....

 

Если верить тому что их проверялка внутри использет libcurl то curl на этот урл ругается и дальше не ходит.