1. Для блокировка используем

[Nickollla]

54 минуты назад, Cramac сказал:

http://www.online.stepashka.

Такого нет в списках. Есть www.online.stepashka.com  У меня блокируется

 

56 минут назад, Cramac сказал:

http://www.uniongang.net/

Такого нет в реестре. Есть только uniongang.net, а это разные домены. Тот что в реестре у меня блокируется.

Версия extfilter 0.99a. Сегодня с трудом собрал:)

[Cramac]

любопытно получается, 

ревизор выдал такое:

298287 http://www.uniongang.net/, 104. 18.36.183, GET Мосгорсуд 16 Май, 2016 11:54:33 200 С http://www.uniongang.tv

 

а в дампе под этим ИД такое

<content id="298287" includeTime="2016-05-16T14:54:33" entryType="5" blockType="domain" hash="E22E9E18B2EF123C17BC42B65EDB73F8"><decision date="2016-04-11" number="решение суда по делу № 3-0505/2016" org="Мосгорсуд"/><domain><![CDATA[www.uniongang.tv]]></domain><ip>104.31.80.114</ip><ip>104.31.81.114</ip></content>

 

соответственно .TV блокируется, а вот .NET нет. Но в пропуск засчитан

[st_re]

Судя по выводу, они туда попали С http://www.uniongang.tv ?

[Cramac]

1 минуту назад, st_re сказал:

Судя по выводу, они туда попали С http://www.uniongang.tv ?

По отписке ТП ревизора, вчера ссылка была доступна, сегодня нет.

вот как такое может быть? Вчера другой дамп был? Ссылка с 16 года в базе

[st_re]

я бы на вашем месте писал бы трафик с порта, куда ревизор воткнут... ну чтобы посмотреть можно был, что реально было и куда..

[Cramac]

@st_re мысль, попробую. Думаю сного трафика он не должен генерировать.

но все равно, ситуация не радужная

[st_re]

вот прямо сейчас за сутки размер pcap файлов в сумме 3 022 173 549 байт (более старое жму bz, совсем старое стираю..)

[Cramac]

Подскажите, а запрет больше не качает дамп и не сохраняет в архиве? нашел в tmp архив

Опять смотрю отчет за вчера, опять куча доменов в пропуске. В базе записей нужных нет, смотрю архив дампа выгрузки от предыдущего запрета (осталась от 7.11.18) там есть нужные записи.

 

[epollia]

Я себе отдельную таблицу завел, туда пиши все изменения реестра, чтобы быстро можно было проверить из-за чего пропуски.

Скажи домен, я гляну ( у меня каждый час реестр выгружается)

[Cramac]

Нашел не стыковку

<?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2018-11-16T09:36:00+03:00" updateTimeUrgently="2018-11-16T09:36:00+03:00" formatVersion="2.4" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru">

 

в дампе

<content id="80861" includeTime="2014-05-18T15:58:53" urgencyType="1" entryType="3" hash="FCD2D599241B0C158CEF5842965D52A5"><decision date="2014-05-14" number="27-27-2014/Ид1152-14" org="Генпрокуратура"/><url><![CDATA[http://www.tatar-centr.blogspot.ru/2014/04/18.html]]></url><domain><![CDATA[www.tatar-centr.blogspot.ru]]></domain><ip>74.125.29.132</ip><ip>74.125.193.132</ip></content>

ревизор смотрит

80861
http://tatar-centr.blogspot.
com/2014/04/18.html, 74.125.
205.197, GET

 

в базе (zap2_urls) под этим ИД почему то такой

27418
2018-11-07 20:21:49
80861
http://verpornocomic.com/simpsons-priuacys-inuasio...
NULL
 

 

вот еще пример, в дампе есть

<content id="330644" includeTime="2016-08-07T14:24:19" entryType="1" blockType="domain" hash="7B5F08C2E48633EDFB8C76E8F7996348"><decision date="2016-06-28" number="2-6-27/ 2016-06-27-25-АИ" org="ФНС"/><domain><![CDATA[whdn.williamhill.com]]></domain><ip>178.79.242.183</ip></content>

 

в базе ни в доменах ни в урлах такой записи нет.

[Cramac]

снес базу, перезалил, запустил скрипт.

Теперь запись

<content id="80861" includeTime="2014-05-18T15:58:53" urgencyType="1" entryType="3" hash="FCD2D599241B0C158CEF5842965D52A5"><decision date="2014-05-14" number="27-27-2014/Ид1152-14" org="Генпрокуратура"/><url><![CDATA[http://www.tatar-centr.blogspot.ru/2014/04/18.html]]></url><domain><![CDATA[www.tatar-centr.blogspot.ru]]></domain><ip>74.125.29.132</ip><ip>74.125.193.132</ip></content>

 

появилась в доменах как

52946
2018-11-16 10:13:23
80861
*.stavki-bk2.biz
NULL

 

поиском по урл, выдало такое:

41107
2018-11-16 10:13:44
102333
http://www.tatar-centr.blogspot.ru/2014/04/18.html
NULL

 

как бы ссылка есть, но под другим ИД. в дампе под таким ИД ничего нет

 

что то тут явно не то

[epollia]

возможно вы не правильно смотрите.

content id="80861" - zap2_records поле decision_id

В этой записи блокируется по URL

Смотрим таблицу zap2_urls где zap2_urls.record_id = zap2_records.id

 

примерно так

select * from zap2_urls as zu where zu.record_id = (select zr.id from zap2_records as zr where zr.decision_id = '80861')

Изменено 16 ноября, 2018 пользователем epollia

[Cramac]

С таким, тогда да. Не так смотрю.

 

[max1976]

1 час назад, Cramac сказал:

Опять смотрю отчет за вчера, опять куча доменов в пропуске. В базе записей нужных нет, смотрю архив дампа выгрузки от предыдущего запрета (осталась от 7.11.18) там есть нужные записи.

Я много раз писал - если ревизор стоит за NAT, то пропуски будут.

[Cramac]

@max1976 как тогда его поставить? Чтоб минимизировать? 

[max1976]

Только что, Cramac сказал:

@max1976 как тогда его поставить? Чтоб минимизировать? 

При использовании зеркала, я выдал ревизору публичный ip и теперь нет пропусков.

[Morphus]

Никак не могу настроить отправку на почту в zapret.pl Домен на яндексе припаркован. Конфиг такой:

[MAIL]
to = 'blabla@domain.ru'
from = 'noreply@domain.ru'
server = 'smtp.yandex.ru'
port = 465
auth = 1
login = 'noreply@domain.ru'
password = 'pwd'
excludes = 1
new = 1
new_ips = 1
removed = 1
removed_ips = 1
# Mail if there is only subnet without domains/urls in content block:
alone = 1

В логе скрипта ошибка: 

2018-11-16 08:21:18 | ERROR | main  | Can't connect to the SMTP server:

В тоже время в thunderbird с такими же настройками всё работает. Что тут не так ?

[Cramac]

@max1976 спасибо, попробую.

@Morphus у меня тоже не пошло, взял другую почту

[Morphus]

Только что, Cramac сказал:

у меня тоже не пошло, взял другую почту

беда, беда ...

[max1976]

21 минуту назад, Morphus сказал:

беда, беда ...

Проблема в SSL.

 

11 минут назад, max1976 сказал:

Проблема в SSL.

Попробуйте в  zapret.pl добавить:

1. В начале файла

use Net::SMTP::SSL;

2. В строке измените

Net::SMTP->new

на

Net::SMTP::SSL->new

 

Так же можно обновить модуль Net::SMTP до версии не менее v1.28.

Изменено 16 ноября, 2018 пользователем max1976

[Morphus]

1 час назад, max1976 сказал:

Так же можно обновить модуль Net::SMTP до версии не менее v1.28.

Был установлен 3.11 - ошибка продолжала быть.

Установка Net::SMTP::SSL и замена строчки помогла! С яндексом проверил - всё работает.

Благодарю!

 

Изменено 16 ноября, 2018 пользователем Morphus

[Cramac]

2 часа назад, max1976 сказал:

При использовании зеркала, я выдал ревизору публичный ip и теперь нет пропусков.

выдал внешний, посмотрим завтра что будет.

по хорошему надо в режиме моста ставить? Посоветуете сетевую с bypass для работы с фильтром

 

 

П.С. по началу, когда все запустил, пропусков было 10-15 в день, а то и 0, а сейчас увеличилось до 100-150 

[max1976]

34 минуты назад, Cramac сказал:

П.С. по началу, когда все запустил, пропусков было 10-15 в день, а то и 0, а сейчас увеличилось до 100-150 

Количество пакетов missed равно 0?

[Cramac]

5 минут назад, max1976 сказал:

Количество пакетов missed равно 0?

да

Скрытый текст

2018-11-16 14:12:32.114 [22624] Information Application - Port 0 input packets 638, input errors: 6, mbuf errors: 0, missed packets: 1931482
2018-11-16 14:12:32.114 [22624] Information Application - Port 1 input packets 53022606430, input errors: 2, mbuf errors: 0, missed packets: 0
2018-11-16 14:12:32.114 [22624] Information Application - Worker thread on core 1 statistics:
2018-11-16 14:12:32.114 [22624] Information Application - Thread seen packets: 16612252663, IP packets: 16610156454 (IPv4 packets: 16610156454, IPv6 packets: 0), seen bytes: 2597883049093, Average packet size: 156 bytes, Traffic throughput: 8.55 K pps
2018-11-16 14:12:32.114 [22624] Information Application - Thread IPv4 fragments: 40882121, IPv6 fragments: 0, IPv4 short packets: 0
2018-11-16 14:12:32.114 [22624] Information Application - Thread matched by ip/port: 440, ssl SNI: 392318, ssl/ip: 0, http IPv4: 2837073, http IPv6: 0
2018-11-16 14:12:32.114 [22624] Information Application - Thread redirected blocked http IPv4: 2837073, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 393339, rst sended IPv6: 0
2018-11-16 14:12:32.114 [22624] Information Application - Thread packets latency all packets: 1902 cycles (559 ns), unblocked packets: 1899 cycles (559 ns), blocked packets: 20759 (6106 ns)
2018-11-16 14:12:32.114 [22624] Information Application - Worker thread on core 2 statistics:
2018-11-16 14:12:32.114 [22624] Information Application - Thread seen packets: 19779905298, IP packets: 19779905298 (IPv4 packets: 19779905298, IPv6 packets: 0), seen bytes: 6793673776543, Average packet size: 343 bytes, Traffic throughput: 9.42 K pps
2018-11-16 14:12:32.114 [22624] Information Application - Thread IPv4 fragments: 47543941, IPv6 fragments: 0, IPv4 short packets: 0
2018-11-16 14:12:32.114 [22624] Information Application - Thread matched by ip/port: 340, ssl SNI: 525042, ssl/ip: 0, http IPv4: 3733886, http IPv6: 0
2018-11-16 14:12:32.114 [22624] Information Application - Thread redirected blocked http IPv4: 3733886, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 525906, rst sended IPv6: 0
2018-11-16 14:12:32.114 [22624] Information Application - Thread packets latency all packets: 2164 cycles (636 ns), unblocked packets: 2160 cycles (635 ns), blocked packets: 23002 (6765 ns)
2018-11-16 14:12:32.114 [22624] Information Application - Worker thread on core 3 statistics:
2018-11-16 14:12:32.114 [22624] Information Application - Thread seen packets: 16630449237, IP packets: 16630449237 (IPv4 packets: 16630449237, IPv6 packets: 0), seen bytes: 3047110745991, Average packet size: 183 bytes, Traffic throughput: 7.88 K pps
2018-11-16 14:12:32.114 [22624] Information Application - Thread IPv4 fragments: 50299313, IPv6 fragments: 0, IPv4 short packets: 0
2018-11-16 14:12:32.114 [22624] Information Application - Thread matched by ip/port: 289, ssl SNI: 532165, ssl/ip: 0, http IPv4: 3335292, http IPv6: 0
2018-11-16 14:12:32.114 [22624] Information Application - Thread redirected blocked http IPv4: 3335292, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 532927, rst sended IPv6: 0
2018-11-16 14:12:32.114 [22624] Information Application - Thread packets latency all packets: 2257 cycles (664 ns), unblocked packets: 2253 cycles (663 ns), blocked packets: 22731 (6686 ns)
2018-11-16 14:12:32.114 [22624] Information Application - All worker threads seen packets: 53022607198, IP packets: 53020510989 (IPv4 packets: 53020510989, IPv6 packets: 0), seen bytes: 12438667571627, traffic throughtput: 25.84 K pps
2018-11-16 14:12:32.114 [22624] Information Application - All worker IPv4 fragments: 138725375, IPv6 fragments: 0, IPv4 short packets: 0
2018-11-16 14:12:32.114 [22624] Information Application - All worker threads matched by ip/port: 1069, matched by ssl SNI: 1449525, matched by ssl/ip: 0, matched by HTTP: 9906251
2018-11-16 14:12:32.114 [22624] Information Application - All worker threads redirected blocked http: 9906251, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 1452172, rst sended IPv6: 0
 

 

работает с 7 ноября

[max1976]

10 минут назад, Cramac сказал:

да

При моем бОльшем трафике, одно из ядер:

Цитата

2018-11-16 14:22:02.302 [6463] Information Application - Thread packets latency all packets: 735 cycles (210 ns), unblocked packets: 735 cycles (210 ns), blocked packets: 8762 (2501 ns)

процессор обрабатывает пакеты в 3 раза быстрее вашего. Это статистика фильтра, запущенного:

Цитата

Active: active (running) since Вт 2018-10-23 12:01:55 MSK; 3 weeks 3 days ago

Учтите, при использовании зеркала важно то, на сколько быстро ответ дойдет до ревизора. Сделайте замеры по времени получения ответа от фильтра.

P.S. У меня используется процессор Intel(R) Xeon(R) CPU E3-1240 v5 @ 3.50GHz