1. Для блокировка используем

[max1976]

Запущен extFilter, в отчёте ревизора 1.5 тыс пропусков http ответ 200. При попытке открыть "не заблокированные" ссылки из отчёта браузером - выплывает заглушка, т.е. всё блокируется. Поддержка ревизора говорит у нас не блокируются те ресурсы что проверяются по новой схеме с обращением по IP вместо DNS. Я думал в случае с зеркалом это не критично. Подскажите, пожалуйста, что я делаю не так, как можно отдебажить, какие опции глянуть?

 

Никакой "новой" схемы не существует. Все что теперь делает ревизор - лезет по ip адресам, указанным в списке блокировки, но поля http протокола никто не отменял и там все поля на месте.

В вашем случае смотрите имеются ли пропущенные пакеты и как быстро долетает ответ от extfilter к абоненту.

[greywind]

Пропущенных не было, ответ при ручной проверке(не ревизором) прилетал быстро, в течении единиц милисекунд.

Убрал полисер на ревизор, поставил rst_to_server = true, ребутнул extfilter -- не знаю что помогло, но пропуски единичные. Спасибо!

Изменено 10 февраля, 2017 пользователем greywind

[myth]

ТТК начал молча блокировать HTTPS ресурсы по IP и подменять к ним DNS ответы... Приехали...

[himikrzn]

 

Примените патч на ndpi, который устанавливается с extfilter:

--- nDPI.new/src/lib/protocols/ssl.c    2016-11-16 21:39:50.960651510 +0300
+++ nDPI/src/lib/protocols/ssl.c        2017-01-25 16:03:20.632967015 +0300
@@ -276,6 +276,10 @@
                       u_int begin = 0,len;
                       char *server_name = (char*)&packet->payload[offset+extension_offset];

+                       if(packet->payload[offset+extension_offset+2] == 0x00) // host_name
+                       {
+                               begin =+ 5;
+                       }
                       while(begin < extension_len) {
                         if((!ndpi_isprint(server_name[begin]))
                            || ndpi_ispunct(server_name[begin])

 

ни кто не подскажет, каким образом этот патч применить?

[max1976]

Обновил extfilter до версии 0.3. В данной версии:

уменьшено время обработки uri;

уменьшено потребление памяти;

возможно использование нескольких процессов обработки пакетов.

[fox_m]

 

Примените патч на ndpi, который устанавливается с extfilter:

--- nDPI.new/src/lib/protocols/ssl.c    2016-11-16 21:39:50.960651510 +0300
+++ nDPI/src/lib/protocols/ssl.c        2017-01-25 16:03:20.632967015 +0300
@@ -276,6 +276,10 @@
                       u_int begin = 0,len;
                       char *server_name = (char*)&packet->payload[offset+extension_offset];

+                       if(packet->payload[offset+extension_offset+2] == 0x00) // host_name
+                       {
+                               begin =+ 5;
+                       }
                       while(begin < extension_len) {
                         if((!ndpi_isprint(server_name[begin]))
                            || ndpi_ispunct(server_name[begin])

 

ни кто не подскажет, каким образом этот патч применить?

 

Можно командой patch

[hsvt]

Обновил extfilter до версии 0.3. В данной версии:

уменьшено время обработки uri;

уменьшено потребление памяти;

возможно использование нескольких процессов обработки пакетов.

 

Спасибо за труд!

 

Какая будет маска если нужно использовать больше ядер ?

 

core-mask","c","Core mask of cores to use. For example: use 7 (binary 0111) to use cores 0,1,2. Default is using all cores except management core.")

 

Если оставлять default core mask, не стартует.

 

2017-02-14 12:38:53.100 [6726] Debug Application - Creating flowHash for the worker with 1048576 entries
2017-02-14 12:38:53.106 [6726] Debug Application - Preparing thread 'WorkerThread 1'
2017-02-14 12:38:53.367 [6726] Debug Application - Starting worker threads...
2017-02-14 12:38:53.367 [6726] Fatal Application - Couldn't start worker threads
2017-02-14 12:38:53.367 [6726] Debug Application - Shutting down
2017-02-14 12:38:53.367 [6726] Debug Application - Uninitializing subsystem: Logging Subsystem

[arhead]

Обновил extfilter до версии 0.3. В данной версии:

уменьшено время обработки uri;

уменьшено потребление памяти;

возможно использование нескольких процессов обработки пакетов.

 

Огромное спасибо за труд!

 

Такой вопрос в конфиге по умолчанию колличество воркеров и ядер закоменчено. А если поставлю количество воркеров, но не буду вытавлять какие ядра использовать. Он автоматически ядра будет брать? или все таки надо прописать?

[Antares]

а это что такое??

Добавлена возможность запуска более одного треда отправки уведомлений

[hsvt]

А что не ясного по коммиту ? Большое кол-во потоков которые будут направлять на заглушку и слать ответы.

[myth]

nfqfilter пропустил ссылку

http://www.is-news.com/2016/12/20/الاصدار-المرئي-فوارس-الرمضاء-sortie-visuelle-poele-fuwaris-new-video/#

Это лечится?

[max1976]

nfqfilter пропустил ссылку

http://www.is-news.com/2016/12/20/الاصدار-المرئي-فوارس-الرمضاء-sortie-visuelle-poele-fuwaris-new-video/#

Это лечится?

 

Это не фильтр пропустил ссылку, а ссылка коряво указана в списке РКН. Для самостоятельного решения этого вопроса снимите дамп запроса от ревизора по данному url.

[myth]

В списке указана как

www.is-news.com/2016/12/20/الاصدار-المرئي-فوارس-الرمضاء-sortie-visuelle-poele-fuwaris-new-video/#

 

В файле с URL она находится в таком виде. Т.е должно бы работать.

www.is-news.com/2016/12/20/الاصدار-المرئي-فوارس-الرمضاء-sortie-visuelle-poele-fuwaris-new-video/

 

Временно решил добавлением всего домена в локальный блеклист

[myth]

Для самостоятельного решения этого вопроса снимите дамп запроса от ревизора по данному url.

Браузер вел себя так же - сайт открывался

[YuryD]

Для самостоятельного решения этого вопроса снимите дамп запроса от ревизора по данному url.

Браузер вел себя так же - сайт открывался

Но как ? Проверил у себя is-news.com говорит что домена такого нету, а не только ссылки нету... И это видимо был не скат...

[myth]

Но как ? Проверил у себя is-news.com говорит что домена такого нету, а не только ссылки нету... И это видимо был не скат...

домена нет. А пропуск есть

[YuryD]

Но как ? Проверил у себя is-news.com говорит что домена такого нету, а не только ссылки нету... И это видимо был не скат...

домена нет. А пропуск есть

И скриншот к протоколу есть ? Пока не поздно - к нашим местным юристам, а затем с ними в суд.

[max1976]

В списке указана как

www.is-news.com/2016/12/20/الاصدار-المرئي-فوارس-الرمضاء-sortie-visuelle-poele-fuwaris-new-video/#

 

В файле с URL она находится в таком виде. Т.е должно бы работать.

www.is-news.com/2016/12/20/الاصدار-المرئي-فوارس-الرمضاء-sortie-visuelle-poele-fuwaris-new-video/

 

Временно решил добавлением всего домена в локальный блеклист

 

В реестре эта ссылка указана с html кодировкой, которая недопустима в url.

 

Я не поленился и снял дамп запроса от ревизора. Он отправляет такой запрос:

www.is-news.com/2016/12/20/&

 

Вот и ответ на вопрос.

Изменено 15 февраля, 2017 пользователем max1976

[hsvt]

То есть в реестр внесли криво, а ревизор проверяет по своему и поэтому пропуск ? Тогда получается он проверяет то, чего нету в реестре, бред и печаль...

[artimena]

Могут лишь на основании Акта мониторинга от агента ревизор присудить штраф или после акта нужны дополнительные проверки нарушения, непосредственно сотрудниками РЧЦ???

[swelf]

Я уже обсуждал этот вопрос пару страниц назад, в реестре урл внесен с закодированными арабскими символами при помощи решетки.

 

http://www.is-news.com/2016/12/20/#1575;#1604;#15...

я чуть модифицировал урл, а то последовательность ... браузер превращал в арабские символы.

 

я не вижу тут наружения со стороны реестра, dump.xml говорит что мы должны блокировать, должны блокировать такой урл. make_files.pl обрезает только последнюю решетку, браузер обрезает первую, вот и вся разница, считаю браузер прав, make_files.pl не прав.

 

hsvt

есть этот урл в реестре, человек отчет смотрит в pdf формате, а в реестр не заглядывал.

Изменено 16 февраля, 2017 пользователем swelf

[myth]

небольшой баг в make_files.pl

строки 210 211

 

$url11 =~ s/^(.*)\#(.*)$/$1/g;
$url2 =~ s/^(.*)\#(.*)$/$1/g;

url типа http://dummy.ru/#fdsafds#fdsfds'>http://dummy.ru/#fdsafds#fdsfds

превратят в

http://dummy.ru/#fdsafds

что не верно

исправил на

$url11 =~ s/^([^#]*)\#(.*)$/$1/g;
$url2 =~ s/^([^#]*)\#(.*)$/$1/g;

 

я это заметил на примере

http://www.is-news.com/2016/12/20

Да, был не прав. Исправил, is-news заблокировался

[oborot.bolta]

Коллеги - у меня есть масса вопросов по настройке.

1. Есть ли рекомендации по настройке nr_hugepages (vm.nr_hugepages) для различных карт

2. При указании dpdk_port = 0 или dpdk_ports = 0,1 - он биндиться на карты из списка по порядку?

3. mbuf_pool_size = 8191 на что может повлиять и есть ли рекомендации

4. num_of_workers = 1 (у меня стоит 3) при увелечении он отъедает память выделенную nr_hugepages ?

5. flowhash_size = 1048576 на что влияет и как посчитать сколько нужно

6. num_of_senders = 1 - это вообще не понятно можно пример жизненнный

7. core_mask = 7 (7 это десятичное значение? 0111 - тоесть на 8 ядерном прце - ему отдасться только 3 последних ядра или как? одно worker и два под нити?)

 

Извините если что за глупость и несуразность.

в моей конфигурации эти параметры выставлены след образом:

 

dpdk_port = 0

; mbuf_pool_size = 8191 (default)

num_of_workers = 3

; core_mask = 7 (default)

; flowhash_size = 1048576 (default)

; num_of_senders = 1 (default)

 

sysctl

vm.nr_hugepages=512

 

при такой конфигурации на 5 ядерной машине с 5 гигами памяти он у меня кушает: 4 ядра под 100% и более 3G памяти

VmPeak: 4240164 kB

VmSize: 3215176 kB

HugetlbPages: 2097152 kB

Изменено 17 февраля, 2017 пользователем oborot.bolta

[ne-vlezay80]

Коллеги - у меня есть масса вопросов по настройке.

1. Есть ли рекомендации по настройке nr_hugepages (vm.nr_hugepages) для различных карт

2. При указании dpdk_port = 0 или dpdk_ports = 0,1 - он биндиться на карты из списка по порядку?

3. mbuf_pool_size = 8191 на что может повлиять и есть ли рекомендации

4. num_of_workers = 1 (у меня стоит 3) при увелечении он отъедает память выделенную nr_hugepages ?

5. flowhash_size = 1048576 на что влияет и как посчитать сколько нужно

6. num_of_senders = 1 - это вообще не понятно можно пример жизненнный

7. core_mask = 7 (7 это десятичное значение? 0111 - тоесть на 8 ядерном прце - ему отдасться только 3 последних ядра или как? одно worker и два под нити?)

 

Извините если что за глупость и несуразность.

в моей конфигурации эти параметры выставлены след образом:

 

dpdk_port = 0

; mbuf_pool_size = 8191 (default)

num_of_workers = 3

; core_mask = 7 (default)

; flowhash_size = 1048576 (default)

; num_of_senders = 1 (default)

 

sysctl

vm.nr_hugepages=512

 

при такой конфигурации на 5 ядерной машине с 5 гигами памяти он у меня кушает: 4 ядра под 100% и более 3G памяти

А как тогда на бордере размещать этот extfilter+dpdk?

Вот, приемник сами: full view от 4 провайдеров + 3 гига под dpi.

Full view от одного провайдера весит примерно 500m, а если их 4, то 500*4 = 2000m. Так как на бордере врего 4g оперативной памяти, будет очень жуткий свопинг.

[micol]

 

А как тогда на бордере размещать этот extfilter+dpdk?

 

Никак, лучше чтоб это была отдельная железка ничем больше не занимающаяся, ибо любой затуп может привести к пропускам[OFFTOP_MODE_ON], а штрафы таки приняли уже в думе и отправили подмахнуть к ВВП http://asozd2.duma.gov.ru/main.nsf/(SpravkaNew)?OpenAgent&RN=1102471-6&02 [/OFFTOP_MODE_OFF]