1. Для блокировка используем

[yKpon]

2 часа назад, oleg_n сказал:

Понятно. Спасибо. У нас такой же без проблем ~700Mb/s пропускает. 6 очередей nfq.

юзаете nfqfilter?

вы как то точку побороли в конце url?

[oleg_n]

2 часа назад, epollia сказал:

я с очередями не колдавал, да и проц на сервере без nfq загружен на 50-60%

Понятно. У нас без nfq там почти 0 была загрузка :-). Сервак в режиме моста стоит.

 

1 час назад, zhenya` сказал:

40 гбит через userspace ? вы знатный извращенец. 

Дело не в userspace(dpdk - это и есть userspace), а в копировании kernelspace -> userspace [-> kernelspace]. Сам по себе userspace быстрее танцев с kernelspace - пример dpdk и архитектура plan9.

 

28 минут назад, yKpon сказал:

юзаете nfqfilter?

  Конкретно его - нет. Пользуем - https://github.com/lego12239/trfl. Но суть таже.

30 минут назад, yKpon сказал:

вы как то точку побороли в конце url?

  С точкой, вроде, проблем не было.

[arhead]

Снял отчет за вчерашний день сегодня и немного обомлел. 294 пропуска. Ну записи которые добавляет РКН задним числом фиг с ними. Основные пропуски были обнаружены в 16 часов. Записи добавлены в 10 часов. Выгрузка в 12 часов прошла. Позвонить в РКН что ли спросить что за фигня.

[Antares]

38 минут назад, arhead сказал:

Снял отчет за вчерашний день сегодня и немного обомлел. 294 пропуска. Ну записи которые добавляет РКН задним числом фиг с ними. Основные пропуски были обнаружены в 16 часов. Записи добавлены в 10 часов. Выгрузка в 12 часов прошла. Позвонить в РКН что ли спросить что за фигня.

Вы раз в сутки выгрузку делаете??

[arhead]

4 минуты назад, Antares сказал:

Вы раз в сутки выгрузку делаете??

Каждые 2 часа

[Antares]

делайте хотя бы раз в час

[oleg_n]

49 minutes ago, Antares said:

делайте хотя бы раз в час

А какая разница, если arhead пишет, что, после выгрузки в 12, пропуски были в 16 часов по записям добавленным в 10. Разница в 4 часа.

 

1 hour ago, arhead said:

Позвонить в РКН что ли спросить что за фигня.

Лучше написать - https://rkn.gov.ru/treatments/ask-question/

Изменено 24 января, 2018 пользователем oleg_n

[oleg_n]

1 hour ago, arhead said:

Снял отчет за вчерашний день сегодня и немного обомлел. 294 пропуска.

Посмотрел у себя за 23 и 24 числа - 18 и 12 пропусков. Так что, что-то Ваш ревизор чудит похоже. В этом случае лучше пообщаться с РЧЦ.

Изменено 24 января, 2018 пользователем oleg_n

[arhead]

2 минуты назад, oleg_n сказал:

Ваш ревизор чудит похоже. В этом случае лучше пообщаться с РЧЦ.

Да это уже второй раз повторяется. Первый думал ну может у меня выгрука в это время не прошла вот он и новые записи смотрел. Надо с ними поговорить.

[oleg_n]

4 minutes ago, arhead said:

Да это уже второй раз повторяется. Первый думал ну может у меня выгрука в это время не прошла вот он и новые записи смотрел. Надо с ними поговорить.

Кстати, время включения в реестр в UTC указано. С учётом этого проверяли?

[arhead]

Скрытый текст

23 Янв, 2018  16:24:39;750236;http://playtunez.com/watch/..................., 104.18.63.181, GET;Генпрокуратура;23 Янв, 2018  10:32:54;200;
23 Янв, 2018  16:25:15;771841;http://playtunez.com/user/....................., 104.18.62.181, GET;Генпрокуратура;23 Янв, 2018  10:32:55;200;
23 Янв, 2018  16:25:30;;771841;http://playtunez.com/user/............., 104.18.63.181, GET;Генпрокуратура;23 Янв, 2018  10:32:55;200;
23 Янв, 2018  16:25:30;;771947;http://playtunez.com/user/.......... 104.18.62.181, GET;Генпрокуратура;23 Янв, 2018  10:32:55;200;
23 Янв, 2018  16:25:31;;771947;http://playtunez.com/user/..............., 104.18.63.181, GET;Генпрокуратура;23 Янв, 2018  10:32:55;200;
23 Янв, 2018  16:25:31;;718339;http://playtunez.com/watch........html, 104.18.62.181, GET;Генпрокуратура;23 Янв, 2018  10:32:52;200;
 

Ну вот выписка некоторых значений. В шапке вроде Время включения в реестр UTC. Они не по московскому включают что ли?

[oleg_n]

3 minutes ago, arhead said:

  Hide contents

23 Янв, 2018  16:24:39;750236;http://playtunez.com/watch/..................., 104.18.63.181, GET;Генпрокуратура;23 Янв, 2018  10:32:54;200;
23 Янв, 2018  16:25:15;771841;http://playtunez.com/user/....................., 104.18.62.181, GET;Генпрокуратура;23 Янв, 2018  10:32:55;200;
23 Янв, 2018  16:25:30;;771841;http://playtunez.com/user/............., 104.18.63.181, GET;Генпрокуратура;23 Янв, 2018  10:32:55;200;
23 Янв, 2018  16:25:30;;771947;http://playtunez.com/user/.......... 104.18.62.181, GET;Генпрокуратура;23 Янв, 2018  10:32:55;200;
23 Янв, 2018  16:25:31;;771947;http://playtunez.com/user/..............., 104.18.63.181, GET;Генпрокуратура;23 Янв, 2018  10:32:55;200;
23 Янв, 2018  16:25:31;;718339;http://playtunez.com/watch........html, 104.18.62.181, GET;Генпрокуратура;23 Янв, 2018  10:32:52;200;
 

Ну вот выписка некоторых значений. В шапке вроде Время включения в реестр UTC. Они не по московскому включают что ли?

Написано UTC. Так что похоже время в UTC. Тогда пропуски сходятся. В 12 Загрузили раз, следующий в 14. Эти записи добавлены в 14:32 - т.е. при проверке в 16 они и были не обнаружены.

[arhead]

2 минуты назад, oleg_n сказал:

Написано UTC. Так что похоже время в UTC. Тогда пропуски сходятся. В 12 Загрузили раз, следующий в 14. Эти записи добавлены в 14:32 - т.е. при проверке в 16 они и были не обнаружены.

Спасибо за разъяснение. Поставлю пусть каждый час делает. Если не ошибаюсь то вроде дается какое то время для блокировки?

[max1976]

5 минут назад, arhead сказал:

Ну вот выписка некоторых значений.

У меня обработка реестра раз в час (в 35 минут) и указанные сайты добавлены в фильтр ~ 14:45. Ставьте обновление реестра раз в час, до 00 минут, тогда таких пропусков не будет.

[Huko]

Тоже попали на такую же пачку пропусков.

А есть какие-то официальные рекомендации с какой частотой надо вытаскивать реестр ?

 

[arhead]

1 минуту назад, max1976 сказал:

Ставьте обновление реестра раз в час, до 00 минут, тогда таких пропусков не будет.

Спасибо попробую.

[max1976]

5 минут назад, Huko сказал:

Тоже попали на такую же пачку пропусков.

А есть какие-то официальные рекомендации с какой частотой надо вытаскивать реестр ?

 

Пока раз в час достаточно. В таком случае, как правило, попадаются только единичные пропуски ip адресов амазона, которые они активно добавляют перед запуском проверки ревизором (у меня ревизор проверяет новые записи каждый час с 0 минут до ~23 минут).

[oleg_n]

4 minutes ago, arhead said:

Спасибо за разъяснение. Поставлю пусть каждый час делает. Если не ошибаюсь то вроде дается какое то время для блокировки?

Записи, которые добавляет Генпрокуратура - 1 час(они с пометкой срочно). Остальные, вроде, 12 часов(раньше было 24 - сейчас точно не скажу).

 

16 minutes ago, max1976 said:

У меня обработка реестра раз в час (в 35 минут) и указанные сайты добавлены в фильтр ~ 14:45. Ставьте обновление реестра раз в час, до 00 минут, тогда таких пропусков не будет.

Мы после штрафа сделали, что бы каждые 10 минут скрипт лазил на РКН узнать дату изменения реестра и если есть срочные записи с последней загрузки(Генпрокуратура), то загружается реестр внеплана. Иначе раз в час.

[oleg_n]

32 minutes ago, Huko said:

Тоже попали на такую же пачку пропусков.

А есть какие-то официальные рекомендации с какой частотой надо вытаскивать реестр ?

 

Да. Конечно - https://rkn.gov.ru/docs/11111_Rekomendacii_15.pdf .

Пункт 6.

[Huko]

2 minutes ago, oleg_n said:

Да. Конечно - https://rkn.gov.ru/docs/11111_Rekomendacii_15.pdf .

Пункт 6.

Вот за это отдельное спасибо !

[oleg_n]

22 minutes ago, Huko said:

Вот за это отдельное спасибо !

Дык, это должно быть распечатано и в рамочке стоять на столе :-) ;-).

[yKpon]

собираю extfilter

poco-1.8.1

dpdk-17.11

 

[root@extfilter extfilter]# make install
Making install in src
make[1]: Вход в каталог `/usr/src/extfilter/src'
g++ -DHAVE_CONFIG_H -I. -I../include  -I/usr/src/dpdk-17.11/build/include -I.././peafowl/src   -std=c++11 -O3 -Wall -fno-stack-protector -pthread -msse -msse2 -msse3 -mssse3 -march=native -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp
main.cpp: В функции-члене «int extFilter::initPort(uint8_t, ether_addr*, bool)»:
main.cpp:374:68: ошибка: некорректное преобразование из «uint16_t (*)(uint8_t, uint16_t, rte_mbuf**, uint16_t, uint16_t, void*) {aka short unsigned int (*)(unsigned char, short unsigned int, rte_mbuf**, short unsigned int, short unsigned int, void*)}» в «rte_rx_callback_fn {aka short unsigned int (*)(short unsigned int, short unsigned int, rte_mbuf**, short unsigned int, short unsigned int, void*)}» [-fpermissive]
    if (!rte_eth_add_rx_callback(port, queueid, cb_parse_ptype, NULL))
                                                                    ^
In file included from main.cpp:13:0:
/usr/src/dpdk-17.11/build/include/rte_ethdev.h:4107:7: ошибка:   при инициализации 3 -го аргумента «void* rte_eth_add_rx_callback(uint16_t, uint16_t, rte_rx_callback_fn, void*)» [-fpermissive]
 void *rte_eth_add_rx_callback(uint16_t port_id, uint16_t queue_id,
       ^
main.cpp: В функции-члене «virtual void extFilter::initialize(Poco::Util::Application&)»:
main.cpp:820:32: предупреждение: сравнение знакового и беззнакового целых выражений [-Wsign-compare]
    if(rc != 6 || mac.size() != last)
                                ^
make[1]: *** [main.o] Ошибка 1
make[1]: Выход из каталога `/usr/src/extfilter/src'
make: *** [install-recursive] Ошибка 1

[arhead]

7 минут назад, yKpon сказал:

dpdk-17.11

На гите указано DPDK = 17.05.01

[yKpon]

1 минуту назад, arhead сказал:

На гите указано DPDK = 17.05.01

уже увидел, сорри, благодарю

[arhead]

А такой вопрос. Сколько zapret.pl должен обрабатывать принятый дамп? Просто что то около 45 минут работает. Это нормально?