yKpon Опубликовано 12 января, 2018 · Жалоба 2 часа назад, oleg_n сказал: Понятно. Спасибо. У нас такой же без проблем ~700Mb/s пропускает. 6 очередей nfq. юзаете nfqfilter? вы как то точку побороли в конце url? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 12 января, 2018 · Жалоба 2 часа назад, epollia сказал: я с очередями не колдавал, да и проц на сервере без nfq загружен на 50-60% Понятно. У нас без nfq там почти 0 была загрузка :-). Сервак в режиме моста стоит. 1 час назад, zhenya` сказал: 40 гбит через userspace ? вы знатный извращенец. Дело не в userspace(dpdk - это и есть userspace), а в копировании kernelspace -> userspace [-> kernelspace]. Сам по себе userspace быстрее танцев с kernelspace - пример dpdk и архитектура plan9. 28 минут назад, yKpon сказал: юзаете nfqfilter? Конкретно его - нет. Пользуем - https://github.com/lego12239/trfl. Но суть таже. 30 минут назад, yKpon сказал: вы как то точку побороли в конце url? С точкой, вроде, проблем не было. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 24 января, 2018 · Жалоба Снял отчет за вчерашний день сегодня и немного обомлел. 294 пропуска. Ну записи которые добавляет РКН задним числом фиг с ними. Основные пропуски были обнаружены в 16 часов. Записи добавлены в 10 часов. Выгрузка в 12 часов прошла. Позвонить в РКН что ли спросить что за фигня. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 24 января, 2018 · Жалоба 38 минут назад, arhead сказал: Снял отчет за вчерашний день сегодня и немного обомлел. 294 пропуска. Ну записи которые добавляет РКН задним числом фиг с ними. Основные пропуски были обнаружены в 16 часов. Записи добавлены в 10 часов. Выгрузка в 12 часов прошла. Позвонить в РКН что ли спросить что за фигня. Вы раз в сутки выгрузку делаете?? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 24 января, 2018 · Жалоба 4 минуты назад, Antares сказал: Вы раз в сутки выгрузку делаете?? Каждые 2 часа Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 24 января, 2018 · Жалоба делайте хотя бы раз в час Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 24 января, 2018 (изменено) · Жалоба 49 minutes ago, Antares said: делайте хотя бы раз в час А какая разница, если arhead пишет, что, после выгрузки в 12, пропуски были в 16 часов по записям добавленным в 10. Разница в 4 часа. 1 hour ago, arhead said: Позвонить в РКН что ли спросить что за фигня. Лучше написать - https://rkn.gov.ru/treatments/ask-question/ Изменено 24 января, 2018 пользователем oleg_n Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 24 января, 2018 (изменено) · Жалоба 1 hour ago, arhead said: Снял отчет за вчерашний день сегодня и немного обомлел. 294 пропуска. Посмотрел у себя за 23 и 24 числа - 18 и 12 пропусков. Так что, что-то Ваш ревизор чудит похоже. В этом случае лучше пообщаться с РЧЦ. Изменено 24 января, 2018 пользователем oleg_n Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 24 января, 2018 · Жалоба 2 минуты назад, oleg_n сказал: Ваш ревизор чудит похоже. В этом случае лучше пообщаться с РЧЦ. Да это уже второй раз повторяется. Первый думал ну может у меня выгрука в это время не прошла вот он и новые записи смотрел. Надо с ними поговорить. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 24 января, 2018 · Жалоба 4 minutes ago, arhead said: Да это уже второй раз повторяется. Первый думал ну может у меня выгрука в это время не прошла вот он и новые записи смотрел. Надо с ними поговорить. Кстати, время включения в реестр в UTC указано. С учётом этого проверяли? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 24 января, 2018 · Жалоба Скрытый текст 23 Янв, 2018 16:24:39;750236;http://playtunez.com/watch/..................., 104.18.63.181, GET;Генпрокуратура;23 Янв, 2018 10:32:54;200; 23 Янв, 2018 16:25:15;771841;http://playtunez.com/user/....................., 104.18.62.181, GET;Генпрокуратура;23 Янв, 2018 10:32:55;200; 23 Янв, 2018 16:25:30;;771841;http://playtunez.com/user/............., 104.18.63.181, GET;Генпрокуратура;23 Янв, 2018 10:32:55;200; 23 Янв, 2018 16:25:30;;771947;http://playtunez.com/user/.......... 104.18.62.181, GET;Генпрокуратура;23 Янв, 2018 10:32:55;200; 23 Янв, 2018 16:25:31;;771947;http://playtunez.com/user/..............., 104.18.63.181, GET;Генпрокуратура;23 Янв, 2018 10:32:55;200; 23 Янв, 2018 16:25:31;;718339;http://playtunez.com/watch........html, 104.18.62.181, GET;Генпрокуратура;23 Янв, 2018 10:32:52;200; Ну вот выписка некоторых значений. В шапке вроде Время включения в реестр UTC. Они не по московскому включают что ли? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 24 января, 2018 · Жалоба 3 minutes ago, arhead said: Hide contents 23 Янв, 2018 16:24:39;750236;http://playtunez.com/watch/..................., 104.18.63.181, GET;Генпрокуратура;23 Янв, 2018 10:32:54;200; 23 Янв, 2018 16:25:15;771841;http://playtunez.com/user/....................., 104.18.62.181, GET;Генпрокуратура;23 Янв, 2018 10:32:55;200; 23 Янв, 2018 16:25:30;;771841;http://playtunez.com/user/............., 104.18.63.181, GET;Генпрокуратура;23 Янв, 2018 10:32:55;200; 23 Янв, 2018 16:25:30;;771947;http://playtunez.com/user/.......... 104.18.62.181, GET;Генпрокуратура;23 Янв, 2018 10:32:55;200; 23 Янв, 2018 16:25:31;;771947;http://playtunez.com/user/..............., 104.18.63.181, GET;Генпрокуратура;23 Янв, 2018 10:32:55;200; 23 Янв, 2018 16:25:31;;718339;http://playtunez.com/watch........html, 104.18.62.181, GET;Генпрокуратура;23 Янв, 2018 10:32:52;200; Ну вот выписка некоторых значений. В шапке вроде Время включения в реестр UTC. Они не по московскому включают что ли? Написано UTC. Так что похоже время в UTC. Тогда пропуски сходятся. В 12 Загрузили раз, следующий в 14. Эти записи добавлены в 14:32 - т.е. при проверке в 16 они и были не обнаружены. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 24 января, 2018 · Жалоба 2 минуты назад, oleg_n сказал: Написано UTC. Так что похоже время в UTC. Тогда пропуски сходятся. В 12 Загрузили раз, следующий в 14. Эти записи добавлены в 14:32 - т.е. при проверке в 16 они и были не обнаружены. Спасибо за разъяснение. Поставлю пусть каждый час делает. Если не ошибаюсь то вроде дается какое то время для блокировки? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 24 января, 2018 · Жалоба 5 минут назад, arhead сказал: Ну вот выписка некоторых значений. У меня обработка реестра раз в час (в 35 минут) и указанные сайты добавлены в фильтр ~ 14:45. Ставьте обновление реестра раз в час, до 00 минут, тогда таких пропусков не будет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Huko Опубликовано 24 января, 2018 · Жалоба Тоже попали на такую же пачку пропусков. А есть какие-то официальные рекомендации с какой частотой надо вытаскивать реестр ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 24 января, 2018 · Жалоба 1 минуту назад, max1976 сказал: Ставьте обновление реестра раз в час, до 00 минут, тогда таких пропусков не будет. Спасибо попробую. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 24 января, 2018 · Жалоба 5 минут назад, Huko сказал: Тоже попали на такую же пачку пропусков. А есть какие-то официальные рекомендации с какой частотой надо вытаскивать реестр ? Пока раз в час достаточно. В таком случае, как правило, попадаются только единичные пропуски ip адресов амазона, которые они активно добавляют перед запуском проверки ревизором (у меня ревизор проверяет новые записи каждый час с 0 минут до ~23 минут). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 24 января, 2018 · Жалоба 4 minutes ago, arhead said: Спасибо за разъяснение. Поставлю пусть каждый час делает. Если не ошибаюсь то вроде дается какое то время для блокировки? Записи, которые добавляет Генпрокуратура - 1 час(они с пометкой срочно). Остальные, вроде, 12 часов(раньше было 24 - сейчас точно не скажу). 16 minutes ago, max1976 said: У меня обработка реестра раз в час (в 35 минут) и указанные сайты добавлены в фильтр ~ 14:45. Ставьте обновление реестра раз в час, до 00 минут, тогда таких пропусков не будет. Мы после штрафа сделали, что бы каждые 10 минут скрипт лазил на РКН узнать дату изменения реестра и если есть срочные записи с последней загрузки(Генпрокуратура), то загружается реестр внеплана. Иначе раз в час. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 24 января, 2018 · Жалоба 32 minutes ago, Huko said: Тоже попали на такую же пачку пропусков. А есть какие-то официальные рекомендации с какой частотой надо вытаскивать реестр ? Да. Конечно - https://rkn.gov.ru/docs/11111_Rekomendacii_15.pdf . Пункт 6. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Huko Опубликовано 24 января, 2018 · Жалоба 2 minutes ago, oleg_n said: Да. Конечно - https://rkn.gov.ru/docs/11111_Rekomendacii_15.pdf . Пункт 6. Вот за это отдельное спасибо ! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 24 января, 2018 · Жалоба 22 minutes ago, Huko said: Вот за это отдельное спасибо ! Дык, это должно быть распечатано и в рамочке стоять на столе :-) ;-). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 24 января, 2018 · Жалоба собираю extfilter poco-1.8.1 dpdk-17.11 [root@extfilter extfilter]# make install Making install in src make[1]: Вход в каталог `/usr/src/extfilter/src' g++ -DHAVE_CONFIG_H -I. -I../include -I/usr/src/dpdk-17.11/build/include -I.././peafowl/src -std=c++11 -O3 -Wall -fno-stack-protector -pthread -msse -msse2 -msse3 -mssse3 -march=native -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp main.cpp: В функции-члене «int extFilter::initPort(uint8_t, ether_addr*, bool)»: main.cpp:374:68: ошибка: некорректное преобразование из «uint16_t (*)(uint8_t, uint16_t, rte_mbuf**, uint16_t, uint16_t, void*) {aka short unsigned int (*)(unsigned char, short unsigned int, rte_mbuf**, short unsigned int, short unsigned int, void*)}» в «rte_rx_callback_fn {aka short unsigned int (*)(short unsigned int, short unsigned int, rte_mbuf**, short unsigned int, short unsigned int, void*)}» [-fpermissive] if (!rte_eth_add_rx_callback(port, queueid, cb_parse_ptype, NULL)) ^ In file included from main.cpp:13:0: /usr/src/dpdk-17.11/build/include/rte_ethdev.h:4107:7: ошибка: при инициализации 3 -го аргумента «void* rte_eth_add_rx_callback(uint16_t, uint16_t, rte_rx_callback_fn, void*)» [-fpermissive] void *rte_eth_add_rx_callback(uint16_t port_id, uint16_t queue_id, ^ main.cpp: В функции-члене «virtual void extFilter::initialize(Poco::Util::Application&)»: main.cpp:820:32: предупреждение: сравнение знакового и беззнакового целых выражений [-Wsign-compare] if(rc != 6 || mac.size() != last) ^ make[1]: *** [main.o] Ошибка 1 make[1]: Выход из каталога `/usr/src/extfilter/src' make: *** [install-recursive] Ошибка 1 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 24 января, 2018 · Жалоба 7 минут назад, yKpon сказал: dpdk-17.11 На гите указано DPDK = 17.05.01 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 24 января, 2018 · Жалоба 1 минуту назад, arhead сказал: На гите указано DPDK = 17.05.01 уже увидел, сорри, благодарю Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 24 января, 2018 · Жалоба А такой вопрос. Сколько zapret.pl должен обрабатывать принятый дамп? Просто что то около 45 минут работает. Это нормально? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...