oleg_n Опубликовано 21 марта, 2018 · Жалоба 7 minutes ago, SokolovS said: Не понял, почему не работает для https? Что https ресурсы не требуют резольвинга? А уже на своем сервере сделать в nginx return 444; (сброс соединения) проблем не вызовет. Опять же любые параметры, которые не соответствуют договорным должны считаться "нестандартными настройками". Или вы будете сами настаивать на использовании dnssec по договору? Если Вы хотите показывать html-страницу блокировки, то это работать не будет. Если сброс соединения, то проще сразу dns-запрос сбросить, не производя дальнейших действий. 6 minutes ago, LynxChaus said: Это вопрос времени. Конкретно в этой записи URL больше 1024 байт, который не лезет в то, что максимально возможно у nfqfilter/extfilter /** * Maximum accepted length of search/replace pattern */ #define AC_PATTRN_MAX_LENGTH 1024 А. Может быть. У меня парсится больше 1024 байт :-). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LynxChaus Опубликовано 21 марта, 2018 · Жалоба Just now, alexwin said: Думаете,мамкины хактивисты уже ищут дыры? Судя по виду урла - нет, это генератор такой. Just now, alexwin said: Константу поправить на 2048 и перекомпилять. Константа подправленная обеспечит сборку двух tcp пакетов с запросом? Круто, не знал. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexwin Опубликовано 21 марта, 2018 (изменено) · Жалоба 1 час назад, LynxChaus сказал: Константа подправленная обеспечит сборку двух tcp пакетов с запросом? Круто, не знал. Я в сорцы не смотрел,но в комментарии указано Maximum accepted length of search/replace pattern Это что как-то со сборкой tcp-пакетов связано (сужу по описанию)? 1 час назад, LynxChaus сказал: Судя по виду урла - нет, это генератор такой. Ну так вот вам вектор атаки. Как ведет себя фильтр при этом? Блочит или пропускает? Если пропускает,фпирет переделывать свои урл. Изменено 21 марта, 2018 пользователем alexwin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 21 марта, 2018 · Жалоба 7 минут назад, oleg_n сказал: Если Вы хотите показывать html-страницу блокировки, то это работать не будет. Если сброс соединения, то проще сразу dns-запрос сбросить, не производя дальнейших действий. Чтобы DNS сбросить, его надо сначала разобрать и понять какой домен пытаются резольвить, лишние сложности. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LynxChaus Опубликовано 21 марта, 2018 · Жалоба Just now, alexwin said: Я в сорцы не смотрел Не читал, но осуждаю (С). Это константа используется для добавления урла в ноду алгоритма поиска Ахо-Корасика. И урл туда - не добавляется. Увеличение константы до 1500 байт конечно поможет. Но только обладателям extfilter. Похоже, пора начинать переписывать nfqfilter. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 21 марта, 2018 (изменено) · Жалоба 12 minutes ago, SokolovS said: Чтобы DNS сбросить, его надо сначала разобрать и понять какой домен пытаются резольвить, лишние сложности. Вы их уже разбираете, что бы сделать следующее: Quote Мне кажется простейшее решение это использование ответов DNS CNAME (с указанием чего-то типа fz139.mydomain.ru) для заблокированных ресурсов Поэтому как раз проще на этом этапе и дропнуть. Изменено 21 марта, 2018 пользователем oleg_n Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexwin Опубликовано 21 марта, 2018 (изменено) · Жалоба 13 минут назад, LynxChaus сказал: Не читал, но осуждаю (С). Это константа используется для добавления урла в ноду алгоритма поиска Ахо-Корасика. И урл туда - не добавляется. Увеличение константы до 1500 байт конечно поможет Взаимоисключающие параграфы? 13 минут назад, LynxChaus сказал: Но только обладателям extfilter https://nnm-club.me/forum/viewtopic.php?t=1157796&start=630 Цитата Сайт navalny.com попал в реестр запрещенных сайтов. Было принято решение попробовать обойти блокировку так, как это делает GoodbyeDPI, если бы его установили на сервер, а не на компьютер клиента.Вместо того, чтобы сделать это только для определенных провайдеров, через несколько дней после вступления блокировки в силу, и по-тихому, IT-команда Навального сделала это глобально, в течение нескольких часов после блокировки, и рассказала об этом в СМИ.<...> План подразумевал долговременную доступность: были разработаны схемы затруднения обнаружения настроек для каждого провайдера со стороны Роскомнадзора, предусмотрены схемы сокрытия смены IP-адреса от Роскомнадзора в случае добавления в реестр сайта по IP-адресу, осуществлена блокировка системы контроля доступности заблокированных сайтов у провайдеров «Ревизор», для того, чтобы провайдеров не штрафовали за открывающийся заблокированный сайт, и некоторые другие уловки. 18 минут назад, LynxChaus сказал: Похоже, пора начинать переписывать nfqfilter Я смотрю,вы неплохо изучили сорцы extfilter. Ну что,форкаете и вперед? )) Изменено 21 марта, 2018 пользователем alexwin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LynxChaus Опубликовано 21 марта, 2018 · Жалоба 35 minutes ago, alexwin said: Взаимоисключающие параграфы? нет, фигурный квотинг. 36 minutes ago, alexwin said: Я смотрю,вы неплохо изучили сорцы extfilter. Ну что,форкаете и вперед? )) Именно extfilter мне без надобности. Нету в моих реалиях ни потоков в гигабиты, ни серверов с подходящими интелячими платами. А переписать nfqfliter чтоб не требовал всяких поко-шмоко.cpp - дело времени. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexwin Опубликовано 21 марта, 2018 (изменено) · Жалоба 9 минут назад, LynxChaus сказал: нет, фигурный квотинг. Изменено 21 марта, 2018 пользователем alexwin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 21 марта, 2018 · Жалоба 1 час назад, oleg_n сказал: Вы их уже разбираете, что бы сделать следующее: Поэтому как раз проще на этом этапе и дропнуть. Ну как вариант. Только есть ли такая возможность в DNS серверах. Думаю вряд ли, придется используя библиотеку написать свой недо-DNS сервер, который будет только сбрасывать соединение или перенаправлять на нормальный DNS. Нормальные DNS серверы у каждого в хозяйстве есть. А тут отдельный софт. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 21 марта, 2018 · Жалоба 3 minutes ago, SokolovS said: Ну как вариант. Только есть ли такая возможность в DNS серверах. Думаю вряд ли, придется используя библиотеку написать свой недо-DNS сервер, который будет только сбрасывать соединение или перенаправлять на нормальный DNS. Нормальные DNS серверы у каждого в хозяйстве есть. А тут отдельный софт. Это да. Но тут смотря как Вы осуществляете фильтрацию. В нашем случае это делает не отдельный софт, а фильтр, тот самый который и разбирает dns-запрос. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 21 марта, 2018 (изменено) · Жалоба 1 час назад, LynxChaus сказал: Это вчерашняя запись. И не про амазон. Кто бы сказал, что они на амазоне с таким упорством гоняют.. Значит ошибся, такого не было. Амазон гоняют аж всю ночь, бота что ли настроили? Изменено 21 марта, 2018 пользователем SokolovS Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 21 марта, 2018 · Жалоба Сейчас снял отчет ревизора, 10 пропусков нарисовал тех ресурсов которые исключили из реестра. Не поймешь эту коробочку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 21 марта, 2018 (изменено) · Жалоба 2 минуты назад, oleg_n сказал: Это да. Но тут смотря как Вы осуществляете фильтрацию. В нашем случае это делает не отдельный софт, а фильтр, тот самый который и разбирает dns-запрос. А какой вы фильтр используете, который так делает? Только что, arhead сказал: Сейчас снял отчет ревизора, 10 пропусков нарисовал тех ресурсов которые исключили из реестра. Не поймешь эту коробочку. На все есть, готовый ответ. На момент проверки они были в реестре :) Изменено 21 марта, 2018 пользователем SokolovS Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 21 марта, 2018 · Жалоба 3 minutes ago, SokolovS said: А какой вы софт используете, который так делает? Дык, обычный nfq-based фильтр, как nfqfilter - trfl. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexwin Опубликовано 21 марта, 2018 · Жалоба 2 минуты назад, SokolovS сказал: А какой вы фильтр используете, который так делает? dnsspoof,например. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LynxChaus Опубликовано 21 марта, 2018 · Жалоба 56 minutes ago, oleg_n said: trfl. О. Хоть кто-то догадался парсить xml по ходу, а не всасывать его весь в память. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
admf Опубликовано 21 марта, 2018 · Жалоба 6 часов назад, oleg_n сказал: Спасибо! Файл за 2018.01 оказался обрезанным. Есть ещё за 2017.01 - 2017.06? Перезалил 18 год и добавил остатки 17го https://yadi.sk/d/gZvBrtgp3Tcp8T Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 22 марта, 2018 · Жалоба 14 часов назад, oleg_n сказал: Дык, обычный nfq-based фильтр, как nfqfilter - trfl. Это получается активный DPI? До какого трафика можно использовать подобное решение? Какие задержки вносит в прохождение пакетов? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ixi Опубликовано 22 марта, 2018 · Жалоба 19 часов назад, SokolovS сказал: Я вот думаю им кто-нибудь посоветует заблочить весь *.compute-1.amazonaws.com? Это ведь всё поддомены одного пользователя нафига блокировать каждый, там их уже пи..дец сколько. Это часть амазоновского облака, а не один пользователь Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 22 марта, 2018 (изменено) · Жалоба 16 hours ago, admf said: Перезалил 18 год и добавил остатки 17го https://yadi.sk/d/gZvBrtgp3Tcp8T Спасибо! Получается так: Тут не хватает только за 2018.02.10 инфы. Можно ещё за 2016 сделать. Изменено 22 марта, 2018 пользователем oleg_n Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 22 марта, 2018 · Жалоба 5 hours ago, SokolovS said: Это получается активный DPI? Да. Ставится в разрыв. 5 hours ago, SokolovS said: До какого трафика можно использовать подобное решение? Для относительно небольшого. На данный момент trfl такие данные: - Xeon E5-2603 v2, 8 ядер - 6 nfq-очередей - 230Mb/s трафик через nfq (до этого писал тут где-то про ~700Mb/s - перепутал с входящим трафиком) - 61-66 Kpps - LA 3.0-3.5 - входящий при этом трафик - 832Mb/s, пакеты - 90Kpps (для nfq значение не имеет, но влияет на LA) Соответственно, 500Mb/s должен прожевать. А больше не уверен, т.к. тут будет на общую нагрузку машины влиять входящий трафик, который при 500Mb/s будет около 1.7Gb/s. Сейчас заметил, что процессы trfl не прибиты к процессорам. Прибил, посмотрю как скажется на нагрузке. А вообще, если бы в trfl присутствовали оптимизации, которых бы очень хотелось, то можно было бы увеличить поглащаемый траффик минимум в 10 раз по моим прикидкам. 6 hours ago, SokolovS said: Какие задержки вносит в прохождение пакетов? Я, честно, задержки на стенде не мерил, а сейчас его собирать некогда. А на боевом сервере сейчас померял и получается, что без фильтра даже дольше отклик :-). Так что они явно не заметные, но если хочется точных данных, надо мерять на стенде. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 22 марта, 2018 · Жалоба Что по итогу делать с приказом РКН? ID статичный или в каждой выгрузке разный? Судя по тексту придется текст писать огромными буквами. 50% под это предложение это нечто. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 22 марта, 2018 · Жалоба Каждый раз разный Большими буквами и пишем Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 22 марта, 2018 · Жалоба 2 минуты назад, myth сказал: Каждый раз разный Так написано же, что страница должна быть статичной. Значит нельзя каждый раз разный. :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...