max1976 Опубликовано 1 июня, 2017 · Жалоба P.S. Придется отказаться от ndpi, т.к. он не может анализировать данные в разных пакетах в рамках одной tcp сессии. А если ограничиваться частью URL? Например оставлять из записи реестра первые 64 символа, которые входят в первый пакет tcp сессии, и анализировать в пакете только эти 64 символа? Это, кроме того, сократит число требуемых записей, так как часто блокируют несколько страниц, на одном сайте, В реестре: http://qwerrrr.ru/какая-то-фигня/ыфвсльфыжлввсь жыдфльс жыфдвлсьжфыдлсь...ыфдлвсь.jpg http://qwerrrr.ru/какая-то-фигня/ыфвсльфыжлввсь жыдфльс жыфдвлсьжфыдлсь...ыфдлвсь1.jpg А блокируем все, что содержит символы: http://qwerrrr.ru/какая-то-фигня/ыфвсльфыжлввсь жыдфльс жыфдвлсьжфыдлсь... Пример с vip-club-vulkan.net показывает что это невозможно. В случае с данным сайтом в первом пакете GET / HTTP/1.1\r во втором \nUser-Agent: bla-bla в третьем \r\nHost: vip-club-vulkan.net\r\n\r\n Что здесь блокировать? / без хоста? Тогда не зайти ни на один сайт. Без сборки пакетов в единое целое уже не обойтись. Думаю дальше появится больше сайтов, которые работают по схеме данного сайта, чтобы обходить блокировки. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 1 июня, 2017 · Жалоба опять их по ip закрывать придется? А если ограничиваться частью URL? Например оставлять из записи реестра первые 64 символа Пробовал, не работает это. А вот, url, ссылающиеся на корень сайта, например, alcolike.com имеет смысл блокировать по домену? Как-то вот так, например @@ -672,22 +698,28 @@ $logger->error("Unsupported scheme in url: $url for resolving."); } else { my $url_domain = $uri->host(); - #my @res = ( $url =~ m!^(?:http://|https://)?([^(/|\?)]+)!i ); - #my $url_domain = $res[0]; if( defined( $EX_DOMAINS{$url_domain} ) ) { - # binmode(STDOUT, ':utf8'); - # print "EXCLUDE DOMAIN ".$url_domain." (URL ".$url.")\n"; $MAIL_EXCLUDES .= "Excluding URL (caused by excluded domain ".$url_domain."): ".$url."\n"; next; } Resolve( $url_domain, $record_id, $resolver, $cv); } - + +#################### Если URL ведет в корень сайт, то блокируем домен ##################### + $test_dom = $uri->path; + if($test_dom eq '' || $test_dom eq '/') + { + if($url !~ /(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})/) + { +# $test_dom_h=0; +# } + $need_to_block_domain=1; + $OLD_URLS{md5_hex(encode_utf8($url))} = 0; +} + } +########################################################################################### if( !defined( $OLD_URLS{md5_hex(encode_utf8($url))} ) ) { -# binmode(STDOUT, ':utf8'); -# print "New URL: ".encode_utf8($url)."\n"; -# print "MD5 hex: ".md5_hex(encode_utf8($url))."\n"; $sth = $DBH->prepare("INSERT INTO zap2_urls(record_id, url) VALUES(?,?)"); $sth->bind_param(1, $record_id); $sth->bind_param(2, $url); И для тех, у кого второй рубеж - DNS Redirect тоже профит Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 1 июня, 2017 · Жалоба Вот, нашел свою старую поделку (кусок из extfilter_maker) Это для unbound Ну, коль уж нашел свою поделку, внедрил и себе)) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 1 июня, 2017 (изменено) · Жалоба Пример с vip-club-vulkan.net показывает что это невозможно. В случае с данным сайтом в первом пакете GET / HTTP/1.1\r во втором \nUser-Agent: bla-bla в третьем \r\nHost: vip-club-vulkan.net\r\n\r\n Что здесь блокировать? / без хоста? Тогда не зайти ни на один сайт. Без сборки пакетов в единое целое уже не обойтись. Думаю дальше появится больше сайтов, которые работают по схеме данного сайта, чтобы обходить блокировки. А я то думал что такое. Проверяю пропуски и в дебаге не реагирует хотя есть. У кого стоят там СКАТ или Carbon Пропускает или блокирует? Пришло письмо от РКН с тремя айпи: контака и яндкеса, что аяяй нельзя блокировать. Из-за закона на Украине что ли? Изменено 1 июня, 2017 пользователем arhead Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 1 июня, 2017 · Жалоба Пример с vip-club-vulkan.net показывает что это невозможно. В случае с данным сайтом в первом пакете А я то думал что такое. Проверяю пропуски и в дебаге не реагирует хотя есть. У кого стоят там СКАТ или Carbon Пропускает или блокирует? http скат блочит, https - ресет коннекта и ошибка установки защищенного соединения. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 1 июня, 2017 · Жалоба .... Та же проблема что и с длинным url. В данном случае сервер выставляет маленький tcp window, из-за чего клиент разбивает запрос на несколько пакетов. На данный момент extfilter может собирать http запрос из разных пакетов (эта версия пока не выложена на github). P.S. Придется отказаться от ndpi, т.к. он не может анализировать данные в разных пакетах в рамках одной tcp сессии. А когда будет выложанна? P.S. Придется отказаться от ndpi, т.к. он не может анализировать данные в разных пакетах в рамках одной tcp сессии. Давно пора))) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 3 июня, 2017 · Жалоба А если попробовать ограничить минимальный MSS? Или жестко его задать? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
^rage^ Опубликовано 3 июня, 2017 · Жалоба А если попробовать ограничить минимальный MSS? Или жестко его задать? а причем тут MSS? :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 4 июня, 2017 · Жалоба А если попробовать ограничить минимальный MSS? Или жестко его задать? Я тоже так когда-то делал, и пользователи добавляли маршрут типа: ip route add block_ip_of_url via gw mtu 65 И срали на все ваши фильтры! Я советую ставить snort! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ValdikSS Опубликовано 4 июня, 2017 (изменено) · Жалоба ne-vlezay80, Роскомнадзор требует блокировать сайты так, чтобы они были недоступны широким массам. Не требуется блокировать сайты таким образом, чтобы они не работали с обходом блокировок на стороне пользователя. Ваш пример — обход блокировки со стороны пользователя. Изменено 4 июня, 2017 пользователем ValdikSS Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 4 июня, 2017 · Жалоба Я тоже так когда-то делал, и пользователи добавляли маршрут типа: ip route add block_ip_of_url via gw mtu 65 И срали на все ваши фильтры! Я советую ставить snort! Например? Не очень понял Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 4 июня, 2017 · Жалоба Я тоже так когда-то делал, и пользователи добавляли маршрут типа: ip route add block_ip_of_url via gw mtu 65 И срали на все ваши фильтры! Я советую ставить snort! Например? Не очень понял Дело в том, что в этом случае получаются мелкие пакеты. snort умеет их распозновать Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 4 июня, 2017 · Жалоба В данном случае - фиолетово. Лишь бы ревизор нарушения не фиксировал Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 4 июня, 2017 · Жалоба Как просто рубануть пакеты с маленьким размером tcp окна? 17:02:39.596590 IP 192.168.30.3.52642 > 95.211.37.202.http: Flags [s], seq 1709633812, win 29200, options [mss 1460,sackOK,TS val 398124638 ecr 0,nop,wscale 10], length 0 17:02:39.643878 IP 95.211.37.202.http > 192.168.30.3.52642: Flags [s.], seq 2643830035, ack 1709633813, win 28960, options [mss 1460,sackOK,TS val 2648922030 ecr 398124638,nop,wscale 7], length 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 4 июня, 2017 · Жалоба Через snort Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 4 июня, 2017 · Жалоба А пример настройки можно?) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ValdikSS Опубликовано 4 июня, 2017 (изменено) · Жалоба Маленький размер окна не обязательно означает обход блокировки. Маломощные микроконтроллеры, с очень ограниченным размером памяти, могут устанавливать низкий размер окна, т.к. не могут принять и держать в памяти много данных сразу. Блокируя низкий размер окна, вы сломаете сетевые возможности таких устройств. Изменено 4 июня, 2017 пользователем ValdikSS Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 4 июня, 2017 · Жалоба Так планируется это делать на сервере фильтра, т.е только касаемо адресов из дампа Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 4 июня, 2017 · Жалоба Маленький размер окна не обязательно означает обход блокировки. Маломощные микроконтроллеры, с очень ограниченным размером памяти, могут устанавливать низкий размер окна, т.к. не могут принять и держать в памяти много данных сразу. Блокируя низкий размер окна, вы сломаете сетевые возможности таких устройств. и не только. Ещё и некоторые возможности сайтов будут заблокированы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 4 июня, 2017 · Жалоба Лучше, чем на штрафы попадать Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 4 июня, 2017 · Жалоба Лучше, чем на штрафы попадать SNORT можно поставить. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ichthyandr Опубликовано 4 июня, 2017 · Жалоба Лучше, чем на штрафы попадать SNORT можно поставить. можно, только что делать с кривым реестром? И сколько снортом трафика обрабатываете? А пример настройки можно?) тыц вот я в свое время делал, но я задрался с кривыми записями в реестре (то точка, то закорючечка) а это пропуски Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 4 июня, 2017 · Жалоба Не шибко хочется менять схему фильтрации. В чем профит именно снорта? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ichthyandr Опубликовано 4 июня, 2017 (изменено) · Жалоба Не шибко хочется менять схему фильтрации. В чем профит именно снорта? видимо от того что он бесплатен ) ЗЫ на самом деле с ним геморно (к сожалению): 1) он однопоточный 2) если обрабатывать зеркальный трафик например на igb карточке, то на каждую очередь принимаемого трафика нужно вешать по процессу снорта. Достигается это через хитрый запуск снорта с ключами типа "откуда чего брать" Т.е. нужно сказать daq либе откуда брать трафик и на какой процесс снорта его передавать. Пример танца с саблями для pf_ring тут. Причем, чтобы заставить работать эту "вкусняшку", как я понял, нужно купить силикомовскую карточку (на наге продается) с лицензией 3) опять же, если формировать правила прямо из реестра, то в нем достаточно кривых записей 4) может чего не дкорутил, но снорт у меня работал только когда заркалился и исходящий и входящий трафик (полагаю, что всетаки я не докрутил его в свое время) Изменено 4 июня, 2017 пользователем ichthyandr Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 4 июня, 2017 · Жалоба Причем, чтобы заставить работать эту "вкусняшку", как я понял, нужно купить силикомовскую карточку (на наге продается) с лицензией Какую лицензию! Уже и на сетёвки надо лицензии покупать чтоли? Snort можно использовать в режиме NFQ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...