Jump to content
Калькуляторы

Опубликована Процедура блокировки некошерной инфо

drdaeman

таблица маршрутизации в линуксе(fib, route cache - как хотите называйте) это хеш-таблица, если с коэфф. заполнения не будете грубить, то поиск в ней будет оооочень быстрым.

 

нет там бинарного дерева и нет логарифмической сложности как вы думаете

Share this post


Link to post
Share on other sites
Отправлено Сегодня, 01:26

drdaeman

таблица маршрутизации в линуксе(fib, route cache - как хотите называйте) это хеш-таблица, если с коэфф. заполнения не будете грубить, то поиск в ней будет оооочень быстрым.

 

нет там бинарного дерева и нет логарифмической сложности как вы думаете

 

Т.е. вы уже согласны с по-IP-ной блокировкой ресурсов? До свидания youtube.com. Клиенты хором - "Здравствуй Ростелеком!".

Share this post


Link to post
Share on other sites

я про такие ссылки :)

про IP все понятно :)

Share this post


Link to post
Share on other sites
таблица маршрутизации в линуксе(fib, route cache - как хотите называйте) это хеш-таблица

Я первым делом подумал про iptables, а там правила линейным списком и O(n). Правда я все равно облажался, ибо есть ipset с O(1).

Ваш вариант, с маршрутами — лучше и правильнее.

 

Если для IP, конечно.

Share this post


Link to post
Share on other sites
я про такие ссылки :) http://www.youtube.c...rFxti6oqug&NR=1

про IP все понятно :)

 

Да вот с IP не все как раз понятно.

Если магистрал будет фильтровать по IP, то какой бы я ни поставил DPI фиолетоГо. Не будет youtube.com. Если же магистрал фильтрует по URL, то вообще непонятен смысл. Троичная фильтрация, троичные бабки(нехилые, надо сказать, в не наш бюджет) на DPI. Я конечно уже молчу про нарушение конституции при перлюстрации контента.

Share this post


Link to post
Share on other sites

Только что произвели выгрузку.

 

Снова файл пустой!

 

А уже пора бы первые 6 ресурсов показать для ISP!

 

Или Хостеры не оставили для ISP работы?

 

Интересно, как Роскомнадзор это прокомментирует?

 

post-65914-036976900 1351977159_thumb.jpg

Edited by korvatsky

Share this post


Link to post
Share on other sites

:)

Ребята- давайте подумаем :) а фильтрация сайтов http://привет.рф или IPv6 есть там :)?

Share this post


Link to post
Share on other sites

я про такие ссылки :)

про IP все понятно :)

А это пусть будет головной болью Роскомнадзора. Они сами писали — если нет DPI, то блокировать по URL не обязаны, делайте что умеете, на выбор. А если включат в список весь YouTube, по домену — завернуть весь домен не в какое-то никуда, а на объяснительную страницу «ругайте, вот, этих умников» и/или форму Роскомнадзоровского же фидбэка.

 

А уметь блокировать YouTube очень сложно. Потому что DPI, умеющего в SPDY (а умеющие его браузеры тут же переключаются на него), насколько я в курсе, пока нету (или есть?), и сделать такой DPI — нетривиальная задача. А нагло лезть в клиенский трафик, модифицируя его, чтобы SPDY не включался — это уже совсем за гранью бобра и осла (да и закона, вроде бы — оператор же права не имеет менять пейлоад, да?), дальше только проксирование HTTPS с поддельными сертификатами.

Share this post


Link to post
Share on other sites

Кто-нибудь пробовал проверить подпись ответа от РКН? Чет не валидится у меня!

Share this post


Link to post
Share on other sites
да и закона, вроде бы

Да на закон вообще все положили. Даже по тому, что гражданам нельзя увидеть список.

Да и на конституцию положили, которая гласит "только суд".

Share this post


Link to post
Share on other sites

Пусть попробуют зафильтруют i2p, говнюки :)

Ну шо Вы так переживаете? Если захотят - зафильтруют.

Share this post


Link to post
Share on other sites

Пусть попробуют зафильтруют i2p, говнюки :)

Ну шо Вы так переживаете? Если захотят - зафильтруют.

 

Что, создадут список запрещенных ХЕШ записей вместо ip адресов? :)

Share this post


Link to post
Share on other sites

Пусть попробуют зафильтруют i2p, говнюки :)

Ну шо Вы так переживаете? Если захотят - зафильтруют.

 

Что, создадут список запрещенных ХЕШ записей вместо ip адресов? :)

Просто зафильтруют сам i2p - думаете это сильно сложно или ресурсуемко? Да нет - поверьте, не так уж сложно и для крупняка, который давно развернул DPI, не так уж и дорого. А большего - и не надо.

Share this post


Link to post
Share on other sites
Просто зафильтруют сам i2p

LOL. deny ip any any?

Share this post


Link to post
Share on other sites
Просто зафильтруют сам i2p

LOL. deny ip any any?

Ну опять снова-здорова. Я понимаю что тру-админы локалхоста не знают что такое DPI - ну так почитайте. Почитайте как например блокируют скайпа или торренты - да довольно ресурсоемко и следовательно - дорого, но решаемо. С i2p - все точно также. Да-да - мелочь и средняки, те не осилят. А крупняк - ну история с шейпингом торрентов опсосами ничему не научила? Ну и тут точно также - заблочить проще чем зашейпить...

Share this post


Link to post
Share on other sites

Сильно обфусцированные/криптованные протоколы поддаются только статистическому анализу. Который вместе с надлежащим резке трафиком рискует зарезать еще и тонну полезного трафика.

Рекомендую другой подход: законодательно разрешить коннекты исключительно на 80 и 25 порты, только по протоколам HTTP и SMTP. Всё остальное - запретить начерт.

Думаю, аналогичные недоспециалисты-запрещаторы такой подход в России когда-нибудь продавят.

 

история с шейпингом торрентов опсосами ничему не научила

Научила. И не только торрентов. В итоге 90% клиентов ныне воспринимают мобильный инет, как игрушку для планшета/мобилки.

Всерьез для работы (а тем паче - для дома) им пользуются сущие единицы, предпочитая Yota или проводную связь. Не из-за торрентов. Просто из-за предсказуемости.

Да и с Yota не всё гладко - ряд клиентов с них не так давно слез на проводную связь из-за того, что они SIP нормально не пропускают.

 

Кроме того - обфусцированный/криптованный торрент-протокол ныне режется с трудом (только за счет неполной обфускации) и только мелочевкой. Ну и сотовиками, потому что у них выхода нет - полоса узкая. Но им и таких мощностей не надо для резки, опять же в силу полосы. Сделать обфускацию посильнее - когда припрёт - сделают, и тогда можно будет снова менять DPI за 100500 тонн нефти :)

Edited by Alex/AT

Share this post


Link to post
Share on other sites
Сильно обфусцированные/криптованные протоколы поддаются только статистическому анализу.

Согласен.

Который вместе с надлежащим резке трафиком рискует зарезать еще и тонну полезного трафика.

А вот с этим - не согласен. Собственно и ты согласишься со мной если поймешь что цель вовсе не "зарезать весь некошерный траффик нафиг", задача совсем иная "зарезать его столько чтоб сеть стала функционировать из рук вон плохо". Для примера в случае с торрнетами - снижение скорости обмена инфой на порядок решает задачу ничуть не хуже чем полная блокировка оных.

В итоге 90% клиентов ныне воспринимают мобильный инет, как игрушку для планшета/мобилки.

Причина тут вовсе не в шейпинге торрентов. Причина - в плохом качестве связи и дороговизне оной. Хотя тему с дороговизной - почти разрулили.

Всерьез для работы (а тем паче - для дома) им пользуются сущие единицы, предпочитая Yota или проводную связь. Не из-за торрентов. Просто из-за предсказуемости.

Угу, а йопта - офигенно предсказуема. Торренты они кстати тоже... давили, покрытие - непредсказуемое, да и прочие приколы типа сигнал хороший, а с 10 до 18, или круглосуточно - не работает. То есть работает, но скорость - никакая. Причина - в первом случае рядом офисный центр, из тех что с эксклюзивным провайдером, во втором - студенческая общага. Особо предсказуемо было закапывание WiMAX в пользу LTE...

То есть еще раз - причина вовсе не в том что они блокируют/шейпят какой-то траффик - причина в общей хреновости работы сети, ее дороговизне и ненадежности.

Кроме того - обфусцированный/криптованный торрент-протокол ныне режется с трудом (только за счет неполной обфускации) и только мелочевкой. Ну и сотовиками, потому что у них выхода нет - полоса узкая. Но им и таких мощностей не надо для резки, опять же в силу полосы. Сделать обфускацию посильнее - когда припрёт - сделают, и тогда можно будет снова менять DPI за 100500 тонн нефти :)

Ну предложить тебе вариант выявления тех IP, на которых живет торрент так чтоб никакая обфускация не помогла? Тупо по соотношению трафика например... И дальше - тупо действовать методами IDS, ага. :) Ну это так - для примеру, можно придумать и решения поизящьней.

Хотя если это не пойдет для торрентов, то на ура пойдет для i2p. Причина - про i2p знают еденицы, а реально его используют вообще... никто. Так что его блокировка даже такими варварскими способами никого волновать не будет.

 

Вообщем мы скатываемся к вечному холивару о броне и снаряде. Очевидно что для того же i2p придумают эффективные средства блокировки, если возникнет такая потребность, так же как и то что после этого придумают какой-нибуть очередной i2p vX+1, который будет обходить эту блокировку.

Но еще раз - задача "полностью блокировать" не стоит. Стоит задача "сделать неудобным для использования основной массой хомячков". А вторая задача - всегда вполне решаема. В отличие от первой.

Share this post


Link to post
Share on other sites
Причина тут вовсе не в шейпинге торрентов. Причина - в плохом качестве связи и дороговизне оной.

Именно. Первое является симптомом второго, поэтому я и заострил внимание. Ибо как пример - пример собственно плохой изначальной организации деятельности, из-за которой пришлось идти на крайние меры. Нечего было сбрасывать цены ниже плинтуса, и не пришлось бы изголяться. Безлимитка? На беспроводке? На 2G/3G? Надо ж было так головой удариться, чтобы не предвидеть последствия от роста АБ. А теперь имеют то, что имеют - отношение к 2G/3G Internet как к игрушке, и вывод 4G Internet из удобного инструмента в "премиум-сегмент", чтобы хоть как-то отбить на единицах желающих последствия этого отношения. В итоге и 4G в нашей незалежней будет ровно там же, где 2G/3G Internet. Посмотрим еще чем кончится покупка Скартела...

 

Ну предложить тебе вариант выявления тех IP, на которых живет торрент так чтоб никакая обфускация не помогла? Тупо по соотношению трафика например

По соотношению трафика - это очень хреновый статистический анализ, процент ошибок которого будет настолько высок, что лучше не использовать. Методы типовых IDS годятся только для "ынтерпрайзов", т.е. в контролируемых сетях, на реальном неконтролируемом абонентском трафике нежизнеспособны в принципе. В силу ресурсоемкости.

 

Хотя если это не пойдет для торрентов, то на ура пойдет для i2p

Да не пойдёт. Ибо сам анализ криптованного неизвестно чем пакета - проблема. И - да, там не только TCP, там еще и UDP - т.е. надо нюхать весь поток всего. Полная обфускация протокола - дело техники и небольшого времени.

 

Я вижу способ статанализа по рандомным портам - но он вместе с I2P удавит торренты (так же обфусцированные), и хомячки будут недовольны.

 

Блокировать всё неизвестное? Не получится, ибо неизвестно, чем пользуются абоненты (в отличие от махрового энтерпрайза). Как уже говорил - проще тогда пойти по стандарту политики: "всё что не разрешено явно - запрещено", и оставить 25+80 порты :)

 

Стоит задача "сделать неудобным для использования основной массой хомячков"

Тогда задача не стоит вообще - I2P для хомячков и так исключительно неудобен.

 

---

Ну и немножко лирики... Хомячки могут в конце концов обидеться, и тогда получается не очень весело. Примеров масса.

Edited by Alex/AT

Share this post


Link to post
Share on other sites

Ну на счет шейпинга торрентов - этим занимаются и проводные провайдеры. И не только такие одиозные как например акадо...

 

Опять же - мы смотрим на задачу несколько под разными углами, от этого такая разница во взглядах.

 

Первое - вы пытаетесь выделить некий траффик и зарезать его. А зачем его выделять? Классифицируйте весь трафик и режте/шейпите тот что не поддается классификации. :) Или сначала выделяйте легко классифицируемый трафик, а сложно классифицируемый - отправляйте на дальнейшую обработку. :) Поверьте - его будет немного, со всеми вытекающими по трудоемкости обработки. :)

И не замыкайтесь на торрентах и i2p - это всего-лишь два наиболее известных примера, на них свет клином не сошелся. С тем же i2p - считайте что придумали удобный аналог.

Второе - вы зря боитесь что "порежем что-то нужное". Скорей всего какраз "нужный" трафик откласифицируется нормально.

Третье - ничто не мешает использовать довольно мягкие критерии ибо 10% потерь пакетов (хотя бы за счет блокировки) это вовсе не 10% потери скорости, это - нередко куда большие потери в скорости, в особо тяжелых случаях - полная неработоспособность. Зависит от протокола да. Да можно бороться... за счет снижения общей скорости и удобства использования. Так что абсолютно устойчивый к блокировке протокол окажется полностью неработоспособным, ога. :)

 

Ну и немножко лирики... Хомячки могут в конце концов обидеться, и тогда получается не очень весело. Примеров масса.

Обиженный хомячек всегда получает неиллюзорных люлей. И не важно - победил он (1789, 1917, 1991) или проиграл (1871, 1993).

Share this post


Link to post
Share on other sites

А какой смысл в фильтрации P2P (торренты, I2P, Tor и все прочее)? Любой желающий купит за доллар-другой VPN, этого добра сейчас навалом, и с «белыми» адресами тоже.

 

И провайдер будет видеть обычный VPN-трафик. Который трогать не выйдет: если даже просто зашейпить посильнее, то уже клиент позвонит и будет ругаться «я тут работаю, заказчику в Нидерландах удаленно кластер примусов починяю, а вы мне связь портите.»

Share this post


Link to post
Share on other sites

На бесплатный вэбинар "Работа с Квалифицированной ЭП на портале www.zapret-info.gov.ru/ " уже, не смотря на выходные, зарегистрировалось 18 участников http://firmbook.ru/Event/Index/Fi2a_W4GHUW73furyrKD2w

 

Вэбинар начнется во вторник, 06 ноября в 14:00.

(1 page, 53 views, 2 downloads). Приглашаем зарегистрироваться на сайте и на вэбинаре!

 

 

Share this post


Link to post
Share on other sites

Это i2p-то сложно осиливаемый хомячками? А Irsi давно его видел вообще? Если видел, конечно. Там даблклик-далее-далее-готово (или отметить пакет для установки в пм). OpenVPN вон сложнее настроить.

И да, хомячки, когда им чего-нибудь прищемляют, очень изобретательны и сообразительны ВНЕЗАПНО. Мы тут аутсорсим саппорт пары провайдеров местных, так что знаю, о чём говорю. ;)

Share this post


Link to post
Share on other sites

Список перестал быть пустым, появилась одна позиция. Рыдаю от контента.

PS А еще отдаваемая xmlка нифига валидацию не проходит ;)

Edited by yegorov-p

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now