atomlab

Добрый день. Есть несколько серверов в различных ДЦ. Для CDN. Везде анонсируется одна и та же подсеть. Клиент делает запрос на определенный ip и трафик заруливается на ближайший сервер. Стоит задача мониторить анонсируемый ip адрес. Для прверки корректного проходжения запроса по анонсируемому ip. Очевидно,что если его оправшивать с одной точки,то всегда буду попадать на ближайший сервер. А меня нужно каждую точку так мониторить. Первое что пришло на ум это заказывать в том же ДЦ дешовую виртуалку по возможности и проверять оттуда. Делать зарпос на анонсируемый ip. С помошью bgpmon.net на сколько я понял там можно мониторть только перестроение маршрутов. Подкиньте идей пожалуйста, что еще можно придумать? Спасибо.

Вот там тормоза сидят. Мы такую схему запилили еще полгода назад. Только в качестве Proxy используется iptables+sting.

У меня везде в качестве десктопа Linux. Но на работе еще держу виртуалку с вндой. Иногда приходитя пользоватья одной виндовой софтиной для доступа к базе сотрудников.

Конституция РФ, Ст.15, п.3. Законы подлежат официальному опубликованию. Неопубликованные законы не применяются. Любые нормативные правовые акты, затрагивающие права, свободы и обязанности человека и гражданина, не могут применяться, если они не опубликованы официально для всеобщего сведения. Интересно, сам черный список относится ли к нормативному акту и должен ли в соответствии с конституцией быть опубликован для всеобщего сведения? А не только для узкого круга лиц (провайдеров) по ключам.

А вот зря. Если вы заговорили о повышении качества услуг методом фильтрации всего чего вам не мешает жить, то давайте предоставлять пользователям действительно качественный и стерильный интернет без примесей. Только качественный контент,который одобрили квалифицированные специалисты. Этот жалкий черный список никуда не годится. Вы предстваляете сколько еще сайтов в инете, которые никому не мешают жить? Сто лет нужно угробить,чтобы их откопать на просторах инета эти никому ненужные сайты. Будущее за белым спиком разрешенных ресурсов. Все остальное в /dev/null. Пока мы очищаем интерент от скверны каждую минуту очередной ребенок подвергается педафильским нападкам по сетям передачи данных.

Блокировка по ДНС довольно грубый же способ. Главная фича, это возможность блочить конкретные url. Мы пока используем дешовую реализацию DPI. iptabes+mod string. iptables -A FORWARD --in-interface eth3.100 --protocol tcp --dport 80 --match string --algo bm --from 65 --to 500 --string youtube.com --jump ACL_youtube.com iptables -A ACL_youtube.com --match string --algo bm --from 65 --to 500 --string "GET /watch?v=VzwCV0S6Hk8 HTTP" --jump DROP Нагрузка правда при 600 правилиах на проц уже порядка 30% при трафике в 300 мбит\с. Главное использовать алгоритом Бойера-Мура --algo bm. Он самый быстрый. Но до такого количестав правил список думаю еще не скоро дойдет. Потом видно будет.

Ну дык обычно из рашки сваливают не борцы за справедливость,а просто те кому влом во всем этом учавствовать. Типа "Мне все это феолетово.Вы тут как-нибудь без меня."

Сложно построить правовое государство, если не исполнять законы, сколь странными или глупыми бы они не были. Постойте. А что должно быть сначала? Бездумное исполнение глупых законов. Или сначала нормальный продуманный закон и соответсвенно его исполнение? Первй варинт самы простой. Тяп ляп, забацали на коленке закон. Исполняйте и не выпендривайтесь. Второй вариант более сложный, затратный и теоретически справедливый. Что по вашему приведет к нормальному правовому гос-ву?

Никто бы ничего не имел протов этого преслувутого черного спсиока,если бы гос-во имело хороший кредит доверия у населения. Наоборот,все бы его поддержали. Но сейчас всем понятно,что это лишь тестирование инструмента борьбы с неугодными и закручивание гаек. Не более. Нет доверия тем,кто принимает решения о том какая информация будет считаться "опасной",а какая нет. Кто эти люди? Действительно опасный контент думаю любой бы провайдер по человесеки закрыл даже без суда.

Примут новый закон, что по умолчанию провайдеры должны пропускать только трафик не шифрованных протоколов, скажем http,smtp,pop3,imap, и только. А если кто хочет https,ssh или там vpn какой - идет он получать разрешение в ФАПСИ. PS: а с заработанного на починке кластера в Нидерландах поди еще и налоги не уплачены, а может и миграционно-трудовое законодательство нарушено :). Быссмысленные рассуждения. Вы придумываете какие-то крайние случаи. Конечно технически можно вообще изголться как угодно. Можно тупо все запретить ,ктоме десятка гос.сайтов. Или тупо отрубить инет всем и вся. Рассуждаете,как будто готовы просто прогнуться под людые запреты. Как буд-то это само собой разумеющееся.

Ну шо Вы так переживаете? Если захотят - зафильтруют. Что, создадут список запрещенных ХЕШ записей вместо ip адресов? :)

Объясните.Что за игра в секретность? В чем секретность этого черного списка? Зачем какие-то ключи авторизаци. Почему просто не опубликовать список на сайте.

Из документа "ВРЕМЕННЫЙ ПОРЯДОК взаимодействия оператора реестра с провайдером хостинга..." Чта значит пункт?: 4. Роскомнадзор обеспечивает: а) технологическое сопровождение, эксплуатацию программно-аппаратных средств; ... в) организацию бесперебойной работы технических средств и информационных технологий;

Жду, когда начнут ддосить zapret-info.gov.ru.

Кто из провайдеров скачал уже список сайтов? Поделитесь.:)

Там же xml запросом можно забирать список. Скриптом раз в сутки,например.

Я сам родом из Норильска. Инет там дорогой и слабый. Хотя государствро там и делает огромные деньги на добывании цветных метолов,а Норильск один из основных поставщиков никеля и кобалта в России. Но видимо интерент для этого не особо нужен и поэтому можно забить.

Да можно-то все:) Я простно не предстваляю как все пользователи вдруг начнут писать каждый себе свою проксю и патчить поголовно браузеры,чтобы попасть на один сайтик. Просто вопрос ЗАЧЕМ. За пару минут ставиться TOR и вперед. Там между нодами все шифруется. В общем-то стоит задача заблокировать страничку, если пользователь использует стандартные инструменты доступа к ресурсу. Сейчас тестирую nginx как http forward. Интересно какие у него подводные камни.

Теоретически можно,но если пользователь пошлет кучу пакетов по 1 байту, то ответа скорее всего не получет. В большинстве случаев может стоять ограничение на минимальный размер пакета на сервере назначения. Если 1.5 пользователя начнут заниматься такой ерундой, хрен на них. Еще минус модуля string, что даже если запрос будет разбит на несколько пакетов, то в одном из пакетов будет содержаться имя домена.В таком случае сайт-то не откроется,но и например в яндексе поисковый запрос с этим доменом уже не пройдет. Сложно все учесть.

Это как?

Для теста настроил nginx как http forward. Nginx используется же на высоконагруженных web ресурсах. Может и выдержит. Тестить надо. Единственное Сысоев предупреждает,что использование nginx в качестве http forward возможно,но могут быть неожиданности:) Еще ковыряю вариант iptables + модуль string. Он тупо грепает пакеты на наличие совпадений. Пока грепаю на наличие запросов GET конкретного ресурса. Типа искать в пакете GET /<uri> HTTP/ Host: <domain> Незнаю как поведет себя iptables при большом потоке пакетов. Какждый же нужно грепать.

Сайт может просто сменить ip и все. Каждый раз ловить смену ip не айс. Во вторых требуется возможность блочить просто странички,т.е конкретный url.

Да нам предлагали готове DPI решение. Цена вопроса 18млн. Многова-то что просто заблокировать несколько сайтов. Поэтому ищем что-нибуль попроще. https трафик нельзя проксировать прозрачно. Для http можете посмотреть на haproxy, он позиционируется как прокси для высоконагруженных систем. спасибо за нваодку. Почитаю что это за haproxy.

Я вообще на данный момент тестировал squid 2.7. У вас тоже squid 2.х крутится везде? А что по поводу Squid3? Squid 3 переписан почти полностью с нуля на C++. Случаем никто не юзал?

А в чем прожорливость сквида? При каких нагрузках ничинаются проблемы и в чем выражаются? Железо будет тоже не слабое. Просто интересно, как работотает сквид под большими нагрузками. Или squid оринтирован только на небольшие корпоративные сети? от 2к на core2quad начинаются проблемы. дико тормозит. Что именно тормозит? Процесс squid потребляет 100% процессорного времени или память всю сжирает?