[a6j]

С 8-го числа в дампе ошибка:

"ttp://bandafilm.ru/policecky-s-rublevki-2016/74-policeyskiy-s"

У всех нормально парсится с такой опечаткой?

Изменено 12 апреля, 2016 пользователем a6j

[snvoronkov]

С 8-го числа в дампе ошибка:

"ttp://bandafilm.ru/policecky-s-rublevki-2016/74-policeyskiy-s"

У всех нормально парсится с такой опечаткой?

А в чем проблема? Не знаете протокола ttp? Придумайте и заблокируйте! :-)

[snik_1900]

по поводу редуктора

Мне кажется решение абсолютно неадекватное

т.к. Весь трафик заворачивать маразм просто

 

Мы заворачиваем только то что нужно

Тоесть по BGP сливаем IP и подставляем GW сервера на котором Squid или можно также уйти на Ngnix последнее решение гораздо быстрее

А как вы определяете IP которые надо заворачивать? У некоторых сайтов больше сотни IPшек и в реестре они не все указаны. Кроме того grani меняет ip каждый день.

РКНовская прога показывает такие сайты как не заблокированные.

[snik_1900]

По поводу IP только из реестра в РКН популярно объяснили: "Должны быть закрыты url'ы из реестра. Кто такой "IP" они не хотят знать. Сайт открылся значит не заблокирован."

Я на перле набросал черновик который резолвит с разных DNS-серверов (15 серверов) повторяя для каждого сайта из реестра 30 раз (итого 450 запросов). Так этот скрипт в 15 параллельных процессов обрабатывает реестр 2,5 дня.

[DimaM]

В Оперу встроили бесплатный VPN. Кто следующий?

http://www.opera.com/blogs/desktop/2016/04/free-vpn-integrated-opera-for-windows-mac/

[snik_1900]

Коллеги, а кто как получает список IP адресов?

[alibek]

Что значит "как"?

[snik_1900]

Это касаемо тех кто ставит не в разрыв, а зеркалит трафик.

 

Берете из реестра, но там далеко не все.

Заворачивать весь трафик на проверку большая нагрузка на сервер.

Сканировать все url из реестр для получения IP долго. (У меня 2,5 дня занимает).

Вот я и интересуюсь кто как эту проблему решает.

[Tem]

Зеркалю на карбон хттп, хттпс, фтп ну еще несколько портов которые есть в реестре

[st_re]

Это касаемо тех кто ставит не в разрыв, а зеркалит трафик.

 

Берете из реестра, но там далеко не все.

Заворачивать весь трафик на проверку большая нагрузка на сервер.

Сканировать все url из реестр для получения IP долго. (У меня 2,5 дня занимает).

Вот я и интересуюсь кто как эту проблему решает.

А что оно у вас 2.5 дня делает то ? полный обход всех имен из реестра делается часа за 2 в 1 поток. паралелится хоть в 100 раз.

[snik_1900]

Зеркалю на карбон хттп, хттпс, фтп ну еще несколько портов которые есть в реестре

Весь трафик на эти порты? Я просто через WCCP гоню только по аccess-list'у

 

А что оно у вас 2.5 дня делает то ? полный обход всех имен из реестра делается часа за 2 в 1 поток. паралелится хоть в 100 раз.

Сколько IP адресов у Вас для jw-media.net?

У меня уже за полторы сотни перевалило. И выдаются они по 1 штуке за раз.

Youtube то же утомил.

graniru.info меняют каждый день IP....

 

Скриптиком не поделитесь?

[st_re]

jw-media.net - 586, но кажется там давно надо всю

CIDR: 54.230.0.0/15

ибо бесполезно это ресолвить. они похоже пул виртуалок на этом амазоне держат, и постоянно перезапускают (или что там IP вынуждает амазон сменить..)

 

*.graniru.info 526 (уникальных IP, уникальных IP-хост - 14557)

 

А скрипт.. посмотрите на тему http://forum.nag.ru/forum/index.php?showtopic=79886 там и ресолвер и фильтр у людей есть. мое, оно под мою структура заточено, там ресолвер выковыривать надо.

[karpa13a]

они похоже пул виртуалок на этом амазоне держат, и постоянно перезапускают (или что там IP вынуждает амазон сменить..)

делается через апи, простым батничком) и через такуюже дырку замена адреса в днс-е

при этом сам сайт даже не знает что у него "фронтальная" часть сменилась.

сетей там чуть больше чем дофига(

и не это главное, а то что если ктото лочит в лоб по ипе - то будут недовольные, кто потом этот попользованный ипе получит.

[st_re]

ну так если ресолвим, то блочить по IP не вариант, естественно :)

 

сейчас, по моему, даже просто по IP из списка блочить - вони не оберешься... как со стороны абонентов, что мол заблочили не того, так и со стороны контролирующих органов, что "все открывается!!"

[uropek]

У нас есть проблемы

при этом ревизорище показывает 25 проц

 

блокировка по URL

HTTPS вообще в доску режем

 

по поводу редуктора

Мне кажется решение абсолютно неадекватное

т.к. Весь трафик заворачивать маразм просто

 

А мы вообще поставили zapretservice и забыли про ркн. Уже как 3 месяца не доканывают со своими процентами.

До этого редуктор был, так задолбались следить за трафиком, особенно по вечерам. Сетевые карты то сейчас огого стоят.

Под утро приходишь, а тебе уже ркн трезвонит, видители вечером у нас процентовка большая.

У вас zapretservice проходит проверки от ревизора (при дефолтовой установке) или чтобы полностью проходил нужен бубен (в смысле дополнительные настройки/скрипты)?

[st_re]

Скриптиком не поделитесь?

 

Хм.. тут нарыл ища совсем другое такой вот скриптик на GO

$ go get github.com/majek/goplayground/resolve
$ mysql -B  -e 'select domain_fixed from domains group by domain_fixed;' zapret |  $GOPATH/bin/resolve -server="127.0.0.1:53"

....
Resolved 16352 domains in 170.902s. Average retries 1.321. Domains per second: 95.680

 

3 минуты... не 2 дня.

 

соотв в базе у меня в этом поле приведенное к правильному DNS имя из файлика надзора (пуникод и прочая хрень). база чистится не каждый раз, до 30 дней старые домены болтаются, поэтому доменов даже больше, чем в текущей выгрузке.

[saaremaa]

У нас с полуночи 1 мая проверка каждый час Ревизором ПА идет. Это нормально?

[Tosha]

По поводу IP только из реестра в РКН популярно объяснили: "Должны быть закрыты url'ы из реестра. Кто такой "IP" они не хотят знать. Сайт открылся значит не заблокирован."

Им надо говорить не "IP" а "сетевой адрес" - именно так это в законах названо и именно так это в их собственных "рекомендациях"

 

"Рекомендации" предписывают определить сетевые адреса и направить трафик на сервер фильтрации.

Сколько раз в день актуализировать не сказано, но полагаю что можно "отстоять" 1 раз в сутки потому как именно такой срок дают на реакцию на изменение информации в реестре.

 

Рекомендации утверждены двумя распоряжениями:

РАСПОРЯЖЕНИЕ ФЕДЕРАЛЬНОЙ СЛУЖБЫ ПО НАДЗОРУ В СФЕРЕ СВЯЗИ, ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И МАССОВЫХ КОММУНИКАЦИЙ от 23 июля 2013 года N 18

РАСПОРЯЖЕНИЕ ФЕДЕРАЛЬНОЙ СЛУЖБЫ ПО НАДЗОРУ В СФЕРЕ СВЯЗИ, ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И МАССОВЫХ КОММУНИКАЦИЙ от 7 октября 2015 года N 11

 

P.S. чтобы уменьшить накал страстей со стороны РКН можно резолвить почаще, раз в час и обязательно непосредственно перед 21:00, потому как именно при наступлении 21:00 кончаются "сутки" в их понимании...

 

И судится все равно придется, т.к. 100% эффективность каждый день обеспечить нереально. Особенно учитывая ляпы в реестре и кривизну некоторых броузеров. Наши проверяют, блин, IE из-под Windows XP.

[alibek]

Наши проверяют, блин, IE из-под Windows XP.

Это хорошо.

Намного хуже был бы Chrome из под Windows 10.

[snik_1900]

Хм.. тут нарыл ища совсем другое такой вот скриптик на GO

 $ go get github.com/majek/goplayground/resolve

 $ mysql -B  -e 'select domain_fixed from domains group by domain_fixed;' zapret |  $GOPATH/bin/resolve -server="127.0.0.1:53"

 

 ....

 Resolved 16352 domains in 170.902s. Average retries 1.321. Domains per second: 95.680

 

 

3 минуты... не 2 дня.

 

 

И как это работает? Вернее как заставить работать под freebsd? GO поставил.

[Tosha]

Для каждого домена надо откапывать перечень NS этого домена (типа через whois) и все их опрашивать!

Потому как ответы могут быть разные.

 

'-server="127.0.0.1:53"' совершенно неправильный метод.

 

Скрипт должен получить перечень NS серверов для каждого домена сам.

[snik_1900]

$ go get github.com/majek/goplayground/resolve

 $ mysql -B  -e 'select domain_fixed from domains group by domain_fixed;' zapret |  $GOPATH/bin/resolve -server="127.0.0.1:53"

 

Спрошу по другому: как заставить работать?

 

строка: go get github.com/majek/goplayground/resolve

выдаёт:

warning: GOPATH set to GOROOT (/usr/local/go) has no effect

package github.com/majek/goplayground/resolve: cannot download, $GOPATH must not be set to $GOROOT. For more details see: go help gopath

./asd.sh: /usr/local/go/bin/resolve: not found

[snvoronkov]

Спрошу по другому: как заставить работать?

 

строка: go get github.com/majek/goplayground/resolve

выдаёт:

warning: GOPATH set to GOROOT (/usr/local/go) has no effect

package github.com/majek/goplayground/resolve: cannot download, $GOPATH must not be set to $GOROOT. For more details see: go help gopath

./asd.sh: /usr/local/go/bin/resolve: not found

В Гугле забанили?

 

http://lmgtfy.com/?q=freebsd+gopath

[st_re]

Для каждого домена надо откапывать перечень NS этого домена (типа через whois) и все их опрашивать!

Потому как ответы могут быть разные.

 

'-server="127.0.0.1:53"' совершенно неправильный метод.

 

Скрипт должен получить перечень NS серверов для каждого домена сам.

 

Эээ... для этого чудного занятия есть анбаунд висящий на 127.0.0.1... а скрипту этим заниматься совсем незачем.

 

$ go get github.com/majek/goplayground/resolve

 $ mysql -B  -e 'select domain_fixed from domains group by domain_fixed;' zapret |  $GOPATH/bin/resolve -server="127.0.0.1:53"

 

Спрошу по другому: как заставить работать?

 

строка: go get github.com/majek/goplayground/resolve

выдаёт:

warning: GOPATH set to GOROOT (/usr/local/go) has no effect

package github.com/majek/goplayground/resolve: cannot download, $GOPATH must not be set to $GOROOT. For more details see: go help gopath

./asd.sh: /usr/local/go/bin/resolve: not found

 

 

перед первой командой написать

export GOROOT=~/GO

(если ругается на экспорт значит шел не тот и тогда

set GOROOT ~/GO

)

[Ansy]

Если уж встаёт в полный рост вопрос локального резолвинга Оператором имен из Реестра в IP-адреса ("сетевые адреса"), которые ежечасно меняются "противником" -- не будет ли тут уже приемлемым подход БЛОКИРОВАНИЯ НАФИНГ ВСЕХ DNS-запросов и перенаправление на СВОИ DNS-серверы, в которых:

1. проблемные домены уже вырезаны подчистую
   
2. собственно редирект идет на "чистые" DNS-сервера, типа "семейных" и "детских" от Яндекс.DNS или там SkyDNS -- кто за этим следит
   
3. и не пошли бы они лесом, втыкая свои локальные гуглоDNS и прочие обходные пути?
   

Изменено 10 мая, 2016 пользователем Ansy