Jump to content
Калькуляторы

Фильтрация интернет-контента Делимся опытом

Доброго времени суток, уважаемые.

 

Являясь сотрудником небольшого регионального интернет-провайдера, я столкнулся с такой проблемой, как фильтрация контента ресурсов, так или иначе связанных с экстремизмом, порнографией, наркотиками и тд. Все знают, что есть такой список http://www.minjust.ru/nko/fedspisok, содержащий помимо всего прочего и адреса и url различного контента, признанного экстремистским.

Ну со списком и адресами все понятно. Рубить на корню на пограничниках. А вот как поступать с плавающим контентом (отдельная статья, картинки, видео-ролик и тд)?

 

Друзья, давайте делиться опытом, кто как фильтрует контент? Как вы организовываете т.н. "детский интернет"? Как блокируете ресурсы, содержащие пропаганду наркотиков и тд (ФСКН вкупе с прокуратурой наверное уже всех "просят" сотрудничать и закрывать определенные ресурсы и материалы). Насколько дешевое/дорогое решение?

 

Сам я в этом не сильно подкован. Думаю воткнуть в схему построения сети куда-нибудь парочку промежуточных шлюзов с кеширующим прокси вкупе с какой-нибудь резалкой от Касперского или Dr.Web.

Интересуют подводные камни, горький опыт да и вообще ваше мнение.

Edited by rainbo

Share this post


Link to post
Share on other sites

Считаю, что берёте на себя несвойственную для вашей деятельности функцию.

Фильтруют контент пусть клиентские антивирусы/фаерволы.

Ваша задача пропускать трафик.

Share this post


Link to post
Share on other sites

И всетаки, существуют же услуги вроде "детского интернета" от мегафона. Руководство не исключает возможности создания такой услуги и у нас. Интересует принцип реализации.

Да и иски и предписания с прокуратуры приходят.

Edited by rainbo

Share this post


Link to post
Share on other sites

Сие невозможно в принципе, если говорить о 100% фильтрации.

Если же 100% обеспечить не удасться, лучше (для вас же) вообще отказаться от такой затеи, либо честно объявить, что фильтроваться будут только некоторые ресурсы, да и те не всегда.

Edited by andryas

Share this post


Link to post
Share on other sites

Я бы сделал так

1. Запретить все по умолчанию.

2.Сделать в личном кабинете для родителей настраиваемый файрволл, дабы родители сами могли разрешать нужные сайты для их чада.

Ну и пару готовых профилей - дабы образец был на виду -

типа - яндекс= можно, сайт школы можно, все остальное нельзя.

Share this post


Link to post
Share on other sites

Все знают, что есть такой список http://www.minjust.ru/nko/fedspisok, содержащий помимо всего прочего и адреса и url различного контента, признанного экстремистским.

 

это ж где ж вы там адреса нашли????

Share this post


Link to post
Share on other sites

Я как то высказывался в том ключе - что воспитывать детей надо лучше, а не на ерунду (фильтрацию) усилия тратить.

Плохо воспитанный человек и без Интернет нахватается на улице (да и в школе) всякого, причем, в натуре, а не виртуально.

Share this post


Link to post
Share on other sites

WCCP + кастомный самописный модуль сквида (Domain wildcards, URL wildcards, networks, content search, content replace). Все рулится из MySQL с кастомизацией per user и планировщиком режимов. Производительность на 3-5% где-то медленнее сквида без вышеуказанного.

Edited by dignity

Share this post


Link to post
Share on other sites

Рассчитывать, что провайдер заменит папку-мамку - наивно и глупо.

Share this post


Link to post
Share on other sites

Блокировать fedspisok - не нужно, даже в самых дремучих регионах органы не требуют этого, могут разве что попросить заблочить определенный ресурс. Этот список публично опубликован только по формальным юридическим мотивам - чтобы можно было ссылаться на него при заведении уголовного дела и ведении суда над всякими типа экстремистами. Я думаю, что даже самые деревянные правоохранители понимают, что эффект от опубликования этого списка будет обратным от заявленной цели(ограничение распространения экстремистсткого контента) - "запретный" список по сути стал рекламным проспектом, любой желающий быстро найдет в интернете любой из указанных материалов.

 

По поводу "родительского контроля" другой вопрос. Вдаваться в моральную сторону вопроса не буду(я тоже считаю, что данной услуге больше идет название "родительский самообман"), скажу по технической части. Фильтровать по ip в таких случаях малоэффективно, нужно использовать механизмы DPI и т.п. Я бы перенаправлял весь веб-трафик абонентов этой услуги в специальное "чистилище" в виде software proxy типа squid или через какое-нибудь апаратное решение. Как-то давно тестил Juniper SRX с лицензией web-control(или как-то так, не помню точно как она называется), там можно задавать профиль трафика. Я испытывал запрет сайтов поиска работы(есть и такой профиль), так вот сайты с job offer начали открываться только со страницы десятой выдачи google. Так что если действительно интересно можете погуглить про Juniper SRX.

Edited by agr

Share this post


Link to post
Share on other sites

Блокировать fedspisok - не нужно, даже в самых дремучих регионах органы не требуют этого, могут разве что попросить заблочить определенный ресурс. Этот список публично опубликован только по формальным юридическим мотивам - чтобы можно было ссылаться на него при заведении уголовного дела и ведении суда над всякими типа экстремистами. Я думаю, что даже самые деревянные правоохранители понимают, что эффект от опубликования этого списка будет обратным от заявленной цели(ограничение распространения экстремистсткого контента) - "запретный" список по сути стал рекламным проспектом, любой желающий быстро найдет в интернете любой из указанных материалов.

 

По поводу "родительского контроля" другой вопрос. Вдаваться в моральную сторону вопроса не буду(я тоже считаю, что данной услуге больше идет название "родительский самообман"), скажу по технической части. Фильтровать по ip в таких случаях малоэффективно, нужно использовать механизмы DPI и т.п. Я бы перенаправлял весь веб-трафик абонентов этой услуги в специальное "чистилище" в виде software proxy типа squid или через какое-нибудь апаратное решение. Как-то давно тестил Juniper SRX с лицензией web-control(или как-то так, не помню точно как она называется), там можно задавать профиль трафика. Я испытывал запрет сайтов поиска работы(есть и такой профиль), так вот сайты с job offer начали открываться только со страницы десятой выдачи google. Так что если действительно интересно можете погуглить про Juniper SRX.

 

Я думаю, что SRX - не вариант. Разве что их топовые модели. Цены сравнимы с Cisco SCE... А вообще вопрос - актуальный, т.к. очень часто приходят письма от ФСБ о том что бы заблокировать тот или инфо ресурс...

 

Можно конечно припарками на DNS - разрулить кое-что. Но это не решение. DPI для трафика 10-50 Гбит - это очень дорого... Так что вопрос открытый.

Share this post


Link to post
Share on other sites

Если придет бумага от Роскомнадзора,

то придется блокировать.

Тут только по IP адресу.

Других вариантов нет.

Share this post


Link to post
Share on other sites

Если список федеральный, то провайдеры которые используются в качестве upstream'ов то же обязаны это блокировать, а следовательно региональным провайдерам вообще делать не чего не надо.

Share this post


Link to post
Share on other sites

Смотря какой бюджет.

Решения разные могут быть: Astaro, Panda, Dr.Web, Ideco.

Или squid, mysql, clamav, etc.

Share this post


Link to post
Share on other sites

никоим образом не замешан с ними но вот этот сайт я думаю Вам поможет.

skydns.ru

Share this post


Link to post
Share on other sites

Cisco SCE умеет URL-ы блочить, но, как тут уже говорили:

' timestamp='1329306965' post=687639]Смотря какой бюджет.

Share this post


Link to post
Share on other sites

Родительский контроль реализуется перенаправлением пользовательских днс-запросов на свой, специально выделенный для этого, днс-сервер, где все неугодные записи удаляются/подменяются.

Share this post


Link to post
Share on other sites

После прокурорской проверки и обращении директоров школ по закрытию контента, сказал

что не царское это дело, если ученику незя, а учительнице хочется, то индивидуально ручками.

Все по своему это дело разгребли и тему закрыли. Даже не вникал. На хрена чужое горе.

Share this post


Link to post
Share on other sites

icensor.ru то же поможет. А так - можете ждать повестки от суда по поданному на вас (как на прова) заявления от прокурора. И будет там написано что вы должны заблокировать на пограничном маршрутизаторе тот или инной айпи адрес, на что мы предложили судье сделать блок на dns и нас услышали. Так что.....

Share this post


Link to post
Share on other sites

Забавные такие потуги популяризации TOR Project

Share this post


Link to post
Share on other sites
Родительский контроль реализуется перенаправлением пользовательских днс-запросов на свой, специально выделенный для этого, днс-сервер, где все неугодные записи удаляются/подменяются.

От совсем маленьких поможет, если из дома не выпускать :)

Share this post


Link to post
Share on other sites

А так - можете ждать повестки от суда по поданному на вас (как на прова) заявления от прокурора. И будет там написано что вы должны заблокировать на пограничном маршрутизаторе тот или инной айпи адрес, на что мы предложили судье сделать блок на dns и нас услышали. Так что.....

 

Государство действительно сейчас все более пристальный интерес обращает к этой теме.

 

Я уже писал на НАГе про наше решение по фильтрации для провайдеров (SkyDNS) - сейчас стали приходить обращения не только от операторов, которые хотят ввести услугу по фильтрации исходя из соображений маркетинга, но и по "нужде" (рекомендательные письма из Министерства, запросы прокуратуры, и так далее).

 

Так что мы сейчас обращаем на эту проблему дополнительное внимание, и подключение нашего решения может работать как оперативная и серьезная таблетка против претензий.

Share this post


Link to post
Share on other sites

Москва не ждет, Москва трудится.

Никому не известная конторка нетполис, покрывает весь департамент образования. Фильтруют и пилят, пилят и фильтруют.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this