Фильтрация интернет-контента

[rainbo]

Доброго времени суток, уважаемые.

 

Являясь сотрудником небольшого регионального интернет-провайдера, я столкнулся с такой проблемой, как фильтрация контента ресурсов, так или иначе связанных с экстремизмом, порнографией, наркотиками и тд. Все знают, что есть такой список http://www.minjust.ru/nko/fedspisok, содержащий помимо всего прочего и адреса и url различного контента, признанного экстремистским.

Ну со списком и адресами все понятно. Рубить на корню на пограничниках. А вот как поступать с плавающим контентом (отдельная статья, картинки, видео-ролик и тд)?

 

Друзья, давайте делиться опытом, кто как фильтрует контент? Как вы организовываете т.н. "детский интернет"? Как блокируете ресурсы, содержащие пропаганду наркотиков и тд (ФСКН вкупе с прокуратурой наверное уже всех "просят" сотрудничать и закрывать определенные ресурсы и материалы). Насколько дешевое/дорогое решение?

 

Сам я в этом не сильно подкован. Думаю воткнуть в схему построения сети куда-нибудь парочку промежуточных шлюзов с кеширующим прокси вкупе с какой-нибудь резалкой от Касперского или Dr.Web.

Интересуют подводные камни, горький опыт да и вообще ваше мнение.

Edited February 14, 2012 by rainbo

[disappointed]

Считаю, что берёте на себя несвойственную для вашей деятельности функцию.

Фильтруют контент пусть клиентские антивирусы/фаерволы.

Ваша задача пропускать трафик.

[rainbo]

И всетаки, существуют же услуги вроде "детского интернета" от мегафона. Руководство не исключает возможности создания такой услуги и у нас. Интересует принцип реализации.

Да и иски и предписания с прокуратуры приходят.

Edited February 14, 2012 by rainbo

[andryas]

Сие невозможно в принципе, если говорить о 100% фильтрации.

Если же 100% обеспечить не удасться, лучше (для вас же) вообще отказаться от такой затеи, либо честно объявить, что фильтроваться будут только некоторые ресурсы, да и те не всегда.

Edited February 14, 2012 by andryas

[Negator]

Я бы сделал так

1. Запретить все по умолчанию.

2.Сделать в личном кабинете для родителей настраиваемый файрволл, дабы родители сами могли разрешать нужные сайты для их чада.

Ну и пару готовых профилей - дабы образец был на виду -

типа - яндекс= можно, сайт школы можно, все остальное нельзя.

[Дятел]

Все знают, что есть такой список http://www.minjust.ru/nko/fedspisok, содержащий помимо всего прочего и адреса и url различного контента, признанного экстремистским.

 

это ж где ж вы там адреса нашли????

[Tosha]

Я как то высказывался в том ключе - что воспитывать детей надо лучше, а не на ерунду (фильтрацию) усилия тратить.

Плохо воспитанный человек и без Интернет нахватается на улице (да и в школе) всякого, причем, в натуре, а не виртуально.

[dignity]

WCCP + кастомный самописный модуль сквида (Domain wildcards, URL wildcards, networks, content search, content replace). Все рулится из MySQL с кастомизацией per user и планировщиком режимов. Производительность на 3-5% где-то медленнее сквида без вышеуказанного.

Edited February 14, 2012 by dignity

[vIv]

Рассчитывать, что провайдер заменит папку-мамку - наивно и глупо.

[agr]

Блокировать fedspisok - не нужно, даже в самых дремучих регионах органы не требуют этого, могут разве что попросить заблочить определенный ресурс. Этот список публично опубликован только по формальным юридическим мотивам - чтобы можно было ссылаться на него при заведении уголовного дела и ведении суда над всякими типа экстремистами. Я думаю, что даже самые деревянные правоохранители понимают, что эффект от опубликования этого списка будет обратным от заявленной цели(ограничение распространения экстремистсткого контента) - "запретный" список по сути стал рекламным проспектом, любой желающий быстро найдет в интернете любой из указанных материалов.

 

По поводу "родительского контроля" другой вопрос. Вдаваться в моральную сторону вопроса не буду(я тоже считаю, что данной услуге больше идет название "родительский самообман"), скажу по технической части. Фильтровать по ip в таких случаях малоэффективно, нужно использовать механизмы DPI и т.п. Я бы перенаправлял весь веб-трафик абонентов этой услуги в специальное "чистилище" в виде software proxy типа squid или через какое-нибудь апаратное решение. Как-то давно тестил Juniper SRX с лицензией web-control(или как-то так, не помню точно как она называется), там можно задавать профиль трафика. Я испытывал запрет сайтов поиска работы(есть и такой профиль), так вот сайты с job offer начали открываться только со страницы десятой выдачи google. Так что если действительно интересно можете погуглить про Juniper SRX.

Edited February 14, 2012 by agr

[bda]

Блокировать fedspisok - не нужно, даже в самых дремучих регионах органы не требуют этого, могут разве что попросить заблочить определенный ресурс. Этот список публично опубликован только по формальным юридическим мотивам - чтобы можно было ссылаться на него при заведении уголовного дела и ведении суда над всякими типа экстремистами. Я думаю, что даже самые деревянные правоохранители понимают, что эффект от опубликования этого списка будет обратным от заявленной цели(ограничение распространения экстремистсткого контента) - "запретный" список по сути стал рекламным проспектом, любой желающий быстро найдет в интернете любой из указанных материалов.

 

По поводу "родительского контроля" другой вопрос. Вдаваться в моральную сторону вопроса не буду(я тоже считаю, что данной услуге больше идет название "родительский самообман"), скажу по технической части. Фильтровать по ip в таких случаях малоэффективно, нужно использовать механизмы DPI и т.п. Я бы перенаправлял весь веб-трафик абонентов этой услуги в специальное "чистилище" в виде software proxy типа squid или через какое-нибудь апаратное решение. Как-то давно тестил Juniper SRX с лицензией web-control(или как-то так, не помню точно как она называется), там можно задавать профиль трафика. Я испытывал запрет сайтов поиска работы(есть и такой профиль), так вот сайты с job offer начали открываться только со страницы десятой выдачи google. Так что если действительно интересно можете погуглить про Juniper SRX.

 

Я думаю, что SRX - не вариант. Разве что их топовые модели. Цены сравнимы с Cisco SCE... А вообще вопрос - актуальный, т.к. очень часто приходят письма от ФСБ о том что бы заблокировать тот или инфо ресурс...

 

Можно конечно припарками на DNS - разрулить кое-что. Но это не решение. DPI для трафика 10-50 Гбит - это очень дорого... Так что вопрос открытый.

[ivb1232]

Если придет бумага от Роскомнадзора,

то придется блокировать.

Тут только по IP адресу.

Других вариантов нет.

[nickD]

Если список федеральный, то провайдеры которые используются в качестве upstream'ов то же обязаны это блокировать, а следовательно региональным провайдерам вообще делать не чего не надо.

[[S]]

Смотря какой бюджет.

Решения разные могут быть: Astaro, Panda, Dr.Web, Ideco.

Или squid, mysql, clamav, etc.

[arajaxa]

никоим образом не замешан с ними но вот этот сайт я думаю Вам поможет.

skydns.ru

[-Ars-]

PureSite предлагают свое решение. Продается как VAS от провайдера.

[snark]

Cisco SCE умеет URL-ы блочить, но, как тут уже говорили:

' timestamp='1329306965' post=687639]Смотря какой бюджет.

[bye]

Родительский контроль реализуется перенаправлением пользовательских днс-запросов на свой, специально выделенный для этого, днс-сервер, где все неугодные записи удаляются/подменяются.

[sokrat]

После прокурорской проверки и обращении директоров школ по закрытию контента, сказал

что не царское это дело, если ученику незя, а учительнице хочется, то индивидуально ручками.

Все по своему это дело разгребли и тему закрыли. Даже не вникал. На хрена чужое горе.

[biox]

icensor.ru то же поможет. А так - можете ждать повестки от суда по поданному на вас (как на прова) заявления от прокурора. И будет там написано что вы должны заблокировать на пограничном маршрутизаторе тот или инной айпи адрес, на что мы предложили судье сделать блок на dns и нас услышали. Так что.....

[vIv]

Забавные такие потуги популяризации TOR Project

[Ivan_83]

Родительский контроль реализуется перенаправлением пользовательских днс-запросов на свой, специально выделенный для этого, днс-сервер, где все неугодные записи удаляются/подменяются.

От совсем маленьких поможет, если из дома не выпускать :)

[TSAR]

А так - можете ждать повестки от суда по поданному на вас (как на прова) заявления от прокурора. И будет там написано что вы должны заблокировать на пограничном маршрутизаторе тот или инной айпи адрес, на что мы предложили судье сделать блок на dns и нас услышали. Так что.....

 

Государство действительно сейчас все более пристальный интерес обращает к этой теме.

 

Я уже писал на НАГе про наше решение по фильтрации для провайдеров (SkyDNS) - сейчас стали приходить обращения не только от операторов, которые хотят ввести услугу по фильтрации исходя из соображений маркетинга, но и по "нужде" (рекомендательные письма из Министерства, запросы прокуратуры, и так далее).

 

Так что мы сейчас обращаем на эту проблему дополнительное внимание, и подключение нашего решения может работать как оперативная и серьезная таблетка против претензий.

[VladimirAd]

Москва не ждет, Москва трудится.

Никому не известная конторка нетполис, покрывает весь департамент образования. Фильтруют и пилят, пилят и фильтруют.