Перейти к содержимому
Калькуляторы

Фильтрация интернет-контента Делимся опытом

Доброго времени суток, уважаемые.

 

Являясь сотрудником небольшого регионального интернет-провайдера, я столкнулся с такой проблемой, как фильтрация контента ресурсов, так или иначе связанных с экстремизмом, порнографией, наркотиками и тд. Все знают, что есть такой список http://www.minjust.ru/nko/fedspisok, содержащий помимо всего прочего и адреса и url различного контента, признанного экстремистским.

Ну со списком и адресами все понятно. Рубить на корню на пограничниках. А вот как поступать с плавающим контентом (отдельная статья, картинки, видео-ролик и тд)?

 

Друзья, давайте делиться опытом, кто как фильтрует контент? Как вы организовываете т.н. "детский интернет"? Как блокируете ресурсы, содержащие пропаганду наркотиков и тд (ФСКН вкупе с прокуратурой наверное уже всех "просят" сотрудничать и закрывать определенные ресурсы и материалы). Насколько дешевое/дорогое решение?

 

Сам я в этом не сильно подкован. Думаю воткнуть в схему построения сети куда-нибудь парочку промежуточных шлюзов с кеширующим прокси вкупе с какой-нибудь резалкой от Касперского или Dr.Web.

Интересуют подводные камни, горький опыт да и вообще ваше мнение.

Изменено пользователем rainbo

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Считаю, что берёте на себя несвойственную для вашей деятельности функцию.

Фильтруют контент пусть клиентские антивирусы/фаерволы.

Ваша задача пропускать трафик.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

И всетаки, существуют же услуги вроде "детского интернета" от мегафона. Руководство не исключает возможности создания такой услуги и у нас. Интересует принцип реализации.

Да и иски и предписания с прокуратуры приходят.

Изменено пользователем rainbo

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Сие невозможно в принципе, если говорить о 100% фильтрации.

Если же 100% обеспечить не удасться, лучше (для вас же) вообще отказаться от такой затеи, либо честно объявить, что фильтроваться будут только некоторые ресурсы, да и те не всегда.

Изменено пользователем andryas

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я бы сделал так

1. Запретить все по умолчанию.

2.Сделать в личном кабинете для родителей настраиваемый файрволл, дабы родители сами могли разрешать нужные сайты для их чада.

Ну и пару готовых профилей - дабы образец был на виду -

типа - яндекс= можно, сайт школы можно, все остальное нельзя.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Все знают, что есть такой список http://www.minjust.ru/nko/fedspisok, содержащий помимо всего прочего и адреса и url различного контента, признанного экстремистским.

 

это ж где ж вы там адреса нашли????

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я как то высказывался в том ключе - что воспитывать детей надо лучше, а не на ерунду (фильтрацию) усилия тратить.

Плохо воспитанный человек и без Интернет нахватается на улице (да и в школе) всякого, причем, в натуре, а не виртуально.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

WCCP + кастомный самописный модуль сквида (Domain wildcards, URL wildcards, networks, content search, content replace). Все рулится из MySQL с кастомизацией per user и планировщиком режимов. Производительность на 3-5% где-то медленнее сквида без вышеуказанного.

Изменено пользователем dignity

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Рассчитывать, что провайдер заменит папку-мамку - наивно и глупо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Блокировать fedspisok - не нужно, даже в самых дремучих регионах органы не требуют этого, могут разве что попросить заблочить определенный ресурс. Этот список публично опубликован только по формальным юридическим мотивам - чтобы можно было ссылаться на него при заведении уголовного дела и ведении суда над всякими типа экстремистами. Я думаю, что даже самые деревянные правоохранители понимают, что эффект от опубликования этого списка будет обратным от заявленной цели(ограничение распространения экстремистсткого контента) - "запретный" список по сути стал рекламным проспектом, любой желающий быстро найдет в интернете любой из указанных материалов.

 

По поводу "родительского контроля" другой вопрос. Вдаваться в моральную сторону вопроса не буду(я тоже считаю, что данной услуге больше идет название "родительский самообман"), скажу по технической части. Фильтровать по ip в таких случаях малоэффективно, нужно использовать механизмы DPI и т.п. Я бы перенаправлял весь веб-трафик абонентов этой услуги в специальное "чистилище" в виде software proxy типа squid или через какое-нибудь апаратное решение. Как-то давно тестил Juniper SRX с лицензией web-control(или как-то так, не помню точно как она называется), там можно задавать профиль трафика. Я испытывал запрет сайтов поиска работы(есть и такой профиль), так вот сайты с job offer начали открываться только со страницы десятой выдачи google. Так что если действительно интересно можете погуглить про Juniper SRX.

Изменено пользователем agr

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Блокировать fedspisok - не нужно, даже в самых дремучих регионах органы не требуют этого, могут разве что попросить заблочить определенный ресурс. Этот список публично опубликован только по формальным юридическим мотивам - чтобы можно было ссылаться на него при заведении уголовного дела и ведении суда над всякими типа экстремистами. Я думаю, что даже самые деревянные правоохранители понимают, что эффект от опубликования этого списка будет обратным от заявленной цели(ограничение распространения экстремистсткого контента) - "запретный" список по сути стал рекламным проспектом, любой желающий быстро найдет в интернете любой из указанных материалов.

 

По поводу "родительского контроля" другой вопрос. Вдаваться в моральную сторону вопроса не буду(я тоже считаю, что данной услуге больше идет название "родительский самообман"), скажу по технической части. Фильтровать по ip в таких случаях малоэффективно, нужно использовать механизмы DPI и т.п. Я бы перенаправлял весь веб-трафик абонентов этой услуги в специальное "чистилище" в виде software proxy типа squid или через какое-нибудь апаратное решение. Как-то давно тестил Juniper SRX с лицензией web-control(или как-то так, не помню точно как она называется), там можно задавать профиль трафика. Я испытывал запрет сайтов поиска работы(есть и такой профиль), так вот сайты с job offer начали открываться только со страницы десятой выдачи google. Так что если действительно интересно можете погуглить про Juniper SRX.

 

Я думаю, что SRX - не вариант. Разве что их топовые модели. Цены сравнимы с Cisco SCE... А вообще вопрос - актуальный, т.к. очень часто приходят письма от ФСБ о том что бы заблокировать тот или инфо ресурс...

 

Можно конечно припарками на DNS - разрулить кое-что. Но это не решение. DPI для трафика 10-50 Гбит - это очень дорого... Так что вопрос открытый.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если придет бумага от Роскомнадзора,

то придется блокировать.

Тут только по IP адресу.

Других вариантов нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если список федеральный, то провайдеры которые используются в качестве upstream'ов то же обязаны это блокировать, а следовательно региональным провайдерам вообще делать не чего не надо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Смотря какой бюджет.

Решения разные могут быть: Astaro, Panda, Dr.Web, Ideco.

Или squid, mysql, clamav, etc.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

никоим образом не замешан с ними но вот этот сайт я думаю Вам поможет.

skydns.ru

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

PureSite предлагают свое решение. Продается как VAS от провайдера.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Cisco SCE умеет URL-ы блочить, но, как тут уже говорили:

' timestamp='1329306965' post=687639]Смотря какой бюджет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Родительский контроль реализуется перенаправлением пользовательских днс-запросов на свой, специально выделенный для этого, днс-сервер, где все неугодные записи удаляются/подменяются.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

После прокурорской проверки и обращении директоров школ по закрытию контента, сказал

что не царское это дело, если ученику незя, а учительнице хочется, то индивидуально ручками.

Все по своему это дело разгребли и тему закрыли. Даже не вникал. На хрена чужое горе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

icensor.ru то же поможет. А так - можете ждать повестки от суда по поданному на вас (как на прова) заявления от прокурора. И будет там написано что вы должны заблокировать на пограничном маршрутизаторе тот или инной айпи адрес, на что мы предложили судье сделать блок на dns и нас услышали. Так что.....

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Забавные такие потуги популяризации TOR Project

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Родительский контроль реализуется перенаправлением пользовательских днс-запросов на свой, специально выделенный для этого, днс-сервер, где все неугодные записи удаляются/подменяются.

От совсем маленьких поможет, если из дома не выпускать :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А так - можете ждать повестки от суда по поданному на вас (как на прова) заявления от прокурора. И будет там написано что вы должны заблокировать на пограничном маршрутизаторе тот или инной айпи адрес, на что мы предложили судье сделать блок на dns и нас услышали. Так что.....

 

Государство действительно сейчас все более пристальный интерес обращает к этой теме.

 

Я уже писал на НАГе про наше решение по фильтрации для провайдеров (SkyDNS) - сейчас стали приходить обращения не только от операторов, которые хотят ввести услугу по фильтрации исходя из соображений маркетинга, но и по "нужде" (рекомендательные письма из Министерства, запросы прокуратуры, и так далее).

 

Так что мы сейчас обращаем на эту проблему дополнительное внимание, и подключение нашего решения может работать как оперативная и серьезная таблетка против претензий.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Москва не ждет, Москва трудится.

Никому не известная конторка нетполис, покрывает весь департамент образования. Фильтруют и пилят, пилят и фильтруют.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.