NightElf Опубликовано 23 августа, 2013 · Жалоба Так в районе 30-50 страницы темы есть несколько вариантов парсера. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 23 августа, 2013 · Жалоба Так в районе 30-50 страницы темы есть несколько вариантов парсера. Перепрочитал ) Там парсер для запрет.гов.ру , а мне надо для minjust.ru/ru/extremist-materials Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tawer Опубликовано 23 августа, 2013 · Жалоба а мне надо для minjust.ru/ru/extremist-materials а что вы там хотите пропарсить?.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 23 августа, 2013 · Жалоба а что вы там хотите пропарсить?.. Да хотяб список сайтов получить. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yegorov-p Опубликовано 23 августа, 2013 · Жалоба Даже если не автоматом, какбы этот список распарсеным получить. Чтобы что-то распарсить, нужно чтобы это что-то хотя бы типизированным было. А экстремистский список это полная жесть же =) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 23 августа, 2013 (изменено) · Жалоба Чтобы что-то распарсить, нужно чтобы это что-то хотя бы типизированным было. А экстремистский список это полная жесть же =) Вот я его смотрю и офигеваю ) особо как там некоторые домены прописаны, например, odnoklassniki.m Изменено 23 августа, 2013 пользователем Tem Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Галушко Дмитрий Опубликовано 23 августа, 2013 · Жалоба А вот и реакция ру.хостеров подоспела: 2 сентября 2013 года ЗАО "Регистратор Р01" вносит изменения в п. 5.1 Приложения к Договору об оказании услуг "Правила оказания услуг No Z-1 по виртуальному хостингу". Изменения вводятся с целью повышения уровня контроля над распространением информации, запрещенной законодательством РФ. Теперь Исполнитель будет вправе самостоятельно давать оценку деятельности Заказчика на предмет нарушения законодательства. С новой версией документа вы можете ознакомиться на сайте Регистратора R01: http://help.r01.ru/kb_upload/file/Pravila_Hosting_02-09-2013.pdf И вот ещё интересное инфо http://www.echo.msk.ru/blog/rigan13/1131928-echo/ и документ (спасибо Temich за наводку)руководящее письмо ФСКН России №НА-4877дсп от 15.11.2011 г., в котором в качестве одной из дополнительных мер по противодействию распространению, рекламе и пропаганде наркотиков через сеть Интернет предлагается использовать механизм прекращения делегирования доменного имени для ресурсов, находящихся в доменной зоне .RU и .РФ, предусмотренного Правилами регистрации доменных имен в доменах .RU и .РФ, утвержденными Координационным центром национального домена сети Интернет от 5 октября 2011 г. №2011-18/81. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Negator Опубликовано 23 августа, 2013 · Жалоба Скачал скрипт от yegorov-p Ввел новый адрес реестра. Залил xml и файл с подписью (проверил с компа c виндой- рабочее) Запускаю выдает: # python zapret_checker.py Traceback (most recent call last): File "./zapret_checker.py", line 29, in <module> request=opener.sendRequest(XML_FILE_NAME,P7S_FILE_NAME) File "/usr/home/negator/zapret-info/zapretinfo.py", line 35, in sendRequest result=client.service.sendRequest(xml,sert) File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/client.py", line 542, in __call__ File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/client.py", line 602, in invoke File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/client.py", line 637, in send File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/transport/https.py", line 64, in send File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/transport/http.py", line 77, in send File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/transport/http.py", line 118, in u2open File "/usr/local/lib/python2.6/urllib2.py", line 383, in open response = self._open(req, data) File "/usr/local/lib/python2.6/urllib2.py", line 401, in _open '_open', req) File "/usr/local/lib/python2.6/urllib2.py", line 361, in _call_chain result = func(*args) File "/usr/local/lib/python2.6/urllib2.py", line 1130, in http_open return self.do_open(httplib.HTTPConnection, req) File "/usr/local/lib/python2.6/urllib2.py", line 1105, in do_open raise URLError(err) urllib2.URLError: <urlopen error [Errno 54] Connection reset by peer> Подскажите, что я делаю не так. В питоне полный ноль, совсем. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 23 августа, 2013 · Жалоба Я бы сказал, что они отсюда много чего и узнают ^_^ Сомневаюсь. Это тоже самое что нам пойти сейчас читать форумы по матану, органической химии и ещё хз какие, без фундамента понять о чём речь трудно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
d-e-n-i-s Опубликовано 25 августа, 2013 · Жалоба Прочитал все 112 страниц и чуток запутался, если имеется подписанный request.xml.sign каким скриптом можно забрать список, без использования openssl ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NightElf Опубликовано 26 августа, 2013 (изменено) · Жалоба Прочитал все 112 страниц и чуток запутался, если имеется подписанный request.xml.sign каким скриптом можно забрать список, без использования openssl ? Нужно просто взять любой скрипт для подписи и отправки и убрать оттуда часть про создание/подпись файла, сразу начав с отправки. По сути openssl нужно только для подписи файла из под Linux. Например для скрипта от tawer'a надо выпилить следующее: if ($lddn > $lddts) { mylog("got new LastDumpDate version $lddn, try send request"); open (XMLREQ, ">/gost-ssl/rzs/request.xml"); print XMLREQ "<?xml version=\"1.0\" encoding=\"windows-1251\"?>\n"; print XMLREQ "<request>\n\t<requestTime>$dt</requestTime>\n"; print XMLREQ "\t<operatorName> О Р Г А Н И З А Ц И Я </operatorName>\n"; print XMLREQ "\t<inn> И Н Н </inn>\n\t<ogrn> О Г Р Н </ogrn>\n"; print XMLREQ "\t<email> M A I L </email>\n</request>\n"; close XMLREQ; system ("/gost-ssl/bin/openssl smime -sign -in /gost-ssl/rzs/request.xml -out /gost-ssl/rzs/request.bin". " -signer /gost-ssl/rzs/provider.pem -outform DER -nodetach"); P.S. На ubuntu 12.04 в пятницу всё поднял за час, всё работает, никаких проблем. Изменено 26 августа, 2013 пользователем NightElf Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Negator Опубликовано 26 августа, 2013 · Жалоба Нужно просто взять любой скрипт для подписи и отправки и убрать оттуда часть про создание/подпись файла, сразу начав с отправки. По сути openssl нужно только для подписи файла из под Linux. Это понятно, пробовал уже на 2 скриптах. Что то он отсылает, но результат написан выше. Скрипт от tawer еще не ковырял, но попробую. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MorozOFF Опубликовано 26 августа, 2013 · Жалоба www.rutor.org пошел =) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yegorov-p Опубликовано 26 августа, 2013 · Жалоба Скачал скрипт от yegorov-p Ввел новый адрес реестра. Залил xml и файл с подписью (проверил с компа c виндой- рабочее) Запускаю выдает: # python zapret_checker.py Traceback (most recent call last): File "./zapret_checker.py", line 29, in <module> request=opener.sendRequest(XML_FILE_NAME,P7S_FILE_NAME) File "/usr/home/negator/zapret-info/zapretinfo.py", line 35, in sendRequest result=client.service.sendRequest(xml,sert) File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/client.py", line 542, in __call__ File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/client.py", line 602, in invoke File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/client.py", line 637, in send File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/transport/https.py", line 64, in send File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/transport/http.py", line 77, in send File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/transport/http.py", line 118, in u2open File "/usr/local/lib/python2.6/urllib2.py", line 383, in open response = self._open(req, data) File "/usr/local/lib/python2.6/urllib2.py", line 401, in _open '_open', req) File "/usr/local/lib/python2.6/urllib2.py", line 361, in _call_chain result = func(*args) File "/usr/local/lib/python2.6/urllib2.py", line 1130, in http_open return self.do_open(httplib.HTTPConnection, req) File "/usr/local/lib/python2.6/urllib2.py", line 1105, in do_open raise URLError(err) urllib2.URLError: <urlopen error [Errno 54] Connection reset by peer> Подскажите, что я делаю не так. В питоне полный ноль, совсем. Я бы сказал что в урле опечатались Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 26 августа, 2013 · Жалоба www.rutor.org пошел =) В списках не значится. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Negator Опубликовано 26 августа, 2013 · Жалоба Я бы сказал что в урле опечатались Х, вот он урл wget "http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl" --2013-08-26 13:14:38-- http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl Resolving vigruzki.rkn.gov.ru... 46.61.208.33 Connecting to vigruzki.rkn.gov.ru|46.61.208.33|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 5355 (5.2K) [text/xml] Saving to: `index.html?wsdl.1' 100%[====================================================================================================================>] 5,355 --.-K/s in 0s 2013-08-26 13:14:38 (94.2 MB/s) - `index.html?wsdl.1' saved [5355/5355] При запуске скрипта вижу в tcpdump обмен трафиком, т.е. что то он туда отправляет видимо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pitnah Опубликовано 26 августа, 2013 · Жалоба Роскомнадзор жжет, звонят и просят написать оф письмо о том что блокируем опеншаринг %) Нам звонят с претензией: - Почему не делаете выгрузки? Срочно исправляйтесь! - По 1101-му постановлению оператор должен в течении суток блокировать ресурсы из обновленного реестра. Так мы блокируем, хотите - проверьте. - Ничо не знаем. Делайте выгрузки. Иначе будем привлекать к административной ответственности. Штраф 30 тыр. Так что главное тут не блокировать, а делать выгрузки. Покупать КриптоАРМ, рутокен, сертификат и делать выгрузки. ЗЫ: Как чуйствуют. Прям щаз позвонили. - Роскомнадзор. У нас сейчас была была видеоконференция. В реестр добавлено несколько особо опасных сайтов. Срочно сделайте выгрузку. Если не сегодня, то завтра до 15:00. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
onlime_user Опубликовано 26 августа, 2013 · Жалоба В реестр добавлено несколько особо опасных сайтов. Рутор чтоли? :lol: Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NightElf Опубликовано 26 августа, 2013 · Жалоба Нужно просто взять любой скрипт для подписи и отправки и убрать оттуда часть про создание/подпись файла, сразу начав с отправки. По сути openssl нужно только для подписи файла из под Linux. Это понятно, пробовал уже на 2 скриптах. Что то он отсылает, но результат написан выше. Скрипт от tawer еще не ковырял, но попробую. каюсь, забыл цитату сделать, отвечал d-e-n-i-s'у. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 26 августа, 2013 · Жалоба В реестр добавлено несколько особо опасных сайтов. Рутор чтоли? :lol: Вот он - злобный оскал инмерьялизмы! ;-) (Кроме него ничего не добавляли.) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
d-e-n-i-s Опубликовано 26 августа, 2013 · Жалоба Если подписывать одним и тем же xml файлом с одним и тем же requestTime, Роскомнадзор не возмущается что время всегда одно и то же ?! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fredyk Опубликовано 26 августа, 2013 · Жалоба Если подписывать одним и тем же xml файлом с одним и тем же requestTime, Роскомнадзор не возмущается что время всегда одно и то же ?! Уже больше двух месяцев получаю актуальные списки таким образом))) *Тьфу-тьфу-тьфу Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tosha Опубликовано 26 августа, 2013 · Жалоба www.rutor.org пошел =) В списках не значится. Позвонили из надзора, сказали как можно быстрее отключить... команда из Москвы... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
onlime_user Опубликовано 26 августа, 2013 (изменено) · Жалоба http://rutor.org/torrent/174562/beremennyi-2011-ot-hqclub-licenziya О господи, "особо опасный сайт", "команда из Москвы". Они окончательно е*нулись. Изменено 26 августа, 2013 пользователем onlime_user Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 26 августа, 2013 (изменено) · Жалоба Уже больше двух месяцев получаю актуальные списки таким образом))) *Тьфу-тьфу-тьфу Можете расслабиться. Я в ноябре 2012 последний раз запрос подписывал. Что, вобщем-то, и логично - эл.подпись должна лежать у руководителя в сейфе а не на сервере. Изменено 26 августа, 2013 пользователем snvoronkov Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...