[NightElf]

Так в районе 30-50 страницы темы есть несколько вариантов парсера.

[Tem]

Так в районе 30-50 страницы темы есть несколько вариантов парсера.

Перепрочитал ) Там парсер для запрет.гов.ру , а мне надо для minjust.ru/ru/extremist-materials

[tawer]

а мне надо для minjust.ru/ru/extremist-materials

а что вы там хотите пропарсить?..

[Tem]

а что вы там хотите пропарсить?..

Да хотяб список сайтов получить.

[yegorov-p]

Даже если не автоматом, какбы этот список распарсеным получить.

Чтобы что-то распарсить, нужно чтобы это что-то хотя бы типизированным было. А экстремистский список это полная жесть же =)

[Tem]

Чтобы что-то распарсить, нужно чтобы это что-то хотя бы типизированным было. А экстремистский список это полная жесть же =)

Вот я его смотрю и офигеваю ) особо как там некоторые домены прописаны, например, odnoklassniki.m

Изменено 23 августа, 2013 пользователем Tem

[Галушко Дмитрий]

А вот и реакция ру.хостеров подоспела:

2 сентября 2013 года ЗАО "Регистратор Р01" вносит изменения в п. 5.1

Приложения к Договору об оказании услуг "Правила оказания услуг

No Z-1 по виртуальному хостингу".

Изменения вводятся с целью повышения уровня контроля над

распространением информации, запрещенной законодательством РФ.

 

Теперь Исполнитель будет вправе самостоятельно давать оценку

деятельности Заказчика на предмет нарушения законодательства.

 

С новой версией документа вы можете ознакомиться на сайте

Регистратора R01:

http://help.r01.ru/kb_upload/file/Pravila_Hosting_02-09-2013.pdf

И вот ещё интересное инфо http://www.echo.msk.ru/blog/rigan13/1131928-echo/

и документ

(спасибо Temich за наводку)

руководящее письмо ФСКН России №НА-4877дсп от 15.11.2011 г., в котором в качестве одной из дополнительных мер по противодействию распространению, рекламе и пропаганде наркотиков через сеть Интернет предлагается использовать механизм прекращения делегирования доменного имени для ресурсов, находящихся в доменной зоне .RU и .РФ, предусмотренного Правилами регистрации доменных имен в доменах .RU и .РФ, утвержденными Координационным центром национального домена сети Интернет от 5 октября 2011 г. №2011-18/81.

[Negator]

Скачал скрипт от yegorov-p

Ввел новый адрес реестра.

Залил xml и файл с подписью (проверил с компа c виндой- рабочее)

 

Запускаю

выдает:

# python zapret_checker.py
Traceback (most recent call last):
 File "./zapret_checker.py", line 29, in <module>
   request=opener.sendRequest(XML_FILE_NAME,P7S_FILE_NAME)
 File "/usr/home/negator/zapret-info/zapretinfo.py", line 35, in sendRequest
   result=client.service.sendRequest(xml,sert)
 File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/client.py", line 542, in __call__
 File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/client.py", line 602, in invoke
 File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/client.py", line 637, in send
 File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/transport/https.py", line 64, in send
 File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/transport/http.py", line 77, in send
 File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/transport/http.py", line 118, in u2open
 File "/usr/local/lib/python2.6/urllib2.py", line 383, in open
   response = self._open(req, data)
 File "/usr/local/lib/python2.6/urllib2.py", line 401, in _open
   '_open', req)
 File "/usr/local/lib/python2.6/urllib2.py", line 361, in _call_chain
   result = func(*args)
 File "/usr/local/lib/python2.6/urllib2.py", line 1130, in http_open
   return self.do_open(httplib.HTTPConnection, req)
 File "/usr/local/lib/python2.6/urllib2.py", line 1105, in do_open
   raise URLError(err)
urllib2.URLError: <urlopen error [Errno 54] Connection reset by peer>

Подскажите, что я делаю не так.

 

В питоне полный ноль, совсем.

[Ivan_83]

Я бы сказал, что они отсюда много чего и узнают ^_^

Сомневаюсь.

Это тоже самое что нам пойти сейчас читать форумы по матану, органической химии и ещё хз какие, без фундамента понять о чём речь трудно.

[d-e-n-i-s]

Прочитал все 112 страниц и чуток запутался, если имеется подписанный request.xml.sign каким скриптом можно забрать список, без использования openssl ?

[NightElf]

Прочитал все 112 страниц и чуток запутался, если имеется подписанный request.xml.sign каким скриптом можно забрать список, без использования openssl ?

Нужно просто взять любой скрипт для подписи и отправки и убрать оттуда часть про создание/подпись файла, сразу начав с отправки. По сути openssl нужно только для подписи файла из под Linux.

 

Например для скрипта от tawer'a надо выпилить следующее:

if ($lddn > $lddts) {
       mylog("got new LastDumpDate version $lddn, try send request");
       open (XMLREQ, ">/gost-ssl/rzs/request.xml");
       print XMLREQ "<?xml version=\"1.0\" encoding=\"windows-1251\"?>\n";
       print XMLREQ "<request>\n\t<requestTime>$dt</requestTime>\n";
       print XMLREQ "\t<operatorName> О Р Г А Н И З А Ц И Я </operatorName>\n";
       print XMLREQ "\t<inn> И Н Н </inn>\n\t<ogrn> О Г Р Н </ogrn>\n";
       print XMLREQ "\t<email> M A I L </email>\n</request>\n";
       close XMLREQ;

system ("/gost-ssl/bin/openssl smime -sign -in /gost-ssl/rzs/request.xml -out /gost-ssl/rzs/request.bin".
           " -signer /gost-ssl/rzs/provider.pem -outform DER -nodetach");

 

P.S. На ubuntu 12.04 в пятницу всё поднял за час, всё работает, никаких проблем.

Изменено 26 августа, 2013 пользователем NightElf

[Negator]

Нужно просто взять любой скрипт для подписи и отправки и убрать оттуда часть про создание/подпись файла, сразу начав с отправки. По сути openssl нужно только для подписи файла из под Linux.

Это понятно, пробовал уже на 2 скриптах.

Что то он отсылает, но результат написан выше.

Скрипт от tawer еще не ковырял, но попробую.

[MorozOFF]

www.rutor.org пошел =)

[yegorov-p]

Скачал скрипт от yegorov-p

Ввел новый адрес реестра.

Залил xml и файл с подписью (проверил с компа c виндой- рабочее)

 

Запускаю

выдает:

# python zapret_checker.py
Traceback (most recent call last):
 File "./zapret_checker.py", line 29, in <module>
   request=opener.sendRequest(XML_FILE_NAME,P7S_FILE_NAME)
 File "/usr/home/negator/zapret-info/zapretinfo.py", line 35, in sendRequest
   result=client.service.sendRequest(xml,sert)
 File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/client.py", line 542, in __call__
 File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/client.py", line 602, in invoke
 File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/client.py", line 637, in send
 File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/transport/https.py", line 64, in send
 File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/transport/http.py", line 77, in send
 File "build/bdist.freebsd-7.2-RELEASE-i386/egg/suds/transport/http.py", line 118, in u2open
 File "/usr/local/lib/python2.6/urllib2.py", line 383, in open
   response = self._open(req, data)
 File "/usr/local/lib/python2.6/urllib2.py", line 401, in _open
   '_open', req)
 File "/usr/local/lib/python2.6/urllib2.py", line 361, in _call_chain
   result = func(*args)
 File "/usr/local/lib/python2.6/urllib2.py", line 1130, in http_open
   return self.do_open(httplib.HTTPConnection, req)
 File "/usr/local/lib/python2.6/urllib2.py", line 1105, in do_open
   raise URLError(err)
urllib2.URLError: <urlopen error [Errno 54] Connection reset by peer>

Подскажите, что я делаю не так.

 

В питоне полный ноль, совсем.

Я бы сказал что в урле опечатались

[Tem]

www.rutor.org пошел =)

В списках не значится.

[Negator]

Я бы сказал что в урле опечатались

 

Х, вот он урл

 wget "http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl"
--2013-08-26 13:14:38--  http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl
Resolving vigruzki.rkn.gov.ru... 46.61.208.33
Connecting to vigruzki.rkn.gov.ru|46.61.208.33|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 5355 (5.2K) [text/xml]
Saving to: `index.html?wsdl.1'

100%[====================================================================================================================>] 5,355       --.-K/s   in 0s

2013-08-26 13:14:38 (94.2 MB/s) - `index.html?wsdl.1' saved [5355/5355]

 

При запуске скрипта вижу в tcpdump обмен трафиком, т.е. что то он туда отправляет видимо.

[pitnah]

Роскомнадзор жжет, звонят и просят написать оф письмо о том что блокируем опеншаринг %)

Нам звонят с претензией:

- Почему не делаете выгрузки? Срочно исправляйтесь!

- По 1101-му постановлению оператор должен в течении суток блокировать ресурсы из обновленного реестра.

Так мы блокируем, хотите - проверьте.

- Ничо не знаем. Делайте выгрузки. Иначе будем привлекать к административной ответственности. Штраф 30 тыр.

 

Так что главное тут не блокировать, а делать выгрузки.

Покупать КриптоАРМ, рутокен, сертификат и делать выгрузки.

 

ЗЫ: Как чуйствуют. Прям щаз позвонили.

- Роскомнадзор. У нас сейчас была была видеоконференция. В реестр добавлено несколько особо опасных сайтов. Срочно сделайте выгрузку. Если не сегодня, то завтра до 15:00.

[onlime_user]

В реестр добавлено несколько особо опасных сайтов.

 

Рутор чтоли?

:lol:

[NightElf]

Нужно просто взять любой скрипт для подписи и отправки и убрать оттуда часть про создание/подпись файла, сразу начав с отправки. По сути openssl нужно только для подписи файла из под Linux.

Это понятно, пробовал уже на 2 скриптах.

Что то он отсылает, но результат написан выше.

Скрипт от tawer еще не ковырял, но попробую.

 

каюсь, забыл цитату сделать, отвечал d-e-n-i-s'у.

[snvoronkov]

В реестр добавлено несколько особо опасных сайтов.

 

Рутор чтоли?

:lol:

 

Вот он - злобный оскал инмерьялизмы! ;-)

 

(Кроме него ничего не добавляли.)

[d-e-n-i-s]

Если подписывать одним и тем же xml файлом с одним и тем же requestTime, Роскомнадзор не возмущается что время всегда одно и то же ?!

[fredyk]

Если подписывать одним и тем же xml файлом с одним и тем же requestTime, Роскомнадзор не возмущается что время всегда одно и то же ?!

 

Уже больше двух месяцев получаю актуальные списки таким образом)))

*Тьфу-тьфу-тьфу

[Tosha]

www.rutor.org пошел =)

В списках не значится.

Позвонили из надзора, сказали как можно быстрее отключить... команда из Москвы...

[onlime_user]

http://rutor.org/torrent/174562/beremennyi-2011-ot-hqclub-licenziya

 

О господи, "особо опасный сайт", "команда из Москвы".

Они окончательно е*нулись.

Изменено 26 августа, 2013 пользователем onlime_user

[snvoronkov]

Уже больше двух месяцев получаю актуальные списки таким образом)))

*Тьфу-тьфу-тьфу

 

Можете расслабиться. Я в ноябре 2012 последний раз запрос подписывал.

 

Что, вобщем-то, и логично - эл.подпись должна лежать у руководителя в сейфе а не на сервере.

Изменено 26 августа, 2013 пользователем snvoronkov