[POMAHTuKA]

Подсетей пока нет, действительно.

"Вкорячена" возможность забанить 0.0.0.0/0 : )

Подсети есть в тестовом сервисе -

http://vigruzki.rkn.gov.ru/services/OperatorRequestTest/?wsdl

Изменено 8 августа, 2014 пользователем POMAHTuKA

[stas_k]

Хостера. РКН же жаловался, что зарубежные хостеры на его письма ээээ... не отвечают. Поэтому будет давить недоступностью с территории РФ. Я так это понимаю.

повторю: hetzner обычный хостер по такому запросу тупо выключит весь сервер.

абузоустойчивый хостер положит на это еще один мужской половой член. оплата с клиента получена авансом.

 

как я понял, у тебя проблемы с тяжелыми наркотиками восприятием мира.

 

любой хостер подчиняется своим локальным местным законам, на законы и решения суда какой либо иной страны кладет болт.

 

если какая либо страна хочет решение своего суда довести до заграничного хостера - есть процедура общепринятая, бюрократическая дипломатическая и длительная. по аналогии с выдачей преступника и печати опровержения лжи в газете.

 

кроме всего прочего, у обычного хостера нет доступа к сайтам клиентов, да и нет сотрудников, которые умеют читать по русски.

[alibek]

Абузоустойчивый хостер игнорирует требование российской прокуратуры. Прокуратура блокирует сети хостера, вместе со всеми его клиентами. Для некоторых клиентов недоступность серверов из РФ может оказаться важной.

1. Клиенты пишут в прокуратуру, что они не причем, прокуратура сообщает, что хостер игнорирует их предписания, поэтому его заблокировали. Прокуратуре пофиг, хостеру пофиг. Клиенту не пофиг, но рычагов влияния у него нет и ему придется менять хостера на другого, не столь абузоустойчивого.

2. Если таких клиентов будет много и потерянные деньги окажутся значимыми, то возможно хостер пересмотрит условия абузоустойчивости.

[ayf]

как я понял, у тебя проблемы с тяжелыми наркотиками восприятием мира.

 

У меня нет проблем с восприятием. Мир многогранен:) Я как раз и говорил про то, что хостеры кладут болт на всякие предписания. И наши просто будут пытаться блокировками либо заставить их что-то делать (что вряд ли реально), либо пробуют таким образом заставить русских клиентов перейти на русский хостинг ( что тоже сомнительно)

[yegorov-p]

2. Если таких клиентов будет много и потерянные деньги окажутся значимыми, то возможно хостер пересмотрит условия абузоустойчивости.

Если хостер пересмотрит условия абузоустойчивости, то он перестанет быть абузоустойчивым хостером.

[kolesnikov]

Набросал комбаин на перле, может кому пригодится: http://ip-home.net/files/zapret.zip

Все работает, парсится,но можно IP адреса хранить в обычном виде? Чтобы из бд брать не переделывая? Или может подскажете, как преобразовать в sh Freebsd?

Изменено 11 августа, 2014 пользователем kolesnikov

[stas_k]

Для некоторых клиентов недоступность серверов из РФ может оказаться важной.

1. Клиенты пишут в прокуратуру

 

Клиенты меняют хостера. Сразу. Процедура максимум на 72 часа. 24 часа на установление причины, аренду нового и перенос. 48 часов - обновление DNS.

 

Всякая переписка с прокуратурой, хостером и чертом в ступе очевидно займет больше.

 

 

Кроме того, мне не очень понятен клиент, которому важна доступность абузоустойчивых иностранных серверов из России, и при этом он соблюдает законы РФ.

 

чем этого клиента не устраивает российский хостинг? или тот же hetzner/leaseweb/сотни их?

зачем какая то особенная абузоустойчивость (если ты не распространяешь ЦП)?

 

В общем ваша аргументация сильно притянута.

[POMAHTuKA]

Чтобы из бд брать не переделывая?

 

Опять же, прошу прощения, отвечу за автора.

Кто не разрешает использовать средства MySQL?

mysql> select inet_ntoa(ip) from zap2_ips limit 10;
+-----------------+
| inet_ntoa(ip)   |
+-----------------+
| 141.101.116.145 |
| 141.101.117.145 |
| 85.25.99.50     |
| 185.13.226.56   |
| 5.45.66.238     |
| 193.105.213.153 |
| 193.105.213.158 |
| 193.105.213.157 |
| 193.105.213.156 |
| 193.105.213.159 |
+-----------------+
10 rows in set (0.00 sec)

[alibek]

Кроме того, мне не очень понятен клиент, которому важна доступность абузоустойчивых иностранных серверов из России, и при этом он соблюдает законы РФ.

Я как-то нить потерял.

 

Это разные клиенты.

Один клиент — который размещает контент, из-за которого подсети хостера и попадают в список.

Второй клиент — это тот, у которого появляются проблемы из-за блокировки подсетей хостера.

Вот вторые клиенты и уйдут. Если они будут значимы для хостера, тогда хостер скорее заблокирует первого клиента.

 

Абузоустойчивые хостинги конечно останутся. Только смысл в их абузоустойчивости, если доступ к ним будет закрыт?

[stas_k]

вот с первым клиентом - всё понятно.

 

мне второй не понятен. ну и вообще не понятна вся эта ваша попаболь за выдуманных клиентов и фантазии о действиях хостера.

[kolesnikov]

Кто не разрешает использовать средства MySQL?

mysql> select inet_ntoa(ip) from zap2_ips limit 10;+-----------------+| inet_ntoa(ip) |+-----------------+| 141.101.116.145 |

может мы про разные скрипты, но у меня:

mysql> select ip from zap2_ips limit 10;

+----------+

| ip |

+----------+

| 16843009 |

| 16909060 |

| 16843010 |

+----------+

3 rows in set (0.00 sec

[YuryD]

mysql> select ip from zap2_ips limit 10;

 

inet_ntoa(ip)

[zhenya`]

дока с описанием это хорошо службы и формата, но вот что делать с записями? я сейчас блочу по ип только если https:// ...

 

с entrytype = 4 надо блочить ипы и сети?..

Изменено 11 августа, 2014 пользователем zhenya`

[Wingman]

с entrytype = 4 надо блочить ипы и сети?..

Я пока вообще ничего не делаю :) Добавят подсети - придёт мыло - будем посмотреть, а дальше - в зависимости от интенсивности их добавления.

Доверять скрипту блокирование сеток пока как-то уж совсем стрёмно

 

Набросал комбаин на перле, может кому пригодится: http://ip-home.net/files/zapret.zip

Все работает, парсится,но можно IP адреса хранить в обычном виде? Чтобы из бд брать не переделывая? Или может подскажете, как преобразовать в sh Freebsd?

Как уже ответили выше, используйте нативную sql-функцию inet_ntoa. Т.е. вместо "SELECT ip FROM ..." - используйте "SELECT INET_NTOA(ip) FROM ..."

 

 

p.s. Вынес конфиг в отдельный файл; небольшие косметические правки; положил на гитхаб: https://github.com/ircop/zapret

[apog]

p.s. Вынес конфиг в отдельный файл; небольшие косметические правки; положил на гитхаб: https://github.com/ircop/zapret

 

Спасибо за скриптик, коллега. Только пришел на форум спросить о непонятных =comment и =cut в 960-й и 966-й строчках соответственно, как вижу уже обновленная версия есть.

Хотел вот еще что... предложить заменить "# This must be in cp1251:" на нечто вроде "/usr/bin/iconv -f UTF8 -t WINDOWS-1251 $req_file -o $req_file". Что думаете?

Изменено 11 августа, 2014 пользователем apog

[Sergey Gilfanov]

вот с первым клиентом - всё понятно.

 

мне второй не понятен. ну и вообще не понятна вся эта ваша попаболь за выдуманных клиентов и фантазии о действиях хостера.

Вот, кстати, уже не фантазии, а живой пример.

[Wingman]

Спасибо за скриптик, коллега. Только пришел на форум спросить о непонятных =comment и =cut в 960-й и 966-й строчках соответственно, как вижу уже обновленная версия есть.

Хотел вот еще что... предложить заменить "# This must be in cp1251:" на нечто вроде "/usr/bin/iconv -f UTF8 -t WINDOWS-1251 $req_file -o $req_file". Что думаете?

Не у всех utf8 - дефолтная ( например, при использовании putty )

Думаю, лучше вообще считывать темплейт-файл запроса, заполняемый вами по своему усмотрению, а скриптом - перезаписывать в нём только requestTime

 

 

update: так и сделал

Изменено 11 августа, 2014 пользователем Wingman

[apog]

Думаю, лучше вообще считывать темплейт-файл запроса, заполняемый вами по своему усмотрению, а скриптом - перезаписывать в нём только requestTime

 

Да, спасибо, так хорошо.

[apog]

Wingman, что-то у меня не работает...

$ ./zapret.pl
Type of arg 1 to keys must be hash (not hash element) at ./zapret.pl line 359, near "}) "
Execution of ./zapret.pl aborted due to compilation errors.

 

со строки 359 в скрипте такой код:

    foreach my $k (keys $data->{content}) {
eval {
my ( $decision_number, $decision_org, $decision_date, $entry_type, $include_time );
$decision_number = $decision_org = $decision_date = $entry_type = '';
my $decision_id = $k;
$entry_type = '';

 

Что не так делаю?

 

Upd:

Уж не знаю на сколько корректно выкрутился, но кажется помогло вот что:

    foreach my $k (keys %{$data->{content}}) {

То есть заключил $data->{content} в %{}. Спасибо яндексу на этот раз.

Изменено 11 августа, 2014 пользователем apog

[apog]

В 175 строке похоже опечатка в расширении:

unlink $dir.'/dump.xlm';

 

Кириллица в БД кракозябрами.

Танцы с изменением кодировки БД на cp1251 не помогли (в sql файле со структурой базы CHARSET=utf8).

Не помогла и переконвертация dump.xml из cp1251 в utf8.

Локаль на машине ru_RU.UTF-8

Изменено 11 августа, 2014 пользователем apog

[Wingman]

Уж не знаю на сколько корректно выкрутился, но кажется помогло вот что:

Чёрт знает, возможно, от версии перла зависит. У меня (v5.16.3) работает так, как в скрипте.

 

В 175 строке похоже опечатка в расширении:

Спасибо, пофиксил

 

Кириллица в БД кракозябрами.

Можно пример?

У меня есть, например, такой урл: http://.................../открывается-новый-магазин-миксов-от-белова.596/ --- это я ctrl+c -> ctrl+v из БД :)

 

Дело в том, что эти редиски реестр заполняют как бог на душу положит. Где-то кириллица в urlencode, где-то нет. Где-то в utf, где-то в cp1251. Я одно время пытался скриптом определять, содержит ли ссылка utf, и автоматически энкодить, но из-за разных кодировок это не имеет смысла ;(

В итоге я сделал в табличке `zap2_urls` доп.поле `url_fixed`; если попадается какой-то треш и кракозябы - "энкодю" урл сам, и забиваю его в это поле. А дальше фильтрующие скрипты у меня по умолчанию берут урл из zap2_urls.url, но если поле zap2_urls.url_fixed не пусто - берут значение из него. С доменами та же история.

[lcgc]

эти редиски реестр заполняют как бог на душу положит. Где-то кириллица в urlencode, где-то нет

я выше предлагал костыль (на перле как раз)

для перевода кириллицы в единую локаль

 

питонщикам оно не надо, видимо

[apog]

Можно пример?

Таблица zap2_records после загрузки данных с тестового API:

[apog]

И еще, можно в конфиг добавить опцию отключения аутентификации на SMTP сервере (на случай если свой сервер, например)?

Изменено 13 августа, 2014 пользователем apog

[Wingman]

Таблица zap2_records после загрузки данных с тестового API:

 

Сделал сразу после коннекта `set names utf8`, попробуйте сейчас

 

И еще, можно в конфиг добавить опцию отключения аутентификации на SMTP сервере (на случай если свой сервер, например)?

 

Добавил опцию

 

Сваливаю в отпуск, времени сейчас вообще нет :)

Если через пару недель всё ещё будут актуальные хотелки для скрипта - пишите в гитхаб, тут на форуме я задолбаюсь сообщения выискивать

Изменено 14 августа, 2014 пользователем Wingman