1. Для блокировка используем

[oleg_n]

Обращаюсь ко всем диванным специалистам.

Почему когда я пишу в РКН письмо с просьбой:

 

"организовать список рассылки электронных писем для получения провайдерами своевременной информации по всем изменениям(техническим и нетехническим) связанным со списком запрещённых сайтов РКН; на данный список рассылки провайдер может подписать несколько email(например, тех.дир и главный сис.админ.); лучше, если будет возможность подписаться на список рассылки в свободной форме на сайте РКН(как на любой другой обычный список рассылки), без специальных официальных писем и т.п.;"

 

То мне отвечают, что всё всех устраивает и я только один негодую и, если бы кто-то ещё написал, то они бы подумали о человеческих способах информирования об изменениях формата/api? Какого хрена всем бы взять и не пойти на https://rkn.gov.ru/treatments/ask-question/ ?

[max1976]

10 часов назад, Bat сказал:

Спасибо! Я исходники, честно говоря, особо не разбирал. Т.е. там нет никаких предварительных очищений таблиц? Только внесение изменений?

Очистки таблиц нет. Есть только удаление неактуальных записей и добавление новых.

[dee]

2 часа назад, ixi сказал:

Вчера extfilter молча вылетел на обновлении. Последняя строка в логах  2017-12-13 14:47:14.295 [31847] Information ReloadTask - ACLs successfully reloaded
 

да у меня так же было несколько раз , записывал даже корку , Макс сказал что это из-за того что файлы для фильтра не читались , я после формирования файлов сделал слип на подольше (секунд 5) и потом уже делаю хуп для экстфильтра , тьфу тфьу тьфу пока больше не валился.

[ixi]

23 часа назад, dee сказал:

да у меня так же было несколько раз , записывал даже корку , Макс сказал что это из-за того что файлы для фильтра не читались , я после формирования файлов сделал слип на подольше (секунд 5) и потом уже делаю хуп для экстфильтра , тьфу тфьу тьфу пока больше не валился.

Есть задержка, ... / sleep 5 / scp / sleep 5 / reload

Файлы нормальные были, специально проверял.

 

В 14.12.2017 в 11:09, oleg_n сказал:

То мне отвечают, что всё всех устраивает и я только один негодую и, если бы кто-то ещё написал, то они бы подумали о человеческих способах информирования об изменениях формата/api? Какого хрена всем бы взять и не пойти на https://rkn.gov.ru/treatments/ask-question/ ?

Всё получаем. Свободная подписка не всегда хороша, на неё слишком легко натравить ботов, а в этом случае доброжелатели обязательно найдутся.

Кстати, API мониторить проблем нет вообще, WSDL же. У меня с первого дня триггер на этот случай висит.

Изменено 15 декабря, 2017 пользователем ixi

[oleg_n]

6 часов назад, ixi сказал:

Всё получаем. Свободная подписка не всегда хороша, на неё слишком легко натравить ботов, а в этом случае доброжелатели обязательно найдутся.

Кстати, API мониторить проблем нет вообще, WSDL же. У меня с первого дня триггер на этот случай висит.

  Всё отлично, триггер у всех висит, но я не понимаю зачем этот промежуточный шаг, который добавляет работы, если можно сразу слать email от РКН.

 

6 часов назад, ixi сказал:

Всё получаем. Свободная подписка не всегда хороша, на неё слишком легко натравить ботов, а в этом случае доброжелатели обязательно найдутся.

  Какие недоброжелатели и каких ботов? Подтверждение через какую-нибудь уникальную ссылку в email давно придумали и это работает - подписать случайного человека не получится. Боты, которые просто подпишут мильён email'ов - лечится с помощью капчи во время подписывания на рассылку. Да в конце-концов, пусть даже подписка на рассылку через официальное письмо в РКН. Всё равно это удобней того, что есть сейчас(через api).

 

Плюс:

Цитата

WSDL же

Это всё, в том числе DOCVERSION, FORMATVERSION, APIVERSION это постфактум. А email как бы рассылается за пару недель с ссылкой на доки для нового api.

Изменено 15 декабря, 2017 пользователем oleg_n

[nixx]

у клиента вылезла куча (11 тысяч) пропусков в два разных дня.

попросил у него результаты сканов ревизора, прислал мне pdf'ы... и в них - все (вообще все) открытые сайты ресолвятся в один и тот же ip - 31.31.196.239

естественно, ip вообще ни при чем, ни в каком реестре его нет, в списке отресолвленных адресов - тоже. зато бодро отдает http 200, чему очень радуется ревизор ))

клиент сказал, что днсы он использует гугловский и яндексовский, но некоторая неуверенность была в его голосе )

у меня спортивный интерес - кто так может приколоться с днс? чей днс может так шалить? если исключить самого клиента, конечно.

[max1976]

10 часов назад, nixx сказал:

у клиента вылезла куча (11 тысяч) пропусков в два разных дня.

попросил у него результаты сканов ревизора, прислал мне pdf'ы... и в них - все (вообще все) открытые сайты ресолвятся в один и тот же ip - 31.31.196.239

естественно, ip вообще ни при чем, ни в каком реестре его нет, в списке отресолвленных адресов - тоже. зато бодро отдает http 200, чему очень радуется ревизор ))

клиент сказал, что днсы он использует гугловский и яндексовский, но некоторая неуверенность была в его голосе )

у меня спортивный интерес - кто так может приколоться с днс? чей днс может так шалить? если исключить самого клиента, конечно.

Какой-то ДНС отдает заглушку (возможно на несуществующие домены) на этот ip.

[dee]

В 17.12.2017 в 01:09, nixx сказал:

у клиента вылезла куча (11 тысяч) пропусков в два разных дня.

попросил у него результаты сканов ревизора, прислал мне pdf'ы... и в них - все (вообще все) открытые сайты ресолвятся в один и тот же ip - 31.31.196.239

естественно, ip вообще ни при чем, ни в каком реестре его нет, в списке отресолвленных адресов - тоже. зато бодро отдает http 200, чему очень радуется ревизор ))

клиент сказал, что днсы он использует гугловский и яндексовский, но некоторая неуверенность была в его голосе )

у меня спортивный интерес - кто так может приколоться с днс? чей днс может так шалить? если исключить самого клиента, конечно.

я ставил тест для ревизора на предмет заворачивания всех днс запросов в свой специальный днс , так вот плевать ему на днс , он своим пользуется .

[Bat]

max1976 Тут такая деталь выяснилась. Если ранее vtysh был залочен на конфигрурирование каким-то другим процессом, который в последствии завис, то при попытке конфигурирования зебра выдает:

VTY configuration is locked by other VTY

И не дает зайти в конфигурацию.

Соответственно скрипт extfilter-quagga ничего не меняет и никаких ошибок не выдает. Может добавить проверку?

[max1976]

27 минут назад, Bat сказал:

max1976 Тут такая деталь выяснилась. Если ранее vtysh был залочен на конфигрурирование каким-то другим процессом, который в последствии завис, то при попытке конфигурирования зебра выдает:

VTY configuration is locked by other VTY

И не дает зайти в конфигурацию.

Соответственно скрипт extfilter-quagga ничего не меняет и никаких ошибок не выдает. Может добавить проверку?

А что требуется от скрипта в таком случае?

[dee]

3 часа назад, Bat сказал:

max1976 Тут такая деталь выяснилась. Если ранее vtysh был залочен на конфигрурирование каким-то другим процессом, который в последствии завис, то при попытке конфигурирования зебра выдает:

VTY configuration is locked by other VTY

И не дает зайти в конфигурацию.

Соответственно скрипт extfilter-quagga ничего не меняет и никаких ошибок не выдает. Может добавить проверку?

не хочу казаться настырным , но реально ведь проще юзать штатные средства линукса для блокировки , чем служку бгп .

[swsn]

Увеличил тут скорость обработки выгрузок. В отчет начали попадать url 40 минут назад  удаленные из реестра.

Как же я "люблю" этих  "енженеров первой категории" из рцч...

[myth]

4 часа назад, dee сказал:

не хочу казаться настырным , но реально ведь проще юзать штатные средства линукса для блокировки , чем служку бгп .

ipset, iptables? Можно, немасштабируемо, жрет ресурсы.

 

делал что-то когда-то. Где-то в этой теме есть

[dee]

11 часов назад, myth сказал:

ipset, iptables? Можно, немасштабируемо, жрет ресурсы.

 

делал что-то когда-то. Где-то в этой теме есть

ip route ip rule

[max1976]

15 часов назад, dee сказал:

не хочу казаться настырным , но реально ведь проще юзать штатные средства линукса для блокировки , чем служку бгп .

Только в том случае, если трафик идет через этот сервер с linux. Если трафик ходит через маршрутизаторы типа cisco, juniper и т.д., то вариант с bgp самый оптимальный.

[myth]

Обнаружил баг. Идем, к примеру, на http://open-russia.online - не пускает. Идем на http://open-russia.online/1.html - пускает.

[Antares]

6 часов назад, myth сказал:

Обнаружил баг. Идем, к примеру, на http://open-russia.online - не пускает. Идем на http://open-russia.online/1.html - пускает.

У меня блокирует.

[myth]

Версия фильтра последняя. Не блокирует.

[myth]

Словили протокол из-за того, что не обновлялась quagga, процессы vtysh сожрали всю память, заняли все pid. А дело было вот в чем - на vtysh -c "show run" quagga отвечала только Building configuration и все висело. Помогла только очистка bgpd.conf. Как защититься от подобного?

[oleg_n]

55 минут назад, myth сказал:

Словили протокол из-за того, что не обновлялась quagga, процессы vtysh сожрали всю память, заняли все pid. А дело было вот в чем - на vtysh -c "show run" quagga отвечала только Building configuration и все висело. Помогла только очистка bgpd.conf. Как защититься от подобного?

А quagga используется только для фильтрации?

Изменено 22 декабря, 2017 пользователем oleg_n

[myth]

Пока что, да. Причем, по телнету отдавала, а по vtysh - нет

 

И сама нормально работала. Перезапуск и перезагрузка сервера не помогли

[max1976]

В 22.12.2017 в 09:45, myth сказал:

Словили протокол из-за того, что не обновлялась quagga, процессы vtysh сожрали всю память, заняли все pid. А дело было вот в чем - на vtysh -c "show run" quagga отвечала только Building configuration и все висело. Помогла только очистка bgpd.conf. Как защититься от подобного?

Обновите extfilter_quagga. В последней версии исправлена ошибка, иногда приводившая к зависанию скрипта и запуску огромного количества экземпляров скрипта. Так же добавлен функционал, не позволяющий запускать более одного экземпляра скрипта. В случае обнаружения ранее запущенного скрипта можно получать уведомление на почту о каких-то проблемах  с quagga/скриптом.

 

В 22.12.2017 в 08:33, myth сказал:

Версия фильтра последняя. Не блокирует.

Эта запись внесена как домен, поэтому технически невозможно чтобы не блокировалось в том виде, как вы написали.

[Antares]

57 минут назад, max1976 сказал:

Обновите extfilter_quagga. В последней версии исправлена ошибка, иногда приводившая к зависанию скрипта и запуску огромного количества экземпляров скрипта. Так же добавлен функционал, не позволяющий запускать более одного экземпляра скрипта. В случае обнаружения ранее запущенного скрипта можно получать уведомление на почту о каких-то проблемах  с quagga/скриптом.

Проблема с удалением статических маршрутов, которые в конфиге, осталась, из-за этого и перешёл на ipset+iptables

[max1976]

5 часов назад, Antares сказал:

Проблема с удалением статических маршрутов, которые в конфиге, осталась, из-за этого и перешёл на ipset+iptables

Маршруты в null?

[Antares]

9 минут назад, max1976 сказал:

Маршруты в null?

да