oleg_n Опубликовано 15 февраля, 2018 · Жалоба 3 minutes ago, LynxChaus said: У них большие проблемы с головой. Начиная от XML'я и ГОСТ-овских сертификатов, заканчивая отсутствием автоматической нормализации добавляемых урлов. Пропустить через idn_encode и вырезать всё неподобающее одним регескпом - это для слабаков. Да :-). xml и сертификаты :-). До сих пор с этого улыбает. 4 minutes ago, LynxChaus said: Но судя по тому, что XML в CP-1251, обратный слеш для виндузятников является привычным (и любимый ими эксплорер его жрать и не давиться). :-D cp-1251 меня помню тогда сильно поразило. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 15 февраля, 2018 · Жалоба 2 часа назад, Piyoz сказал: Ошибка в реестре, бэкслэш в имени домена. В список для extfilter домен не попадает <content id="801013" includeTime="2018-02-14T20:38:47" entryType="1" blockType="domain" hash="4E7D08CA26C501C850CB0C6845B59200" ts="2018-02-14T21:00:00+03:00"> <decision date="2017-12-22" number="2-5349/17" org="суд"/> <domain ts="2018-02-14T21:00:00+03:00"><![CDATA[eleanorbethanie.ru\]]></domain> <ip ts="2018-02-14T21:00:00+03:00">104.27.162.78</ip> <ip ts="2018-02-14T21:00:00+03:00">104.27.163.78</ip> </content> Внесено изменение в extfilter_maker, позволяющее убрать подобную криворукость РКН. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 15 февраля, 2018 · Жалоба А вот интересно, а что их супер чекалка пихает в поле Host при проверке данной записи ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LynxChaus Опубликовано 15 февраля, 2018 · Жалоба 7 minutes ago, oleg_n said: меня помню тогда сильно поразило. iconv -f cp1251 < dump.xml | sed -E 's/(<content id=)/\n\1/g; s/windows-1251/utf-8/' >dump-splitted.xml от этого помогает. и grep'ом искать можно и русские буковы видно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 15 февраля, 2018 · Жалоба 3 minutes ago, st_re said: А вот интересно, а что их супер чекалка пихает в поле Host при проверке данной записи ? Это и пихает. А дальнейшее поведение зависит от libcurl :-). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 15 февраля, 2018 · Жалоба А вот кажется там не libcurl у них.... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 15 февраля, 2018 · Жалоба 4 minutes ago, LynxChaus said: iconv -f cp1251 < dump.xml | sed -E 's/(<content id=)/\n\1/g; s/windows-1251/utf-8/' >dump-splitted.xml от этого помогает. и grep'ом искать можно и русские буковы видно. Это я победил на уровне скрипта, который парсит реестр. Так что, сейчас это не проблема. Просто некая странность :-). 2 minutes ago, st_re said: А вот кажется там не libcurl у них.... С их слов curl. А так-то хз конечно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexwin Опубликовано 15 февраля, 2018 · Жалоба 1 час назад, dee сказал: ежесекундно понимаю что в ркн работают дилетанты , которые не могут даже формат стандартизировать как то У меня скрипт самописный,который парсит реестр в rpz-зону для bind (берется поле domain),так я вам скажу вы и половины не видели,что там бывает ;). 28 минут назад, max1976 сказал: Внесено изменение в extfilter_maker, позволяющее убрать подобную криворукость РКН. Эту убрали,впереди вас ждет еще много открытий чудных ;). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bl_cK Опубликовано 15 февраля, 2018 · Жалоба Global symbol "$RKN_DUMP_VERSION" requires explicit package name at ./zapret.pl line 597. Execution of ./zapret.pl aborted due to compilation errors. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 15 февраля, 2018 · Жалоба Только что, Bl_cK сказал: Global symbol "$RKN_DUMP_VERSION" requires explicit package name at ./zapret.pl line 597. Execution of ./zapret.pl aborted due to compilation errors. Zapret.pm не обновили. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LynxChaus Опубликовано 15 февраля, 2018 · Жалоба 1 hour ago, oleg_n said: Это и пихает. Не пихает. Я ни запросов в DNS не вижу, ни в http. Идеальная блокировка, не требует ресурсов провайдера. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 15 февраля, 2018 (изменено) · Жалоба Цитата navalny.com как то странно блочится , в списке есть : grep -R 'navalny.com' ssl_host:navalny.com ssl_host:www.navalny.com grep -R '51.254.112.20' ssl_ips:51.254.112.20 nslookup navalny.com Server: 127.0.1.1 Address: 127.0.1.1#53 Non-authoritative answer: Name: navalny.com Address: 51.254.112.20 но по факту открывается через раз , сперва может написать сброшено соединение , потом ошибку нгинкса 502 , но если обновить несколько раз страницу в итоге откроет ... , в любом случае тут что то не так ... не должно было доходить до 502 ошибки вообще . сделал ХУП , без изменений файлов - стал всё время сбрасывать соединения . не объяснимо конечно , я не смотрел конечно , но может раньше был другой хост для сайта , по этому и так ведёт себя пс. в логе экстфильтра строка allworkers.matched_ulrs=15221 а точно ли ulrs ? Изменено 15 февраля, 2018 пользователем dee Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 15 февраля, 2018 (изменено) · Жалоба 3 hours ago, LynxChaus said: Не пихает. Я ни запросов в DNS не вижу, ни в http. Идеальная блокировка, не требует ресурсов провайдера. Насчёт конкретно этого - хз. Но когда-то ловил блокировку, кажется, домена, где в домене было целиком, что-то типа, stanozolol.ru\qqq\ и это всё как есть клалось в Host. Я эти запросы в логах вылавливал. Собственно, в том числе из этого случая и был сделан вывод, что действительно юзается curl и тупо без обработок создаётся запрос из данных реестра. Изменено 15 февраля, 2018 пользователем oleg_n Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 15 февраля, 2018 · Жалоба 1 час назад, dee сказал: как то странно блочится , в списке есть : grep -R 'navalny.com' ssl_host:navalny.com ssl_host:www.navalny.com grep -R '51.254.112.20' ssl_ips:51.254.112.20 nslookup navalny.com Server: 127.0.1.1 Address: 127.0.1.1#53 Non-authoritative answer: Name: navalny.com Address: 51.254.112.20 но по факту открывается через раз , сперва может написать сброшено соединение , потом ошибку нгинкса 502 , но если обновить несколько раз страницу в итоге откроет ... , в любом случае тут что то не так ... не должно было доходить до 502 ошибки вообще . сделал ХУП , без изменений файлов - стал всё время сбрасывать соединения . не объяснимо конечно , я не смотрел конечно , но может раньше был другой хост для сайта , по этому и так ведёт себя реально меняют ip постоянно nslookup navalny.com Server: 127.0.1.1 Address: 127.0.1.1#53 Non-authoritative answer: Name: navalny.com Address: 94.23.162.217 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bat Опубликовано 15 февраля, 2018 · Жалоба @max1976 У вас на Centos стоит? Mime::Base64 из репозитория ставили? Как решали проблему конфликта? Transaction check error: file /usr/share/man/man3/MIME::Base64.3pm.gz from install of perl-MIME-Base64-3.13-1.el6.rf.x86_64 conflicts with file from package perl-4:5.16.3-291.el7.x86_64 file /usr/share/man/man3/MIME::QuotedPrint.3pm.gz from install of perl-MIME-Base64-3.13-1.el6.rf.x86_64 conflicts with file from package perl-4:5.16.3-291.el7.x86_64 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 15 февраля, 2018 · Жалоба 1 час назад, Bat сказал: @max1976 У вас на Centos стоит? Mime::Base64 из репозитория ставили? Как решали проблему конфликта? Transaction check error: file /usr/share/man/man3/MIME::Base64.3pm.gz from install of perl-MIME-Base64-3.13-1.el6.rf.x86_64 conflicts with file from package perl-4:5.16.3-291.el7.x86_64 file /usr/share/man/man3/MIME::QuotedPrint.3pm.gz from install of perl-MIME-Base64-3.13-1.el6.rf.x86_64 conflicts with file from package perl-4:5.16.3-291.el7.x86_64 Данный модуль установлен через cpan. 2 часа назад, dee сказал: Данный сайт при первом коннекте выставляет размер win = 2, что соответствует 2 байтам запроса от клиента. В данном случае DPI не может определить https. Посмотрю что можно сделать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 15 февраля, 2018 · Жалоба Сделал фикс для peafowl при разборе ssl. Необходимо заново собрать extfilter с обновленным peafowl. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 16 февраля, 2018 · Жалоба 11 часов назад, max1976 сказал: Сделал фикс для peafowl при разборе ssl. Необходимо заново собрать extfilter с обновленным peafowl. К сожалению, фикс приводит к проблемам с потреблением памяти. Чуть позже выложу исправление. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 16 февраля, 2018 · Жалоба Только что, max1976 сказал: К сожалению, фикс приводит к проблемам с потреблением памяти. Чуть позже выложу исправление. Будет вылетать extfilter или что то другое ожидает? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 16 февраля, 2018 · Жалоба 8 минут назад, arhead сказал: Будет вылетать extfilter или что то другое ожидает? Может вылететь, т.к. запросит слишком много памяти, так же увеличится количество пропущенных пакетов, что приведет к пропускам. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 16 февраля, 2018 · Жалоба 1 час назад, max1976 сказал: Может вылететь, т.к. запросит слишком много памяти, так же увеличится количество пропущенных пакетов, что приведет к пропускам. Проблема исправлена, теперь все работает как и должно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 16 февраля, 2018 (изменено) · Жалоба 14 часов назад, max1976 сказал: Данный модуль установлен через cpan. Данный сайт при первом коннекте выставляет размер win = 2, что соответствует 2 байтам запроса от клиента. В данном случае DPI не может определить https. Посмотрю что можно сделать. хитрые ребята держат его блог ( постоянно меняют ip , вот ещё и хрень какую то сделали , что бы DPI не ловил) ... 17 минут назад, max1976 сказал: Проблема исправлена, теперь все работает как и должно. мож я что не вижу , но не вижу что были внесены на гит изменения .. (где изменения то ?) Изменено 16 февраля, 2018 пользователем dee Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 16 февраля, 2018 · Жалоба 1 минуту назад, dee сказал: хитрые ребята держат его блог ( постоянно меняют ip , вот ещё и хрень какую то сделали , что бы DPI не ловил) ... Тем самым, подставляя операторов связи под штрафы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 16 февраля, 2018 · Жалоба 20 минут назад, dee сказал: мож я что не вижу , но не вижу что были внесены на гит изменения .. (где изменения то ?) Изменения не в гите Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 16 февраля, 2018 · Жалоба 26 минут назад, dee сказал: хитрые ребята держат его блог ( постоянно меняют ip , вот ещё и хрень какую то сделали , что бы DPI не ловил) ... мож я что не вижу , но не вижу что были внесены на гит изменения .. (где изменения то ?) Не там смотрите. Изменения в библиотеке peafowl. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...