Перейти к содержимому
Калькуляторы

SCE блокирует не все url, которые в неё загружены

Две SCE2000 с одинаковыми настройками. На одной софт 3.8.5, на другой 4.1.0. На обоих обе ссылки блокируются. При попытке закачки через Download Master скачивается html файл с предупреждением о блокировке.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Две SCE2000 с одинаковыми настройками. На одной софт 3.8.5, на другой 4.1.0. На обоих обе ссылки блокируются. При попытке закачки через Download Master скачивается html файл с предупреждением о блокировке.

 

Наверное какие-то настройки включены, которые у нас отключены. Есть какие-нибудь предположения ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Наверное какие-то настройки включены, которые у нас отключены. Есть какие-нибудь предположения ?

Не знаю, попробуйте посмотреть это:

 

http://forum.nag.ru/forum/index.php?showtopic=85135&st=40&p=953058entry953058 - команды cli

У меня Number of HTTP GET установлен в 10. Нагрузка на CPU практически не возросла.

 

http://forum.nag.ru/forum/index.php?showtopic=78575&st=140&p=827990entry827990 - посты 148, 150

Изменено пользователем Voronok

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Наверное какие-то настройки включены, которые у нас отключены. Есть какие-нибудь предположения ?

Не знаю, попробуйте посмотреть это:

 

http://forum.nag.ru/forum/index.php?showtopic=85135&st=40&p=953058entry953058 - команды cli

У меня Number of HTTP GET установлен в 10. Нагрузка на CPU практически не возросла.

 

http://forum.nag.ru/forum/index.php?showtopic=78575&st=140&p=827990entry827990 - посты 148, 150

 

Спасибо, будет пробовать. У нас сейчас HTTP Browsing, а не * . А где выставляется/смотрится "Number of HTTP GET" ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А где выставляется/смотрится "Number of HTTP GET" ?

Configuration Menu - Policies - System Settings - Advanced Options - Advanced Service Configuration Options

По умолчанию стоит 1. Рекомендуется ставить больше 1, но не переусердствовать, т.к. при увеличении начинается падение производительности. А у кого-то и с 1 хорошо работает. У меня 10 стоит, тоже хорошо.

 

Вообще, то сообщение больше о flow-open-mode classical, а не о Number of HTTP GET.

Изменено пользователем Voronok

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У СЦЕ, действительно, есть проблема с MIME. Вообще, из практики могу сказать, что просто отрезается ссылка на "нераспознаваемом" участке и все. Лечится легко и просто. Также есть проблема, как писали выше, с якорями. Их сце игнорирует. Более того, есть ссылки, которые содержат вложенный URL. Напиример: http://www.example.com/index.php?url=http://my.site.com. Такие ссылки тоже будут не обработаны. Надо ее разбивать на части и адрес назначения блокировать. Но прежде, надо смотреть - есть ли какой редирект у ссылки назначения и его также блокировать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У СЦЕ, действительно, есть проблема с MIME. Вообще, из практики могу сказать, что просто отрезается ссылка на "нераспознаваемом" участке и все. Лечится легко и просто. Также есть проблема, как писали выше, с якорями. Их сце игнорирует. Более того, есть ссылки, которые содержат вложенный URL. Напиример: http://www.example.com/index.php?url=http://my.site.com. Такие ссылки тоже будут не обработаны. Надо ее разбивать на части и адрес назначения блокировать. Но прежде, надо смотреть - есть ли какой редирект у ссылки назначения и его также блокировать.

 

Anchor, он же Fragment, не передается в GET-запросе, он обрабатывается чисто браузером, для блокировок он не нужен.

Вложенные урлы должны быть урл-кодированы, это общее правило для всего что попадает в запрос.

 

Ну и напоследок, реестр, в том виде что есть, заливать никуда вообще нельзя. Его надо санировать по полной программе, не забывая еще про IDNA-to-ASCII преобразование.

 

ЗЫ. Я надеюсь у "программистов" этого реестра уши никогда не остывают, потому как такое поделие, выполненное в лучших традициях сапога, должно увековечить их в веках. Вероятно сильное влияние оказало государство, в управлениях которого каждый кто умеет менять картридж в принтере имеет ставку "программист".

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У СЦЕ, действительно, есть проблема с MIME. Вообще, из практики могу сказать, что просто отрезается ссылка на "нераспознаваемом" участке и все. Лечится легко и просто. Также есть проблема, как писали выше, с якорями. Их сце игнорирует. Более того, есть ссылки, которые содержат вложенный URL. Напиример: http://www.example.com/index.php?url=http://my.site.com. Такие ссылки тоже будут не обработаны. Надо ее разбивать на части и адрес назначения блокировать. Но прежде, надо смотреть - есть ли какой редирект у ссылки назначения и его также блокировать.

 

Anchor, он же Fragment, не передается в GET-запросе, он обрабатывается чисто браузером, для блокировок он не нужен.

Вложенные урлы должны быть урл-кодированы, это общее правило для всего что попадает в запрос.

 

Ну и напоследок, реестр, в том виде что есть, заливать никуда вообще нельзя. Его надо санировать по полной программе, не забывая еще про IDNA-to-ASCII преобразование.

 

ЗЫ. Я надеюсь у "программистов" этого реестра уши никогда не остывают, потому как такое поделие, выполненное в лучших традициях сапога, должно увековечить их в веках. Вероятно сильное влияние оказало государство, в управлениях которого каждый кто умеет менять картридж в принтере имеет ставку "программист".

 

Про санирование - согласен, как и про "тыжпрограммистов". По этому, я по заказу одного серьезного провайдера писал standalone-программу под *nix для автоматизации работы с недореестром, в которой закладывал механизм сигнатур, по которым URL-ы выпрямляются до корректного состояния для SCE, СКАТ, Mikrotik (в зависимости от используемого плагина для взаимодействия с нужным устройством).

Изменено пользователем murano

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Заменил у url <filename>.zip на *, все равно дает скачать

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Заменил у url <filename>.zip на *, все равно дает скачать

 

Могу ошибаться, но там в http-заголовке запроса может передаваться что-то типа "Content-type=bla-bla", это и есть mime-type. SCE на это смотрит. Надо крутить настройки, но я пока не знаю какие. Почему при прочих равных условиях у одних людей блокирует, у других - нет, непонятно :-).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Заменил у url <filename>.zip на *, все равно дает скачать

А сделайте на SCE

sh int li 0 sce-u a | inc islam-books.ru

что показывает?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Всем привет! sce перестала блокировать youtube http , возможно что-то youtube поменял. В google crome перекидывает на https, а в safari блокируется. Могучая программа надзора , кричит , что не блокируется .

Изменено пользователем roysbike

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что-то у нас возники проблемы. SCE не блочит ссылки, кирилические.

Например в реестре записано - muzogig.com/intem/%D0%90%D0%BD%D1%81%D0%B0%D0%BC%D0%B1%D0%BB%D1%8C%20%D0%A5%D1%80%D0%B8%D1%81%D1%82%D0%B0%20%D0%A1%D0%BF%D0%B0%D1%81%D0%B8%D1%82%D0%B5%D0%BB%D1%8F%20%D0%B8%20%D0%9C%D0%B0%D1%82%D1%8C%20%D0%A1%D1%8B%D1%80%D0%B0%20%D0%97%D0%B5%D0%BC%D0%BB%D1%8F%20%D0%A3%D0%B1%D0%B5%D0%B9%20%D0%BF%D1%80%D0%B5%D0%B7%D0%B8%D0%B4%D0%B5%D0%BD%D1%82%D0%B0

 

А у нас она не блочится. Софт 4.1.0 (последний для 2020)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что-то у нас возники проблемы. SCE не блочит ссылки, кирилические.

Например в реестре записано - muzogig.com/intem/%D0%90%D0%BD%D1%81%D0%B0%D0%BC%D0%B1%D0%BB%D1%8C%20%D0%A5%D1%80%D0%B8%D1%81%D1%82%D0%B0%20%D0%A1%D0%BF%D0%B0%D1%81%D0%B8%D1%82%D0%B5%D0%BB%D1%8F%20%D0%B8%20%D0%9C%D0%B0%D1%82%D1%8C%20%D0%A1%D1%8B%D1%80%D0%B0%20%D0%97%D0%B5%D0%BC%D0%BB%D1%8F%20%D0%A3%D0%B1%D0%B5%D0%B9%20%D0%BF%D1%80%D0%B5%D0%B7%D0%B8%D0%B4%D0%B5%D0%BD%D1%82%D0%B0

 

А у нас она не блочится. Софт 4.1.0 (последний для 2020)

народ, есть мысли почему?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что-то у нас возники проблемы. SCE не блочит ссылки, кирилические.

Например в реестре записано - muzogig.com/intem/%D0%90%D0%BD%D1%81%D0%B0%D0%BC%D0%B1%D0%BB%D1%8C%20%D0%A5%D1%80%D0%B8%D1%81%D1%82%D0%B0%20%D0%A1%D0%BF%D0%B0%D1%81%D0%B8%D1%82%D0%B5%D0%BB%D1%8F%20%D0%B8%20%D0%9C%D0%B0%D1%82%D1%8C%20%D0%A1%D1%8B%D1%80%D0%B0%20%D0%97%D0%B5%D0%BC%D0%BB%D1%8F%20%D0%A3%D0%B1%D0%B5%D0%B9%20%D0%BF%D1%80%D0%B5%D0%B7%D0%B8%D0%B4%D0%B5%D0%BD%D1%82%D0%B0

 

А у нас она не блочится. Софт 4.1.0 (последний для 2020)

народ, есть мысли почему?

 

Нет мыслей, я на этом же этапе остановился.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а вы сходите в циску и посмотрите, сколько от этого урла в ней осталось на самом деле. у нее предел то ли ~250 символов, то ли еще сколько-то в том районе.

я такие урлы резал до 200 символов и ставил звездочку в конце. иначе - ой.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а вы сходите в циску и посмотрите, сколько от этого урла в ней осталось на самом деле. у нее предел то ли ~250 символов, то ли еще сколько-то в том районе.

я такие урлы резал до 200 символов и ставил звездочку в конце. иначе - ой.

вот как раз сейчас проверяем эту версию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а вы сходите в циску и посмотрите, сколько от этого урла в ней осталось на самом деле. у нее предел то ли ~250 символов, то ли еще сколько-то в том районе.

я такие урлы резал до 200 символов и ставил звездочку в конце. иначе - ой.

вот как раз сейчас проверяем эту версию.

900 с чем-то символов у url там, она же сама пишет, когда больше впихнуть пытаешься.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а вы сходите в циску и посмотрите, сколько от этого урла в ней осталось на самом деле. у нее предел то ли ~250 символов, то ли еще сколько-то в том районе.

я такие урлы резал до 200 символов и ставил звездочку в конце. иначе - ой.

да, дело действительно в длине строки. зарезали до 200 символов - начали блокироваться.

 

Но всплыла новая ссылка: www.mediafire.com/download/7u3mz6dgy4o78t8/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4%D1%8B+%D0%B1%D0%BB%D0%BE%D0%BA%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F+%D0%B6%D0%B5%D0%BB%D0%B5%D0%B7%D0%BD%D0%BE%D0%B4%D0%BE%D1%80%D0%BE%D0%B6%D0%BD%D1%8B%D1%85+%D0%BC%D0%B0%D0%B3%D0%B8%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B5%D0%B9.mp4

Теперь она не хочет резаться, причём даже www.mediafire.com/download/* не помогает.

 

Проверьте у себя.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

у нас уже несколько месяцев zapretservice стоит последовательно с sce. в том числе и из-за всяких странных урлов, на которые sce не реагирует, а также из-за желания местного ркн видеть заглушку при заходе на httpS :)

именно эта ссылка в текущий момент через sce проходит, запретсервисом режется. подозреваю, что sce не режет ее из-за content-type.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

у нас уже несколько месяцев zapretservice стоит последовательно с sce. в том числе и из-за всяких странных урлов, на которые sce не реагирует, а также из-за желания местного ркн видеть заглушку при заходе на httpS :)

именно эта ссылка в текущий момент через sce проходит, запретсервисом режется. подозреваю, что sce не режет ее из-за content-type.

мы заворачиваем /32 для заглушки https, но не хочется через это крутить весь трафик.

 

Просто прошлая проблема решена, думаю что и у этой проблемы есть решение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

видеть заглушку при заходе на httpS

Интересно, как они это делают...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

видеть заглушку при заходе на httpS

Интересно, как они это делают...

подмена сертификата.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.