[DimaM]

Подскажите, как скоро выйдет декабрьский релиз

 

 

в декабре, вестимо :)

[Inp]

Ну собственно уже 21 число. Релиз новой версии когда будет?

[Bigmazy]

Ну собственно уже 21 число. Релиз новой версии когда будет?

Перенесли на после праздников. Хотим НГ встретить не за компьютерным столом :)

[fagrant]

Подскажите пожалуйста, а какая стратегия скачивания CACHE и подсчета трафика у его вебморды? Пока вижу три возможных варианта:

 

1. Более-менее правильная, типа ICAP:

Хозяин, тут какой-то обормот хотел гигабайтный файлик скачать, я сам скачал, ему отдал, в хранилище положил! Скачано в итоге с внешки - гиг, отдан кешем - гиг, соотношение 50%?

 

2. Оптимистичная:

Хозяин, тут какой-то обормот хотел гигабайтный файлик скачать, я тоже скачал, схоронил! Когда кто-нибудь еще захочет - отдам! Скачано в итоге с внешки - два гига, отдано кешем - ноль, соотношение 50%?

 

3. Прогрессивная:

Хозяин, тут из центра статистика привалила, нынче пользуются особой популярностью такие файлы: [список из 10000 зоопорно], я ночью все скачал, схоронил, ждем желающих! Скачано в итоге с внешки - неважно, отдано кешем - неясно, соотношение - ?

[DimaM]

Подскажите пожалуйста, а какая стратегия скачивания CACHE

 

п.3 т.е. скачивается когда полоса простаивает, а в ЧНН работает в основном или полностью на отдачу

[fagrant]

п.3 т.е. скачивается когда полоса простаивает, а в ЧНН работает в основном или полностью на отдачу

Не очень понятно. А что он качает не в ЧНН? Я ему дал полтора гигабита внешки. Кеш-сервер более 30 мегабит/с ночью трафика не ел. За два дня не может терабайт набить. А я ему целую полку с этими терабайтами подсуетил... :(

 

Т.е. похоже, у кеш-сервера как раз стратегия №2, что смог скачать ПАРАЛЛЕЛЬНО пользователю, если полосы в ЧНН хватило - скачал, остальное - ночью. А "центра с мозгами и статистикой" у него нет.

Т.е. он в какой-то мере трафик увеличивает, качая тоже что юзеры, в надежде отдать это потом, если попросят. Ну и пуржит кеш по f(last_access, count_access, size, type). Обычный кеш.

 

Ему бы перехват скачивания на себя, плюс центр со статистикой и Peer2Peer обменом кешем между операторами. Тогда это был бы революционный продукт! :)

 

Ммм... а не Сквид-ли я только что изобрел? У него кроме ICP еще и разбиение контента по размеру/скорости хранилища есть... А ютубы/рутубы/вконтактики я на нем когда-то очень даже кешировал.

Изменено 29 декабря, 2015 пользователем fagrant

[DimaM]

Я ему дал полтора гигабита внешки. Кеш-сервер более 30 мегабит/с ночью трафика не ел

 

загляните в конфиг: там конфигурируется сколько ему положено полосы и в какое время

 

Ммм... а не Сквид-ли я только что изобрел

 

В отличие от конкурентов он реально работает на внешнем канале 200 Гбит/c и может работать

на зеркале трафика.

 

Для маленьких операторов есть CacheMARA или PeerApp (правда ценник на них совсем не гуманный,

СКАТ КЭШ по сравнению с ними считай практически даром) или бесплатный Squid (но это для совсем маленьких).

Изменено 29 декабря, 2015 пользователем DimaM

[fagrant]

загляните в конфиг: там конфигурируется сколько ему положено полосы и в какое время

 

Именно там я ему их и "дал".

 

Не стоит на меня так уж нападать за слово "сквид". Мне нравятся продукты vasexperts, за исключением структуры (а точнее - ее отсутствия) документации. Я лишь обозначил фичи, которые были бы полезны для кеширующего сервера, как... ориентиры, что-ли :) Если я не прав - поправьте. Ну или - дополняйте :)

 

Правда... сейчас у нас кеш работает на всех клиентов, однако без ютуба и вконтакта эффекта от него - почти никакого. Доля того, что он кеширует, во внешней полосе исчезающе мала. Жду и надеюсь...

Изменено 29 декабря, 2015 пользователем fagrant

[DimaM]

Доля того, что он кеширует, во внешней полосе исчезающе мала.

 

Сейчас типичный показатель 4-5% от внешки в ЧНН. Если у вас меньше, напишите в ТП:

разработчики посмотрят на ситуацию и посоветуют, что подкрутить в настройках, заодно и я узнаю :)

 

Во 2м квартале 2016 планируется завершение работ по кэшированию контента с динамическими ссылками (на основе контрольных сумм),

ожидаем серьезного роста эффективности (до того как отвалились youtube и vk, эффективность кэша была на уровне дорогущего PeerApp).

 

PS Маркетинг под эту лавочку захочет поднять цену, так что нужно брать © пока дешево :)

[saaremaa]

PS Маркетинг под эту лавочку захочет поднять цену, так что нужно брать © пока дешево :)

Оно и так как самолет стоит куда еще поднимать?

[DimaM]

Оно и так как самолет стоит куда еще поднимать?

 

Он сейчас стоит как всего 1 месяц оплаты за CacheMARE. Много это или мало - решит рынок.

Я за то, чтобы он стоил дешево, зато стоял у каждого оператора :)

[saaremaa]

Start IMHO

Почему бы не сделать данный опцию бесплатной с минимальной документацией для разработки собственных фильтров на КЭШ? Кому нужны более жесткие извращения (большие операторы) или оутсорсинг(большие операторы) - пожалуйста платите поддержку ПО КЭШ. Сейчас же надо купить Комплекс СКАТ + сервер + ПО КЭШ + поддержку. Для небольшого оператора не выгодно. Мне проще купить еще полосы за недорого на время ЧНН.

Stop IMHO

[DimaM]

Почему бы не сделать данный опцию бесплатной

 

Шишки уже набиты и повторять их не будем:

1) без ТП продавать (или раздавать) нельзя - если клиент сам с чем-то не разберется, то пишет на форумы что не работает

(эта тема форума хороший этому пример)

2) когда-то мы бесплатно раздавали фильтр РКН : лицензии заказали около 100 операторов, а довели дело до запуска в эксплуатацию всего 30.

Почему такой результат? Думаю потому, что бесплатно в голове людей - это низкое качество, бета-тестирование или еще какой-то подвох.

3) КЭШ тоже на некоторое время делали бесплатной опцией к полной версии и что? Количество новых инсталляций КЭШа в месяц

осталось практически таким же как при его продаже по текущей цене.

4) почему нет версий меньше чем СКАТ-6? потому что они банально убыточны - расходы на ТП, логистику, комиссии съедают всю прибыль от них

 

Буду рад каким-то новым идеям в части популяризации продуктов СКАТ и DPI технологий.

Например, хочется предложить доступную версию операторам, для которых СКАТ-6 это уже много, но из-за п.1 и п.4 пока не получается.

[saaremaa]

Поделитесь кто-нибудь рабочим файликом cs.conf.

Интересует кто-нибудь делает кэш обновлений для антивирусников?

 

Сделайте пожалуйста более подробное описание данных структур. Для самостоятельной разработки фильтров.

      swf_trailing:
           is_enabled:         yes

           statistics:
               group:          "video"
               collector:      local

           online:
               collector:      "default"

           loading:
               algorithm:          "general"
               required_weight:    3
               urls:
                   matching:
                       -   sources:
                               - '\.swf$'

           storage:
               path:           "exts/swf"
               max_size:       "unlimited"
               expiry_time:    "30d"

           constraints:
               min_file_size:          1024k
               post_load_validation:   "ft=`file -b {full_file_name}`; echo $ft; echo $ft | grep -E \"Macromedia Flash\" 2>/dev/null 1>&2"

[Alex_P89]

Перенесли на после праздников. Хотим НГ встретить не за компьютерным столом :)

А теперь когда ждать? :)

[DimaM]

А теперь когда ждать? :)

 

Праздники не прошли даром: решено впихнуть в эту версию еще немного функциональности, так что ждем еще 2 недели :)

[Inp]

Да...

Какой еще функциональности?

[DimaM]

Какой еще функциональности?

 

В части защиты от DDOS, на нее активизировался спрос

[alibek]

Какое-то сомнительное описание.

В оперативном порядке нам подключили услугу на базе аппаратно-программного комплекса СКАТ, которая способна справиться с незапланированным ростом траффика на несколько порядков.

То есть вместо обычного гигабита на аплинк прилетело 100G и никто ничего не заметил?

[DimaM]

Какое-то сомнительное описание.

В оперативном порядке нам подключили услугу на базе аппаратно-программного комплекса СКАТ, которая способна справиться с незапланированным ростом траффика на несколько порядков.

То есть вместо обычного гигабита на аплинк прилетело 100G и никто ничего не заметил?

 

 

Отзыв написал клиент провайдера, а не сам провайдер. У провайдера каналы значительно толще, чем та полоса, что оплачивает клиент.

 

Но понятно, что все-равно непонятно :) поэтому попробую кратко пояснить как организована комплексная защита у хостинг провайдера.

 

Атаки бывают разные и для каждой атаки свои методы защиты:

1) syn flood - отбиваем на dpi, не допуская до клиента

2) атака прикладного уровня - мониторим pps и количество запросов в секунду, при превышении отправляем на captcha

3) dns/ntp/udp flood - просто срезаем лишнее

 

Пусть у клиента оплачен канал 100 Мбит/c, у его провайдера есть N*10 Гбит/c, у аплинков провайдера M*100Гбит/c.

В случае flood атаки, пока у провайдера есть свободная полоса, он просто заполисит лишнее на пути к клиенту (это как раз та разница в 2 порядка).

Если мощность атаки превышает возможности провайдера, то дальше или активируется фильтрация на оборудовании аплинков (ограничена возможностями openflow, но для flood этих возможностей обычно достаточно, зато это уже 3 порядка), или трафик заруливается по BGP/DNS в специализированное облако (типа cloudflare) или .. в blackhole. Вариант зависит от финансовых и технических возможностей клиента и провайдера.

Изменено 20 января, 2016 пользователем DimaM

[infery]

Здравствуйте. В логах вот что появилось

 

[CRITICAL][2016/01/21-15:35:04:947781][0x7fd09659a700] plc_uhtb : Can't allocate memory in metadata_storage, cntr=144444, allocated=144444
[ERROR   ][2016/01/21-15:35:04:947825][0x7fd09659a700] plc_htb : Can't add new work_data_htb : too many records=144444,max=144444
[CRITICAL][2016/01/21-15:35:04:950126][0x7fd09659a700] plc_uhtb : Can't allocate memory in metadata_storage, cntr=144444, allocated=144444
[ERROR   ][2016/01/21-15:35:04:950147][0x7fd09659a700] plc_htb : Can't add new work_data_htb : too many records=144444,max=144444

 

Бывает такое - сервис 5 снят, но абонента продолжает перекидывать на попрошайку. Помогает включение и отключение у сервиса 5 у абонента. Замечено у нескольких человек. И похоже перестала работать нарезка скоростей. Выставил себе только что 30мбит, шпарит 94, как обычно. Сегодня такое же поведение заметили у абонента при подключении.

 

P.S. Рестарт сервиса помог, скорость режется, ошибка пока не появляется

Version : 3.0

Изменено 21 января, 2016 пользователем infery

[FIGO]

DimaM

Возможно кто то уже спрашивал, но быстро пробежавшись по страницам темы не заметил.

В общем стоит СКАТ-20 Complete в разрезе между нами и аплинком, используется только фильтрация по реестру. В сервер установлена одна сетевая карта PE210G2DBi9-SR-SD Dual port Fiber 10 Gigabit Ethernet. Появилась необходимость брать интернет у двух провайдеров. Возможно ли ограничиться покупкой и установкой дополнительной сетевой карты, или нужно так же купить лицензию СКАТ-40?

[DimaM]

Возможно ли ограничиться покупкой и установкой дополнительной сетевой карты

 

да, пока не превышены лицензионные параметры по пропускной способности

[DimaM]

[ERROR ][2016/01/21-15:35:04:947825][0x7fd09659a700] plc_htb : Can't add new work_data_htb : too many records=144444,max=144444

 

Превышено количество абонентских профилей с полисингом, поэтому для новых он уже не подключается (и соответственно не работает).

Врядли у вас 144444 абонентов в реальной жизни?

Напишите в ТП, там подскажут по командам, где и как посмотреть, почистить.

[infery]

Напишите в ТП, там подскажут по командам, где и как посмотреть, почистить

Спасибо, так и сделаю