Jump to content
Калькуляторы

Закон Яровой и сервера доступа.

Доброго всем времени суток. Запуск закона Яровой не за горами. Ориентировочно все операторы должны быть готовы к июлю этого года. Вопрос вот какого характера. Есть сервера доступа, суммарная нагрузка в ЧНН около 4Гбит/с. Вопрос. Каким образом можно сливать трафик на другую машину? Может быть есть какие-либо идеи? 

 

Спасибо.

 

PS. Извиняйте, может быть тема создавалась ранее, но я не нашел.

Share this post


Link to post
Share on other sites

Трафик всегда сливается одним образом — он зеркалируется (на коммутаторе или призмой) и пишется.

В чем вопрос то?

Share this post


Link to post
Share on other sites
15 минут назад, alibek сказал:

В чем вопрос то?

Чем принять трафик? tcpdump или что-то еще? Ну и как реализовать само хранение? mhddfs не подходит под настолько нагруженную систему. Может есть еще варианты?

Share this post


Link to post
Share on other sites
10 минут назад, default_vlan сказал:

Чем принять трафик? tcpdump или что-то еще? Ну и как реализовать само хранение? mhddfs не подходит под настолько нагруженную систему. Может есть еще варианты?

Вы думаете Вам дадут самопальную систему использовать??? Наивный ))))))

Share this post


Link to post
Share on other sites
1 минуту назад, Antares сказал:

Вы думаете Вам дадут самопальную систему использовать???

Кто не даст? Какие есть не самопальные системы? Вопрос-то открытый. Хотите так - хотите вот так. Если есть решения - тоже хорошо.

Share this post


Link to post
Share on other sites
10 минут назад, default_vlan сказал:

Кто не даст?

ркн, или кто там будет этой ерундой заниматься

Share this post


Link to post
Share on other sites
27 минут назад, default_vlan сказал:

Чем принять трафик?

Чем угодно.

Хоть tcpdump с ротацией, хоть самодельным скриптом.

По прежнему не понял, в чем вопрос.

Если же вопрос "как бесплатно сделать DPI с трафиком 4 Гбит/с и архивом на десятки ПБ", то ответ "никак".

Share this post


Link to post
Share on other sites

 

 

и т.д. Оспаде какой же дебильный новый форум с этой вставкой ссылок.

 

Share this post


Link to post
Share on other sites
2 минуты назад, rm_ сказал:

какой же дебильный новый форум с этой вставкой ссылок

При вставке ссылки с форума можно выбрать "Вставить как ссылку", тогда это будут просто ссылки.

Share this post


Link to post
Share on other sites
1 минуту назад, alibek сказал:

Чем угодно.

Хоть tcpdump с ротацией, хоть самодельным скриптом.

 

Мне на ум пришел вариант только tcpdump. Может быть есть что-то мощнее? Знал бы - не интересовался.

 

4 минуты назад, alibek сказал:

Если же вопрос "как бесплатно сделать СХД с трафиком 4 Гбит/с и объемом десятки ПБ"

с СХД отдельная проблема, т.к. практика использования того же mhddfs показывает, что точка монтирования развалится от нагрузки в пару сотен мегабит/с. Как можно объединить физические диски в один логический?

Share this post


Link to post
Share on other sites
1 minute ago, default_vlan said:

точка монтирования развалится от нагрузки в пару сотен мегабит/с. Как можно объединить физические диски в один логический?

Это про вас: https://www.youtube.com/watch?v=Y8u3IWYpats

3 minutes ago, alibek said:

можно выбрать "Вставить как ссылку"

Спасибо!

Share this post


Link to post
Share on other sites
Только что, default_vlan сказал:

Может быть есть что-то мощнее?

Не понял, что значит "мощнее"?

 

2 минуты назад, default_vlan сказал:

практика использования того же mhddfs показывает

Значит было мало практики.

 

2 минуты назад, default_vlan сказал:

Как можно объединить физические диски в один логический?

Обычно это делает RAID-контроллер.

Но я не вижу практической выгоды от одного логического диска в такой задаче.

Share this post


Link to post
Share on other sites
8 minutes ago, default_vlan said:

Тем не менее, это не решает вопроса.

В вышеперечисленных темах неоднократно высказана правильная мысль что никто не даст операторам каждому самому костылить хранение на шелл-скриптах, mhddfs и tcpdump'е, скажут купить вон ту коробочку у поставщика из списка сертифицированных в ФСБ/ФСТЭК за вот столько денег.

Share this post


Link to post
Share on other sites
5 минут назад, alibek сказал:

Не понял, что значит "мощнее"?

Скажем, более более специализированное и отличное от tcpdump.

6 минут назад, alibek сказал:

Значит было мало практики.

Практики, как раз, было предостаточно с тем же файловым сервером на Ubuntu. То диск отмонтируется, то запись не возможна.

 

7 минут назад, alibek сказал:

Но я не вижу практической выгоды от одного логического диска в такой задаче.

я разве говорил, что в системе будет 1 диск? Какой RAID использовать? RAID1 - слишком затратно в плане штрафов, если это дело свалится, RAID5 - слишком тормозной. RAID 1+0 - начальство далеко пошлет.

 

Лирическое отступление. Если я не так выражаюсь - сразу скажите, а то похоже на диалог со следователем:
- Я вам хочу предложить это
- Что это
- Ну у меня есть кое что 
- А что.
Вроде рассчитывал на помощь в решении проблемы или хотя бы в предложении какого-либо решения, а по факту форум Петросянов какой-то. Каждый тешет в себе надежду обладания чувством юмора.

 

rm, отдельное спасибо за ссылку на тему.

 

2 минуты назад, rm_ сказал:

никто не даст операторам каждому самому костылить хранение

Ну, с СОРМ это не проконало, а с биллингом работает.
Сорм не дали операторам потому что есть преступления охраняемые гостайной. Некоторым ответственным лицам у провайдеров оформляли допуск к гостайне, насколько я помню, третьей категории и те автоматически становились невыездными. Чтобы такого не было - стали втыкать просто СОРМ. В принципе и все на этом. Сбор трафика - задача провайдера и если до введения закона в строй не будет какого-либо программно-аппаратного решения, то полетят штрафы. Кому интересно ожидание сертифицированной "короборчки с двумя проводками"  - могут дальше ждать и получать штрафы и отзывы лицензий. Мне это не интересно.

Share this post


Link to post
Share on other sites

Tcpdump-ом сниффить заркалированный траффик и писать его потом в файлы можно, но это не изящное решение.

Самое интересное, что 10 лет назад один товарищ уже озадачился подобным вопросом и явил миру daemonlogger как раз для этих целей    https://talosintelligence.com/daemon ( в стандартных репах большинства дистрибутивов отыщите ).

Сам пользуюсь этой штукой лет 5. Как говориться - поставил и забыл. Единственное что написал - обёртку на bash для складирования pcap-файлов на "ремотный стораж."

 

Share this post


Link to post
Share on other sites
14 минут назад, default_vlan сказал:

Скажем, более более специализированное и отличное от tcpdump

Если нужно просто писать весь трафик на диск — то tcpdump эти задачи выполняет отлично.

 

16 минут назад, default_vlan сказал:

а по факту форум Петросянов какой-то

Петросян тут пока один.

Уже три ссылки постили, где все эти вопросы обсуждены со всех сторон, если поискать, то таких обсуждений в сети сотни.

Зачем создавать еще один топик и при этом указывать в нем какие-то частные задачи, которые составляют 1% от того, что вообще требуется?

Как писать трафик — это вообще не вопрос, просто берешь и пишешь, подобрав соответствующую трафику дисковую систему.

Вот только нужно не просто писать, нужно индексировать и обеспечивать быстрый поиск.

 

19 минут назад, default_vlan сказал:

Какой RAID использовать? RAID1 - слишком затратно в плане штрафов, если это дело свалится, RAID5 - слишком тормозной. RAID 1+0 - начальство далеко пошлет.

RAID-5 вообще никогда не нужно использовать, это нерационально.

А использовать его в системе, которая постоянно пишет — это не просто нерационально, это очень глупо.

По правильному нужно использовать RAID-10. Если дорого, то вообще не использовать массив (использовать отдельные диски) или использовать JBOD.

Share this post


Link to post
Share on other sites
2 часа назад, default_vlan сказал:

с СХД отдельная проблема, т.к. практика использования того же mhddfs показывает, что точка монтирования развалится от нагрузки в пару сотен мегабит/с. Как можно объединить физические диски в один логический?

LVM? Оверхэд небольшой там вроде.

Edited by alexwin

Share this post


Link to post
Share on other sites

интерфейс то написали для взаимодействия с пультом ? не забывайте требования про как быстро надо извлекать данные :)

Share this post


Link to post
Share on other sites
5 минут назад, zhenya` сказал:

не забывайте требования про как быстро надо извлекать данные :)

А разве требование есть? Сколько получал запросов из органов - ни одного не было с конкретным сроком. Есть - есть, нет - разберемся...

Share this post


Link to post
Share on other sites
1 час назад, default_vlan сказал:

Linux volume manager? 

Да.

Share this post


Link to post
Share on other sites
2 часа назад, zhenya` сказал:

интерфейс то написали для взаимодействия с пультом ? не забывайте требования про как быстро надо извлекать данные :)

Имхо,суета сует это,ибо ноги что называется растут известно откуда:

 

Впереди у нас только Чебурнет,который будут вводить вам медленно и нежно,чтобы вы сильно не дергались.

Edited by alexwin

Share this post


Link to post
Share on other sites
13 часов назад, default_vlan сказал:

Мне на ум пришел вариант только tcpdump. Может быть есть что-то мощнее?

Ерунда какая.

tcpdump это диаг тул для юзера.

Ну ок, допустим вы записали им файл на 4тб, дальше место кончилось, и...?

Или кто то захочет вот прям щас узнать что там хомяк качал...

И опять ваша система того.

 

Вот не понимаю я вас, не видно чтоли для этой проблемы выгоднее вложится и запилить решение в специализированном софте.

Но да, вам не дадут, всё сами попилят и вам продадут, так что расслабьтесь, команды думать не было.

Share this post


Link to post
Share on other sites
15 часов назад, Ivan_83 сказал:

tcpdump это диаг тул для юзера.

Ок. Есть ли тул для сохранения трафика?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now