Перейти к содержимому
Калькуляторы

Закон Яровой и сервера доступа.

Доброго всем времени суток. Запуск закона Яровой не за горами. Ориентировочно все операторы должны быть готовы к июлю этого года. Вопрос вот какого характера. Есть сервера доступа, суммарная нагрузка в ЧНН около 4Гбит/с. Вопрос. Каким образом можно сливать трафик на другую машину? Может быть есть какие-либо идеи? 

 

Спасибо.

 

PS. Извиняйте, может быть тема создавалась ранее, но я не нашел.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Трафик всегда сливается одним образом — он зеркалируется (на коммутаторе или призмой) и пишется.

В чем вопрос то?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

15 минут назад, alibek сказал:

В чем вопрос то?

Чем принять трафик? tcpdump или что-то еще? Ну и как реализовать само хранение? mhddfs не подходит под настолько нагруженную систему. Может есть еще варианты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

10 минут назад, default_vlan сказал:

Чем принять трафик? tcpdump или что-то еще? Ну и как реализовать само хранение? mhddfs не подходит под настолько нагруженную систему. Может есть еще варианты?

Вы думаете Вам дадут самопальную систему использовать??? Наивный ))))))

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 минуту назад, Antares сказал:

Вы думаете Вам дадут самопальную систему использовать???

Кто не даст? Какие есть не самопальные системы? Вопрос-то открытый. Хотите так - хотите вот так. Если есть решения - тоже хорошо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

10 минут назад, default_vlan сказал:

Кто не даст?

ркн, или кто там будет этой ерундой заниматься

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

27 минут назад, default_vlan сказал:

Чем принять трафик?

Чем угодно.

Хоть tcpdump с ротацией, хоть самодельным скриптом.

По прежнему не понял, в чем вопрос.

Если же вопрос "как бесплатно сделать DPI с трафиком 4 Гбит/с и архивом на десятки ПБ", то ответ "никак".

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

 

и т.д. Оспаде какой же дебильный новый форум с этой вставкой ссылок.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 минуты назад, rm_ сказал:

какой же дебильный новый форум с этой вставкой ссылок

При вставке ссылки с форума можно выбрать "Вставить как ссылку", тогда это будут просто ссылки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 минуту назад, alibek сказал:

Чем угодно.

Хоть tcpdump с ротацией, хоть самодельным скриптом.

 

Мне на ум пришел вариант только tcpdump. Может быть есть что-то мощнее? Знал бы - не интересовался.

 

4 минуты назад, alibek сказал:

Если же вопрос "как бесплатно сделать СХД с трафиком 4 Гбит/с и объемом десятки ПБ"

с СХД отдельная проблема, т.к. практика использования того же mhddfs показывает, что точка монтирования развалится от нагрузки в пару сотен мегабит/с. Как можно объединить физические диски в один логический?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 minute ago, default_vlan said:

точка монтирования развалится от нагрузки в пару сотен мегабит/с. Как можно объединить физические диски в один логический?

Это про вас: https://www.youtube.com/watch?v=Y8u3IWYpats

3 minutes ago, alibek said:

можно выбрать "Вставить как ссылку"

Спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Только что, rm_ сказал:

по факту получается что да. Тем не менее, это не решает вопроса.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Только что, default_vlan сказал:

Может быть есть что-то мощнее?

Не понял, что значит "мощнее"?

 

2 минуты назад, default_vlan сказал:

практика использования того же mhddfs показывает

Значит было мало практики.

 

2 минуты назад, default_vlan сказал:

Как можно объединить физические диски в один логический?

Обычно это делает RAID-контроллер.

Но я не вижу практической выгоды от одного логического диска в такой задаче.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

8 minutes ago, default_vlan said:

Тем не менее, это не решает вопроса.

В вышеперечисленных темах неоднократно высказана правильная мысль что никто не даст операторам каждому самому костылить хранение на шелл-скриптах, mhddfs и tcpdump'е, скажут купить вон ту коробочку у поставщика из списка сертифицированных в ФСБ/ФСТЭК за вот столько денег.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

5 минут назад, alibek сказал:

Не понял, что значит "мощнее"?

Скажем, более более специализированное и отличное от tcpdump.

6 минут назад, alibek сказал:

Значит было мало практики.

Практики, как раз, было предостаточно с тем же файловым сервером на Ubuntu. То диск отмонтируется, то запись не возможна.

 

7 минут назад, alibek сказал:

Но я не вижу практической выгоды от одного логического диска в такой задаче.

я разве говорил, что в системе будет 1 диск? Какой RAID использовать? RAID1 - слишком затратно в плане штрафов, если это дело свалится, RAID5 - слишком тормозной. RAID 1+0 - начальство далеко пошлет.

 

Лирическое отступление. Если я не так выражаюсь - сразу скажите, а то похоже на диалог со следователем:
- Я вам хочу предложить это
- Что это
- Ну у меня есть кое что 
- А что.
Вроде рассчитывал на помощь в решении проблемы или хотя бы в предложении какого-либо решения, а по факту форум Петросянов какой-то. Каждый тешет в себе надежду обладания чувством юмора.

 

rm, отдельное спасибо за ссылку на тему.

 

2 минуты назад, rm_ сказал:

никто не даст операторам каждому самому костылить хранение

Ну, с СОРМ это не проконало, а с биллингом работает.
Сорм не дали операторам потому что есть преступления охраняемые гостайной. Некоторым ответственным лицам у провайдеров оформляли допуск к гостайне, насколько я помню, третьей категории и те автоматически становились невыездными. Чтобы такого не было - стали втыкать просто СОРМ. В принципе и все на этом. Сбор трафика - задача провайдера и если до введения закона в строй не будет какого-либо программно-аппаратного решения, то полетят штрафы. Кому интересно ожидание сертифицированной "короборчки с двумя проводками"  - могут дальше ждать и получать штрафы и отзывы лицензий. Мне это не интересно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Tcpdump-ом сниффить заркалированный траффик и писать его потом в файлы можно, но это не изящное решение.

Самое интересное, что 10 лет назад один товарищ уже озадачился подобным вопросом и явил миру daemonlogger как раз для этих целей    https://talosintelligence.com/daemon ( в стандартных репах большинства дистрибутивов отыщите ).

Сам пользуюсь этой штукой лет 5. Как говориться - поставил и забыл. Единственное что написал - обёртку на bash для складирования pcap-файлов на "ремотный стораж."

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

14 минут назад, default_vlan сказал:

Скажем, более более специализированное и отличное от tcpdump

Если нужно просто писать весь трафик на диск — то tcpdump эти задачи выполняет отлично.

 

16 минут назад, default_vlan сказал:

а по факту форум Петросянов какой-то

Петросян тут пока один.

Уже три ссылки постили, где все эти вопросы обсуждены со всех сторон, если поискать, то таких обсуждений в сети сотни.

Зачем создавать еще один топик и при этом указывать в нем какие-то частные задачи, которые составляют 1% от того, что вообще требуется?

Как писать трафик — это вообще не вопрос, просто берешь и пишешь, подобрав соответствующую трафику дисковую систему.

Вот только нужно не просто писать, нужно индексировать и обеспечивать быстрый поиск.

 

19 минут назад, default_vlan сказал:

Какой RAID использовать? RAID1 - слишком затратно в плане штрафов, если это дело свалится, RAID5 - слишком тормозной. RAID 1+0 - начальство далеко пошлет.

RAID-5 вообще никогда не нужно использовать, это нерационально.

А использовать его в системе, которая постоянно пишет — это не просто нерационально, это очень глупо.

По правильному нужно использовать RAID-10. Если дорого, то вообще не использовать массив (использовать отдельные диски) или использовать JBOD.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, default_vlan сказал:

с СХД отдельная проблема, т.к. практика использования того же mhddfs показывает, что точка монтирования развалится от нагрузки в пару сотен мегабит/с. Как можно объединить физические диски в один логический?

LVM? Оверхэд небольшой там вроде.

Изменено пользователем alexwin

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

34 минуты назад, alexwin сказал:

LVM

Linux volume manager? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

интерфейс то написали для взаимодействия с пультом ? не забывайте требования про как быстро надо извлекать данные :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

5 минут назад, zhenya` сказал:

не забывайте требования про как быстро надо извлекать данные :)

А разве требование есть? Сколько получал запросов из органов - ни одного не было с конкретным сроком. Есть - есть, нет - разберемся...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, default_vlan сказал:

Linux volume manager? 

Да.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, zhenya` сказал:

интерфейс то написали для взаимодействия с пультом ? не забывайте требования про как быстро надо извлекать данные :)

Имхо,суета сует это,ибо ноги что называется растут известно откуда:

 

Впереди у нас только Чебурнет,который будут вводить вам медленно и нежно,чтобы вы сильно не дергались.

Изменено пользователем alexwin

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

13 часов назад, default_vlan сказал:

Мне на ум пришел вариант только tcpdump. Может быть есть что-то мощнее?

Ерунда какая.

tcpdump это диаг тул для юзера.

Ну ок, допустим вы записали им файл на 4тб, дальше место кончилось, и...?

Или кто то захочет вот прям щас узнать что там хомяк качал...

И опять ваша система того.

 

Вот не понимаю я вас, не видно чтоли для этой проблемы выгоднее вложится и запилить решение в специализированном софте.

Но да, вам не дадут, всё сами попилят и вам продадут, так что расслабьтесь, команды думать не было.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

15 часов назад, Ivan_83 сказал:

tcpdump это диаг тул для юзера.

Ок. Есть ли тул для сохранения трафика?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.