default_vlan Опубликовано 31 января, 2018 · Жалоба Доброго всем времени суток. Запуск закона Яровой не за горами. Ориентировочно все операторы должны быть готовы к июлю этого года. Вопрос вот какого характера. Есть сервера доступа, суммарная нагрузка в ЧНН около 4Гбит/с. Вопрос. Каким образом можно сливать трафик на другую машину? Может быть есть какие-либо идеи? Спасибо. PS. Извиняйте, может быть тема создавалась ранее, но я не нашел. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 31 января, 2018 · Жалоба Трафик всегда сливается одним образом — он зеркалируется (на коммутаторе или призмой) и пишется. В чем вопрос то? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 31 января, 2018 · Жалоба 15 минут назад, alibek сказал: В чем вопрос то? Чем принять трафик? tcpdump или что-то еще? Ну и как реализовать само хранение? mhddfs не подходит под настолько нагруженную систему. Может есть еще варианты? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 31 января, 2018 · Жалоба 10 минут назад, default_vlan сказал: Чем принять трафик? tcpdump или что-то еще? Ну и как реализовать само хранение? mhddfs не подходит под настолько нагруженную систему. Может есть еще варианты? Вы думаете Вам дадут самопальную систему использовать??? Наивный )))))) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 31 января, 2018 · Жалоба 1 минуту назад, Antares сказал: Вы думаете Вам дадут самопальную систему использовать??? Кто не даст? Какие есть не самопальные системы? Вопрос-то открытый. Хотите так - хотите вот так. Если есть решения - тоже хорошо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 31 января, 2018 · Жалоба 10 минут назад, default_vlan сказал: Кто не даст? ркн, или кто там будет этой ерундой заниматься Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 31 января, 2018 · Жалоба 27 минут назад, default_vlan сказал: Чем принять трафик? Чем угодно. Хоть tcpdump с ротацией, хоть самодельным скриптом. По прежнему не понял, в чем вопрос. Если же вопрос "как бесплатно сделать DPI с трафиком 4 Гбит/с и архивом на десятки ПБ", то ответ "никак". Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rm_ Опубликовано 31 января, 2018 · Жалоба и т.д. Оспаде какой же дебильный новый форум с этой вставкой ссылок. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 31 января, 2018 · Жалоба 2 минуты назад, rm_ сказал: какой же дебильный новый форум с этой вставкой ссылок При вставке ссылки с форума можно выбрать "Вставить как ссылку", тогда это будут просто ссылки. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 31 января, 2018 · Жалоба 1 минуту назад, alibek сказал: Чем угодно. Хоть tcpdump с ротацией, хоть самодельным скриптом. Мне на ум пришел вариант только tcpdump. Может быть есть что-то мощнее? Знал бы - не интересовался. 4 минуты назад, alibek сказал: Если же вопрос "как бесплатно сделать СХД с трафиком 4 Гбит/с и объемом десятки ПБ" с СХД отдельная проблема, т.к. практика использования того же mhddfs показывает, что точка монтирования развалится от нагрузки в пару сотен мегабит/с. Как можно объединить физические диски в один логический? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rm_ Опубликовано 31 января, 2018 · Жалоба 1 minute ago, default_vlan said: точка монтирования развалится от нагрузки в пару сотен мегабит/с. Как можно объединить физические диски в один логический? Это про вас: https://www.youtube.com/watch?v=Y8u3IWYpats 3 minutes ago, alibek said: можно выбрать "Вставить как ссылку" Спасибо! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 31 января, 2018 · Жалоба Только что, rm_ сказал: Это про вас: https://www.youtube.com/watch?v=Y8u3IWYpats по факту получается что да. Тем не менее, это не решает вопроса. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 31 января, 2018 · Жалоба Только что, default_vlan сказал: Может быть есть что-то мощнее? Не понял, что значит "мощнее"? 2 минуты назад, default_vlan сказал: практика использования того же mhddfs показывает Значит было мало практики. 2 минуты назад, default_vlan сказал: Как можно объединить физические диски в один логический? Обычно это делает RAID-контроллер. Но я не вижу практической выгоды от одного логического диска в такой задаче. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rm_ Опубликовано 31 января, 2018 · Жалоба 8 minutes ago, default_vlan said: Тем не менее, это не решает вопроса. В вышеперечисленных темах неоднократно высказана правильная мысль что никто не даст операторам каждому самому костылить хранение на шелл-скриптах, mhddfs и tcpdump'е, скажут купить вон ту коробочку у поставщика из списка сертифицированных в ФСБ/ФСТЭК за вот столько денег. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 31 января, 2018 · Жалоба 5 минут назад, alibek сказал: Не понял, что значит "мощнее"? Скажем, более более специализированное и отличное от tcpdump. 6 минут назад, alibek сказал: Значит было мало практики. Практики, как раз, было предостаточно с тем же файловым сервером на Ubuntu. То диск отмонтируется, то запись не возможна. 7 минут назад, alibek сказал: Но я не вижу практической выгоды от одного логического диска в такой задаче. я разве говорил, что в системе будет 1 диск? Какой RAID использовать? RAID1 - слишком затратно в плане штрафов, если это дело свалится, RAID5 - слишком тормозной. RAID 1+0 - начальство далеко пошлет. Лирическое отступление. Если я не так выражаюсь - сразу скажите, а то похоже на диалог со следователем: - Я вам хочу предложить это - Что это - Ну у меня есть кое что - А что. Вроде рассчитывал на помощь в решении проблемы или хотя бы в предложении какого-либо решения, а по факту форум Петросянов какой-то. Каждый тешет в себе надежду обладания чувством юмора. rm, отдельное спасибо за ссылку на тему. 2 минуты назад, rm_ сказал: никто не даст операторам каждому самому костылить хранение Ну, с СОРМ это не проконало, а с биллингом работает. Сорм не дали операторам потому что есть преступления охраняемые гостайной. Некоторым ответственным лицам у провайдеров оформляли допуск к гостайне, насколько я помню, третьей категории и те автоматически становились невыездными. Чтобы такого не было - стали втыкать просто СОРМ. В принципе и все на этом. Сбор трафика - задача провайдера и если до введения закона в строй не будет какого-либо программно-аппаратного решения, то полетят штрафы. Кому интересно ожидание сертифицированной "короборчки с двумя проводками" - могут дальше ждать и получать штрафы и отзывы лицензий. Мне это не интересно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
OK-2004 Опубликовано 31 января, 2018 · Жалоба Tcpdump-ом сниффить заркалированный траффик и писать его потом в файлы можно, но это не изящное решение. Самое интересное, что 10 лет назад один товарищ уже озадачился подобным вопросом и явил миру daemonlogger как раз для этих целей https://talosintelligence.com/daemon ( в стандартных репах большинства дистрибутивов отыщите ). Сам пользуюсь этой штукой лет 5. Как говориться - поставил и забыл. Единственное что написал - обёртку на bash для складирования pcap-файлов на "ремотный стораж." Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 31 января, 2018 · Жалоба 14 минут назад, default_vlan сказал: Скажем, более более специализированное и отличное от tcpdump Если нужно просто писать весь трафик на диск — то tcpdump эти задачи выполняет отлично. 16 минут назад, default_vlan сказал: а по факту форум Петросянов какой-то Петросян тут пока один. Уже три ссылки постили, где все эти вопросы обсуждены со всех сторон, если поискать, то таких обсуждений в сети сотни. Зачем создавать еще один топик и при этом указывать в нем какие-то частные задачи, которые составляют 1% от того, что вообще требуется? Как писать трафик — это вообще не вопрос, просто берешь и пишешь, подобрав соответствующую трафику дисковую систему. Вот только нужно не просто писать, нужно индексировать и обеспечивать быстрый поиск. 19 минут назад, default_vlan сказал: Какой RAID использовать? RAID1 - слишком затратно в плане штрафов, если это дело свалится, RAID5 - слишком тормозной. RAID 1+0 - начальство далеко пошлет. RAID-5 вообще никогда не нужно использовать, это нерационально. А использовать его в системе, которая постоянно пишет — это не просто нерационально, это очень глупо. По правильному нужно использовать RAID-10. Если дорого, то вообще не использовать массив (использовать отдельные диски) или использовать JBOD. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexwin Опубликовано 31 января, 2018 (изменено) · Жалоба 2 часа назад, default_vlan сказал: с СХД отдельная проблема, т.к. практика использования того же mhddfs показывает, что точка монтирования развалится от нагрузки в пару сотен мегабит/с. Как можно объединить физические диски в один логический? LVM? Оверхэд небольшой там вроде. Изменено 31 января, 2018 пользователем alexwin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 31 января, 2018 · Жалоба 34 минуты назад, alexwin сказал: LVM Linux volume manager? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 31 января, 2018 · Жалоба интерфейс то написали для взаимодействия с пультом ? не забывайте требования про как быстро надо извлекать данные :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 31 января, 2018 · Жалоба 5 минут назад, zhenya` сказал: не забывайте требования про как быстро надо извлекать данные :) А разве требование есть? Сколько получал запросов из органов - ни одного не было с конкретным сроком. Есть - есть, нет - разберемся... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexwin Опубликовано 31 января, 2018 · Жалоба 1 час назад, default_vlan сказал: Linux volume manager? Да. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexwin Опубликовано 31 января, 2018 (изменено) · Жалоба 2 часа назад, zhenya` сказал: интерфейс то написали для взаимодействия с пультом ? не забывайте требования про как быстро надо извлекать данные :) Имхо,суета сует это,ибо ноги что называется растут известно откуда: Впереди у нас только Чебурнет,который будут вводить вам медленно и нежно,чтобы вы сильно не дергались. Изменено 31 января, 2018 пользователем alexwin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 31 января, 2018 · Жалоба 13 часов назад, default_vlan сказал: Мне на ум пришел вариант только tcpdump. Может быть есть что-то мощнее? Ерунда какая. tcpdump это диаг тул для юзера. Ну ок, допустим вы записали им файл на 4тб, дальше место кончилось, и...? Или кто то захочет вот прям щас узнать что там хомяк качал... И опять ваша система того. Вот не понимаю я вас, не видно чтоли для этой проблемы выгоднее вложится и запилить решение в специализированном софте. Но да, вам не дадут, всё сами попилят и вам продадут, так что расслабьтесь, команды думать не было. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 1 февраля, 2018 · Жалоба 15 часов назад, Ivan_83 сказал: tcpdump это диаг тул для юзера. Ок. Есть ли тул для сохранения трафика? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...