default_vlan Posted January 31, 2018 Доброго всем времени суток. Запуск закона Яровой не за горами. Ориентировочно все операторы должны быть готовы к июлю этого года. Вопрос вот какого характера. Есть сервера доступа, суммарная нагрузка в ЧНН около 4Гбит/с. Вопрос. Каким образом можно сливать трафик на другую машину? Может быть есть какие-либо идеи? Спасибо. PS. Извиняйте, может быть тема создавалась ранее, но я не нашел. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted January 31, 2018 Трафик всегда сливается одним образом — он зеркалируется (на коммутаторе или призмой) и пишется. В чем вопрос то? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
default_vlan Posted January 31, 2018 15 минут назад, alibek сказал: В чем вопрос то? Чем принять трафик? tcpdump или что-то еще? Ну и как реализовать само хранение? mhddfs не подходит под настолько нагруженную систему. Может есть еще варианты? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Antares Posted January 31, 2018 10 минут назад, default_vlan сказал: Чем принять трафик? tcpdump или что-то еще? Ну и как реализовать само хранение? mhddfs не подходит под настолько нагруженную систему. Может есть еще варианты? Вы думаете Вам дадут самопальную систему использовать??? Наивный )))))) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
default_vlan Posted January 31, 2018 1 минуту назад, Antares сказал: Вы думаете Вам дадут самопальную систему использовать??? Кто не даст? Какие есть не самопальные системы? Вопрос-то открытый. Хотите так - хотите вот так. Если есть решения - тоже хорошо. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
myth Posted January 31, 2018 10 минут назад, default_vlan сказал: Кто не даст? ркн, или кто там будет этой ерундой заниматься Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted January 31, 2018 27 минут назад, default_vlan сказал: Чем принять трафик? Чем угодно. Хоть tcpdump с ротацией, хоть самодельным скриптом. По прежнему не понял, в чем вопрос. Если же вопрос "как бесплатно сделать DPI с трафиком 4 Гбит/с и архивом на десятки ПБ", то ответ "никак". Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rm_ Posted January 31, 2018 и т.д. Оспаде какой же дебильный новый форум с этой вставкой ссылок. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted January 31, 2018 2 минуты назад, rm_ сказал: какой же дебильный новый форум с этой вставкой ссылок При вставке ссылки с форума можно выбрать "Вставить как ссылку", тогда это будут просто ссылки. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
default_vlan Posted January 31, 2018 1 минуту назад, alibek сказал: Чем угодно. Хоть tcpdump с ротацией, хоть самодельным скриптом. Мне на ум пришел вариант только tcpdump. Может быть есть что-то мощнее? Знал бы - не интересовался. 4 минуты назад, alibek сказал: Если же вопрос "как бесплатно сделать СХД с трафиком 4 Гбит/с и объемом десятки ПБ" с СХД отдельная проблема, т.к. практика использования того же mhddfs показывает, что точка монтирования развалится от нагрузки в пару сотен мегабит/с. Как можно объединить физические диски в один логический? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rm_ Posted January 31, 2018 1 minute ago, default_vlan said: точка монтирования развалится от нагрузки в пару сотен мегабит/с. Как можно объединить физические диски в один логический? Это про вас: https://www.youtube.com/watch?v=Y8u3IWYpats 3 minutes ago, alibek said: можно выбрать "Вставить как ссылку" Спасибо! Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
default_vlan Posted January 31, 2018 Только что, rm_ сказал: Это про вас: https://www.youtube.com/watch?v=Y8u3IWYpats по факту получается что да. Тем не менее, это не решает вопроса. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted January 31, 2018 Только что, default_vlan сказал: Может быть есть что-то мощнее? Не понял, что значит "мощнее"? 2 минуты назад, default_vlan сказал: практика использования того же mhddfs показывает Значит было мало практики. 2 минуты назад, default_vlan сказал: Как можно объединить физические диски в один логический? Обычно это делает RAID-контроллер. Но я не вижу практической выгоды от одного логического диска в такой задаче. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rm_ Posted January 31, 2018 8 minutes ago, default_vlan said: Тем не менее, это не решает вопроса. В вышеперечисленных темах неоднократно высказана правильная мысль что никто не даст операторам каждому самому костылить хранение на шелл-скриптах, mhddfs и tcpdump'е, скажут купить вон ту коробочку у поставщика из списка сертифицированных в ФСБ/ФСТЭК за вот столько денег. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
default_vlan Posted January 31, 2018 5 минут назад, alibek сказал: Не понял, что значит "мощнее"? Скажем, более более специализированное и отличное от tcpdump. 6 минут назад, alibek сказал: Значит было мало практики. Практики, как раз, было предостаточно с тем же файловым сервером на Ubuntu. То диск отмонтируется, то запись не возможна. 7 минут назад, alibek сказал: Но я не вижу практической выгоды от одного логического диска в такой задаче. я разве говорил, что в системе будет 1 диск? Какой RAID использовать? RAID1 - слишком затратно в плане штрафов, если это дело свалится, RAID5 - слишком тормозной. RAID 1+0 - начальство далеко пошлет. Лирическое отступление. Если я не так выражаюсь - сразу скажите, а то похоже на диалог со следователем: - Я вам хочу предложить это - Что это - Ну у меня есть кое что - А что. Вроде рассчитывал на помощь в решении проблемы или хотя бы в предложении какого-либо решения, а по факту форум Петросянов какой-то. Каждый тешет в себе надежду обладания чувством юмора. rm, отдельное спасибо за ссылку на тему. 2 минуты назад, rm_ сказал: никто не даст операторам каждому самому костылить хранение Ну, с СОРМ это не проконало, а с биллингом работает. Сорм не дали операторам потому что есть преступления охраняемые гостайной. Некоторым ответственным лицам у провайдеров оформляли допуск к гостайне, насколько я помню, третьей категории и те автоматически становились невыездными. Чтобы такого не было - стали втыкать просто СОРМ. В принципе и все на этом. Сбор трафика - задача провайдера и если до введения закона в строй не будет какого-либо программно-аппаратного решения, то полетят штрафы. Кому интересно ожидание сертифицированной "короборчки с двумя проводками" - могут дальше ждать и получать штрафы и отзывы лицензий. Мне это не интересно. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
OK-2004 Posted January 31, 2018 Tcpdump-ом сниффить заркалированный траффик и писать его потом в файлы можно, но это не изящное решение. Самое интересное, что 10 лет назад один товарищ уже озадачился подобным вопросом и явил миру daemonlogger как раз для этих целей https://talosintelligence.com/daemon ( в стандартных репах большинства дистрибутивов отыщите ). Сам пользуюсь этой штукой лет 5. Как говориться - поставил и забыл. Единственное что написал - обёртку на bash для складирования pcap-файлов на "ремотный стораж." Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted January 31, 2018 14 минут назад, default_vlan сказал: Скажем, более более специализированное и отличное от tcpdump Если нужно просто писать весь трафик на диск — то tcpdump эти задачи выполняет отлично. 16 минут назад, default_vlan сказал: а по факту форум Петросянов какой-то Петросян тут пока один. Уже три ссылки постили, где все эти вопросы обсуждены со всех сторон, если поискать, то таких обсуждений в сети сотни. Зачем создавать еще один топик и при этом указывать в нем какие-то частные задачи, которые составляют 1% от того, что вообще требуется? Как писать трафик — это вообще не вопрос, просто берешь и пишешь, подобрав соответствующую трафику дисковую систему. Вот только нужно не просто писать, нужно индексировать и обеспечивать быстрый поиск. 19 минут назад, default_vlan сказал: Какой RAID использовать? RAID1 - слишком затратно в плане штрафов, если это дело свалится, RAID5 - слишком тормозной. RAID 1+0 - начальство далеко пошлет. RAID-5 вообще никогда не нужно использовать, это нерационально. А использовать его в системе, которая постоянно пишет — это не просто нерационально, это очень глупо. По правильному нужно использовать RAID-10. Если дорого, то вообще не использовать массив (использовать отдельные диски) или использовать JBOD. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alexwin Posted January 31, 2018 (edited) 2 часа назад, default_vlan сказал: с СХД отдельная проблема, т.к. практика использования того же mhddfs показывает, что точка монтирования развалится от нагрузки в пару сотен мегабит/с. Как можно объединить физические диски в один логический? LVM? Оверхэд небольшой там вроде. Edited January 31, 2018 by alexwin Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
default_vlan Posted January 31, 2018 34 минуты назад, alexwin сказал: LVM Linux volume manager? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zhenya` Posted January 31, 2018 интерфейс то написали для взаимодействия с пультом ? не забывайте требования про как быстро надо извлекать данные :) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
default_vlan Posted January 31, 2018 5 минут назад, zhenya` сказал: не забывайте требования про как быстро надо извлекать данные :) А разве требование есть? Сколько получал запросов из органов - ни одного не было с конкретным сроком. Есть - есть, нет - разберемся... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alexwin Posted January 31, 2018 1 час назад, default_vlan сказал: Linux volume manager? Да. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alexwin Posted January 31, 2018 (edited) 2 часа назад, zhenya` сказал: интерфейс то написали для взаимодействия с пультом ? не забывайте требования про как быстро надо извлекать данные :) Имхо,суета сует это,ибо ноги что называется растут известно откуда: Впереди у нас только Чебурнет,который будут вводить вам медленно и нежно,чтобы вы сильно не дергались. Edited January 31, 2018 by alexwin Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ivan_83 Posted January 31, 2018 13 часов назад, default_vlan сказал: Мне на ум пришел вариант только tcpdump. Может быть есть что-то мощнее? Ерунда какая. tcpdump это диаг тул для юзера. Ну ок, допустим вы записали им файл на 4тб, дальше место кончилось, и...? Или кто то захочет вот прям щас узнать что там хомяк качал... И опять ваша система того. Вот не понимаю я вас, не видно чтоли для этой проблемы выгоднее вложится и запилить решение в специализированном софте. Но да, вам не дадут, всё сами попилят и вам продадут, так что расслабьтесь, команды думать не было. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
default_vlan Posted February 1, 2018 15 часов назад, Ivan_83 сказал: tcpdump это диаг тул для юзера. Ок. Есть ли тул для сохранения трафика? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
