bf-networks.com

Простите за невладение технологий виртуализации, E1000 это сетевой драйвер e1000? Если да, то оно не умеет очереди Rx/Tx, что в свою очередь приведёт к полке одного ядра/проца и к соот-но дропам, при этом остальные будут простаивать. Подумываю именно о 10Г на x86, даже без тюнинга параметров, iperf выдал 3,8Гбит. e1000 это исторически сложившееся название гигабитного интерфейса в вмвари. оно 100 раз уже патченое и перепатченое и непойми как работает, но работает хорошо и стабильно, виртуальный микрот - разбрасывает все сетевухи на отдельные ядра (точнее НТ потоки, а не физические), и это можно выставлять руками, какая из сетевок на каком ядре. Учитывая что в наших девайсах всего 4 сетевых головы и 4 потока - то на каждый поток по сетевухе в виртуалке, полки на 2.9Ггц (турбобуст проца) по потоку я еще не видел, учитывая что на девайсе не более двух-трех виртуалок с большой нагрузкой. 2.0-2.6 Ггц - видел. Графики телеметрии рисуются в вмвари. По мимо всего - сама вмварь как то хитро работает с процом. есть более новый продвинутый драйвер е1000е - в нем что то понаваяли интересного, однако лично я использую исторический е1000. е1000е - почему то не внушил мне доверия, но это скорее дело привычки. В микроте х86, есть и тот и тот нативные. И есть там же vmxnet3, насколько я вкурсе. Поскольку я неимею опыта работы с 10г, вот есть статьи человека, которые занимался тестированиями 10ки в виртуалке, со всеми тремя драйверами : http://rickardnobel.se/vmxnet3-vs-e1000e-and-e1000-part-1/ http://rickardnobel.se/vmxnet3-vs-e1000e-and-e1000-part-2/ это очень и очень скромно. кстати, вы упоминули про второй бп. а что с горячей заменой их? ну я всего лиш сказал только о том что видел собственными глазами. насчет горячей замены БП - вобще никак, оба БП стоят внутри корпуса и снимаются только при открытии верхней крышки. работают паралельно, если один перегорает - второй продолжает работать, в скоревшем вылетает либо предохранитель по фазе 220, либо супрессор перекрывающий подачу +12 (это тупо два 12 вольт блока), тоесть на втором это не сказыватся, а сгоревший просто отключается от конструкции. Я в свое время предлагал сделать их съемными через зад или перед корпуса, однако маркетинговый директор сказал если дословно - "в 3.14зду... тогда этот девайс будет стоить дороже на 100 бачей и потеряет привлекательность на фоне конкурентов, оставим простой стальной корпус с минимумов отверстий и съемных частей". Однако, подвод +- на материнку осуществляется на передней панели, и к этому штекеру можно прикрутить еще один бекапный БП с тумблером включения. Многие клиенты вобще вытаскивают штекер идущий с внутренего БП, и включают девайс в альтернативные источники питания (не смотря на то что сгорание девайса по причине косяка электрика клиента, который что то перепутал и неправильно подсоединил - не считается гарантией) с чего бы вдруг? у меня десктопный 3770 спокойно роутил и шифровал 2 гигабита ipsec aes256-gcm с относительно небольшой утилизацией cpu, а вы рассказываете про жалкие 3Гбит форвардинга. и снова вопрос: с чего бы вдруг? у вас там что ли pcie x1 древних версий? можно взять четырёхпортовую карточку. какой ужас. простите, но то что вы описываете - прямой путь убить производительность. потому что на стороне хоста(vmware) идёт полная эмуляция интеловской карточки и из-за дичайшего оверхеда был придуман vmxnet3(да и другие варианты паравиртуальных драйверов). огонь, просто огонь! про sr-iov слышали? и чем ваше решение лучше вот этого или вот этого + бп + корпус? ну как бы если вы решили потролить, то мне неинтересно... я изложил факты которые не один раз проверены. По поводу 10г - я сразу сказал что НЕМОГУ СКАЗАТЬ ничего внятного и ответить за свои слова - ввиду того что НЕ ДЕЛАЛ и НЕ ЮЗАЛ. по поводу ссылок которые вы показали... 1ая - как минимум тем что у нас есть pcie x16 куда можно включить хоть сетевку, хоть рейд, 2ая - тем что питание АТХ и БП как утюг. З.Ы. к сожалению это последнее разрешенное мне на сегодня сообщение. лимит я исчерпал, а второй акаунт как то стыдно юзать. мне недает даже ответить с цитированием ((( насколько НТ плох для роутинга незнаю, однако есть еще один фокус, микротик юзает х64 бит, хотя раньше я думал что оно не умеет, насколько это правда - я незнаю, заметил когда обновил до 6.32.2, раньше незамечал :

Здраствуйте. начнем с того что запрос в 3гбпс на одну голову - подразумевает под собой 10г сетевку, которая стоит нормально денег, и на мой взглят решение этого вопроса на х86 - не целесообразно как таковое. (Я в полном адеквате, если че.) Кроме того если насчет гигабита я действительно могу что то расказать, то насчет 10г - нет. Это не мой уровень решения. Основываясь на знаниях - могу сказать что по шине материнки пролезет максимум 5гбпс туда-сюда, реальных без вранья. Коечно есть вариант с объединением двух гбпс в ЛАЦП, однако это явно уже не 3гбпс получится. Ну аж никак. Хотя рассмотрим и его: Городить ЛАЦПы с раскидыванием - в данном случае - это все равно что заниматься сексом стоя в гамаке, в ластах и противогазе. Микротик дерьмово работает с ЛАЦП в режиме балансировки. Можно принять на физиках ЛАЦП непосредственно на вмварь, и отдать его микротику в виде одного эзернета... да это будет гораздо эфективней, чем делать этот же лацп в микроте. 1.7-1.8 максимум я думаю впринципе с горем пополам даванет. Однако я не пробовал заниматься такими извратами, и немогу сказать что из этого получится. С гигабитом проще... Во первых - роутерос х86 имеет поддержку вмваревского виртуального оборудования, что называется с момента компиляции. Официально. Далее всю свою историю, вмварь пилится под интеловые сетевухи среднего сегмента и выше среднего, тоесть они прорабатывают работу с сетью максимально оптимизируя под интеловые чипы, чем очень гордятся и хватают. Сетевки должны быть как минимум 8258х с 16 очередями. Далее уже по самой esxi... _для каждой_ виртуальной машины, для каждой сетевой головы, должен быть создан виртуальный порт на виртуальном свиче, в режиме прямого бридж директ, с использованием драйвера ВМ оборудования Е1000 (а не той туфты которую он предлагает по дефолту). Что имеется ввиду... допустим у вас 4 сетевых головы, и две виртуалки А и Б... это означает что все четыре головы, должны быть для каждой виртуалки, тоесть восемь виртуальных портов е1000 в бридж директ, по два виртуальных порта на каждую голову. Голова 1 - порт 1 для виртуалки А + порт 1 для виртуалки Б, голова 2 - порт 2 для виртуалки А + порт 2 для виртуалки Б, ну и так далее... Почему так ? Потому что если лепить обе виртуалки к одному виртуальному порту - они будут делить его пополам, и чем больше виртуалок к этому виртуальному порту прицеплено - тем меньше будет скорость этого порта для каждой виртуалки. Надеюсь я понятно изложил. Тут нужно понимать идеологию ихнего виртуального свича... когда вы лепите несколько виртуалок на один виртуальный интерфейс - это практически равносильно тому что вы каким то образом умудрились включить два компьютера в один порт на реальном свиче, ну примерно как то так. Поэтому для каждой виртуалки должен быть отдельный Е1000 порт, на каждом физическом интерфейсе который вы хотите задействовать для этой виртуалки. Представте что виртуальный свич (ну или портгрупа если будет угодно) - это реальный свич, на котором должна быть отдельная дырка для каждого устройства которое вы в него включаете (отдельный виртуальный интерфейс для каждой виртуалки которую вы конектите к этому виртуальному свичу). При этом виртуалки видят друг друга не через внутренюю сеть vmnet а через голову физической сетевухи, как если бы она являлась свичем. Незнаю как это подругому объяснить. Далее... оперировать вланами можно двумя способами, и выбирать нужно наиболее подходящий в конкретной ситуации. Первый способ - это когда каждый приходящий на физику влан - распаковывается прямо на вмвари, и отдается унтагом в виртуалку как езернет, который уже в виртуалке можно бриджевать с чем то и делать с ним что то. Для виртуалки этот влан выглядит как отдельная сетевая карта, а не как влан. На виртуальном свиче может быть 4094 порта, неважно физических транслируемых в виртуалку 1:1 или раскапованых вланов представленых для каждой отдельно взятой виртуалки как эзернеты. Второй способ - это принимать на физической голове все вланы, и передавать их в виртуалку, далее распаковывать их в виртуалке и оперировать ими как вланами, а не виртуальными эзернетами, средствами самой виртуалки. С агрегацией выглядит примерно так же. Агрегация физики делается самой вмварью, при этом в виртуальный свич добавляется не одна физическая голова, которая транслируется в виртуалку, а несколько, которые по итогу представляются виртуалке как один эзернет. Либо агрегация делается средствами самой виртуалки и получается гавно (на мой взгляд, хотя знаю людей которые лепят это в виртуалке и говорят что нормально работает). По поводу xenserver - могу сказать что он отвратительно работает с сетью, и его даже не стоит пробовать. Результаты работы сети вмвари, для ксенсервера не достижимы неиодним известным мне способом, даже если плясать с бубном и делать жертвоприношения злым богам. А о том какая скорость работы сети между виртуалками, я даже говорить нехочу - это ужас. Надеюсь что суть того что я изложил понятна, однако чуть позже я сделаю картинки на которых будет проще осознать, что нужно подходить к виртуальному свичу вмвари почти с такой же логикой как к реальному. Потому что большинство людей лепят пачку виртуалок на один виртуальный интерфейс, а потом плюются на работу сети, не осознавая что невъехали в идеологию того как оно должно вообще работать. З.Ы. есть еще такая штука, как directpath I/O - это когда физическое оборудование отдается напрямую в виртуалку. На сегодняшний день это вобщем то deprecated ввиду того что мешает двигать виртуалку по ресурс пулу. Однако если сильно захотеть - то впринципе можно.

давайте посчитаем стоимость владения. начнем с лицензий на всферу. я правильно понимаю, что вы распространяете модифицированный образ esxi? а так же являетесь авторизованным реселлером juniper? плохо она работает. предлагаю стандартный тест: отроутить 1.44mpps, т.е. вот тот самый гигабит. Добрый день. Давайте честно посчитаем стоимость владения. Диллерский прайс на базовый кит без дополнительных опций и без оптики - 560 долларов (по курсу естественно) это мазерборд,проц,память,мсата ссд, один БП, корпус... на базовый девайс с оптикой - 750 - это мазерборд,проц,память,мсата ссд, один БП, корпус + сетевка производства наших партнеров a-gear NIC-1G2HF, переходник для ее подключения в горизонтальном положении. Другие опции, дополнительные крепежи, переходники - оговариваются отдельно. Есть еще "рекомендованый розничный прайс" - это цены которые не должны превышаться, если вы хотите официально перепродать железо дальше. маржа около 100 долларов, в пределах которой реселлер может "делать скидки" "только сегодня и только для вас", добавив к этой цене свои личные услуги по сопровождению железа и софта, если хочет. Если загнули выше рекомендованой, мы вправе отказаться от сотрудничества, но это обходят предлагая "удаленный сапорт" за ННН денег. Маркетинг, "особые" цены, и вопросы торговли обсуждаются не со мной, а с маркетинговым директором. Далее. Лицензионный софт который можно купить у нас вместе с устройством. vSphere standart - обойдется в 1352 доллара (изза игры на курсе), по факту - официальные 1293.50 Mikrotik RouterOS - по официальному прайсу, взависимости от уровня лицензии. итого - железо коророе мы продаем - обойдется дешевле аналогичного от pfSense или JetWay, приэтом имеет ряд преимуществ перед ними, ввиду использования промышленой материнки с питанием +- и отсутствием такого понятия как АТХ питание как такового + рядом других достоинтв. софт - взависимости от пожелания заказчика, что называется "любой каприз за ваши деньги", захотите Microsoft Windows Terminal Server - будет вам терминал сервер. захотите линукс - будет линукс. Далее, относительно интересующих вас юридических нюансов. Мы не распространяем модифицированый образ ESXI. Мы устанавливаем в ESXI драйвера для нашего оборудования. Как мы это делаем - сугубо наша личная проблема. Устанавливать триальный софт, и предлагать при этом лицензионный - тоже никто не может запретить вобщемто. Законы мы не нарушаем, и готовы предоставить все необходимые документы. По поводу реселлеров или не реселлеров. Покупатель получит документы на софт от имени официальных реселлеров, на основании договоров подписаных нами с официальным реселлером... и документы на железо от нашего имени. Мы торгуем железом, а купить софт через нас и попросить его установить, что бы получить решение из коробки, либо купить софт напрямую у официального реселлера и установить его самостоятельно на голое железо - личное дело покупателя. То что фирма торгующая железом выделена в отдельное юридическое лицо, отдельно от скажем фирмы которая зинимается услугами предоставления хостинга или отдельно от фирмы предоставляющей услуги IP телефонии - ничего странного или незаконного в этом нету. И вобщем я технарь а не юрист, объяснил своими словами, как сумел. З.Ы. 800к +- пролазит, больше не видел, на этих девайсах если честно.

Ну тут то понятно... Действительно, зачем корпоративному клиенту несколько аплинков, зачем BGP, зачем минимизация задержек? Зачем л2 изоляция рабочих станций, при сохранении их в пределах одной подсети? И кто такие глупости в цисках (которые тоже на энтерпрайз ориентированы) хрен знает когда прикрутил? :) К слову, какие там для вас штрафные санкции за каждый час даунтайма? ну л2 изоляцию умеет и crs125 за 200 долларов, или думаете что если это называется не portprotect то оно отсутствует ? кто сказал что несколько аплинков и БГП не нужны ? нужны, и работают. я говорил что 5 фулвьюв ненужно, так же как и уплотнение сети делать на микротике. Что собственно непонятного в моей фразе о том что выбирать софт и покупать оборудование нужно взависимости от потребностей ? Получается что вы говорите что микротик говно, оперируя тем что он не делает _ТО ЧТО НУЖНО КОНКРЕТНО ВАМ, ТАК КАК ВАМ ХОЧЕТСЯ ИЛИ НРАВИТСЯ_, а я утверждаю - ну не нравится - не берите... берите то что вам нравится. Где диссонанс в нашем общении ? Что я не правильно сказал ? Если мне нужен линукс - ставлю линукс, если что то удобней и проще сделать на фрибсд - будет фрибсд, если что то удобней и проще сделать на микротике - будет микротик, если мне будет нужно что то что умеет делать только джунипер - куплю и поставлю джунипер, а если при этом линукс, фрибсд или микротик делают что то проще и удобней джунипера - это будет делаться на них, а на джунипере будет делаться то что он умеет лучше вышеперечисленного. Например микротик неумеет менять МСС на всех пакетах в траффике (только на фин и син), а джунипер умеет. а почему должен возникнуть даунтайм ? изложите свою мысль более подробно пожалуста. у меня вринципе нигде меньше 1гб по оптике нету. о каких 20мбит вы говорите ? мы живем в 2015 году. то что у клиентов на их торговых точках и каких то там местах где 1 человек сидит - чтоит микрот который колбасит трафик по еоип в тунель - это не означает что это у меня, это у клиентов. кстати это последнее сообщение на сегодня, потому что свежезареганым "нубам" бульше трех в сутки не позволяется, поэтому я откланяюсь до завтра, и если у вас будет желание мы сможем продолжить дискуссию. С Ув.

ок, сделайте ip unnumbered на несколько сот (хотя бы) клиентов. или bgp multipath. или ospf кольцо из нескольких area. ну ладно, хотя бы 5 фуллвью примите, чтобы сабжевую железку не таращило при падении пира минут по 20... или это - сильно большие требования к железке за 2 килобакса? :) роутер в виртуалке - грусть-печаль... не говоря уже о корявости х86 микротика (который производитель поддерживает для галочки, основное бабло-то капает с продажи коробок). я уже подчеркнул что работаю на корпоративном рынке а не операторском. позвольте поинтересоваться зачем мне ip unnumbered и 5 фулвьюв ? или вы думаете что микротиком интересуются и покупают только зизопы из провайдинга ? если мне нужны ипы - я не буду заниматься фигней и просто куплю их или возьму в аренду столько сколько мне понадобится, у меня есть ЛИР под рукой, но если уж настолько придавит что мне нужно будет уплотнить сеть - я посмотрю в сторону апаратного cg-nat. я уже говорил что софт и оборудование нужно выбирать по своим потребностям, и если есть бабло на покупку шкафа цисок или джунов, то почему нету бабла на регистрацию ЛИР и ипы в необходимом количестве ? в чем грусть печаль ? в кластере ? в миграции по кластеру ? в ресурс пуле ? в том что можно таскать виртуалку куда угодно и как хочется ? или в том что вы думаете что виртуалки неумеют юзать сетевухи на полную ?

В микротике такой функционал ваще не заявлен. Вперёд: http://www.netlab.linkpc.net/wiki/ru:software:freebsd:tcpproxy_on_pf - головоломка в фаерволе http://www.netlab.linkpc.net/wiki/ru:software:freebsd:ng_utp - 99,9% матчинг uTP и далее дроп/маркировка/ресеты http://www.netlab.linkpc.net/wiki/ru:software:ssdpd:index - тоже хитрая штука http://www.netlab.linkpc.net/wiki/ru:software:msd:lite - раздача иптв http://www.netlab.linkpc.net/wiki/ru:software:perl:dhcp_server - дхцп с опцией 82 в базе mySQL Для дома/офиса в пределах 100M / 1G вполне нормально роутер в виртуалке справляется. У меня был случай: контора мелкая, взяли сервер на i5-2400, под кд+файлопомойку. Чтобы кд хоть как то внятно бэкапить был поднят hiper-v. Ресурсов у тачки ещё дохрена свободных оставалось, а рядом фря на старом тазике инета раздавала. Ну вот тазик на свалку а фря в виртуалку, лишний гиг-два оперативы и пару % проца отъела, что в целом дешевле отдельного тазика и места меньше занимает. 1. это вы так решили что не заявлен layer7 ? http://wiki.mikrotik.com/wiki/Manual:IP/Firewall/L7 поверите или показать конфиги и скриншоты ? не только есть но и работает, если не упирается в мощьность процессора. 2. суть головоломки в чем ? 3. по виртуалкам согласен. esxi в отличии от xenserver и (спаси Господи) virtualbox - хорошо работает с сетью, если прочитать мануал и не лепить несколько виртуалок к одному виртуальному порту (что по сути равносильно забиванию нескольких проводом в порт на реальном свиче) З.Ы. сменил акаунт на более правильный, что бы не вводить никого в заблуждение