[Saab95]

Оно того стоит? Потянет 1Гбит ната с шейпером и фаерволом?

 

На больших ппс iptables прям очень разочаровывает. Еще на начальных стадиях тестирования на одном интерфейсе делал исходящий маскарад (в конфиге есть отключенное правило). Так вот уже при небольших нагрузках (1 мппс) загрузка ядра в 100% со всеми вытекающими. Поэтому для policy-based маршрутизации пришлось отказаться от маркировки пакетов (аналогичная история была). Если у вас такого количества pps не ожидается, то, возможно, подойдет.

 

Если CCR занимается терминацией абонентов по IPoE или PPPoE, режет скорости и делает НАТ, то легко потянет гиг трафика. Если хотите собрать много трафика, отшейпить и отправить по разным направлениям, то выгодно использовать несколько железок - первая только шейпит и маркирует, вторая делает НАТ. Соответственно когда включаете НАТ то производительность всех задач падает примерно на 50 процентов и это надо учитывать - если у вас много маркировок, шейперов или фильтров по L7, НАТ нужно выносить.

[Sonne]

Народ, уже 55 страниц обсуждений.

Что скажите по CCR 1036?

 

Оно того стоит? Потянет 1Гбит ната с шейпером и фаерволом?

 

Но как бы нужно понимать что всегда можно написать такой конфиг чтобы уложить софтроутер.

 

У меня 400 Мбит Ната с фаeрволом сейчас дают 6% загрузки, шейперов нет но думаю они повысят утилизацию еще примерно на 50%

[NikAlexAn]

Но как бы нужно понимать что всегда можно написать такой конфиг чтобы уложить софтроутер.

 

У меня 400 Мбит Ната с фаeрволом сейчас дают 6% загрузки, шейперов нет но думаю они повысят утилизацию еще примерно на 50%

Это максимальная загрузка каждого из ядер или то что в винбоксе фигурирует?

[tartila]

Господа, стоит у меня этот хлам на узле CCR1036-12G-4S ROS 6.15, так у меня родился вопрос... Эта фигулька занимается совсем копеечными делами, а недавно вел работы и решил на ней бэкап поднять ночью. Трафика должно было быть не много, в районе 1 Gbit/s. Да и абоненты были предупреждены, что ночью работы, поэтому смело решил смострячить на ней бэкап, дабы поставить эксперимент. К ней подключил ответвление от ядра в 1GBit шнурок и второй порт ethernet вернул опять в ядро таким же гигабитом. Поднял BGP на ней, прописал роутинг. Настал заветный час ночи, когда должны проводиться работы, выключил BGP по питанию и включил на ядре два порта Ethernet в сторону этой сохо херни. Конечно же, на ядре access, ибо "VLAN - устаревшая технология", да и наверняка не разбрасывает правильно пакеты по ядрам... :) IP прибиты прямо на eth интерфейсах. Запустились, BGP поднялось, трафик пошел... Но тут же начал проседать... 20, 30, 70, 100, 150, 200 MBit/s и в обратку 120,110,105 и так и остановился на 105 MBit/s, Ну я быстренько ради интереса полез копошится - мол, где мой 1G? :))) Выключил /ip firefall filter весь, выключил /ip firewall nat, выключил /queue simple весь, выключил /ip firewall connection tracking, но траф как стоял на отметке 105 MBit/s, так и стоял... Далее в /system resourses irq rps, повключал, повыключал - пох... :))) Залез в /system resourses cpu, а нагрузка параллелится, но периодами на одно ядро падает 100% и тут же отлипает и в какие то моменты траф взлетает до 150 MBit/s. На ядре на портах ошибок 0, кабели свеже обжатые и проверенные мной STP+золотые коннекторы. Лезу в /tool profile, а там routing 2%, что в общем то и есть, как я понимаю 100% одного ядра. Ну да, как бэ /bgp - 500 k префиксов. И че? Сдох бобик на такой простой задаче?

 

Да, забыл добавить... Пинги все ходили под 1-2ms до внешки, то есть нормально, а вот с tcp беда бедовая - еле еле что открывалось.

 

p.s. Да, и понимаю, что мог легко сделать бэкап на Cat любом аля 3560 и он бы этот bgp на default отроутил и глазом бы не моргнул (точнее моргал бы двумя глазами), но было интересно эту херню запустить на реальный траф хоть разок.

 

Если будете предлагать прошивки, учитывайте, что мне нужен ovpn с cipher=none, как был раньше... В 6.15 они по крайней мере вернули cipher в состояние unknown (если конфиг раньше был с none :))) ) и это работает, до этого просто пропадали конфиги ovpn (до 6.15).

Изменено 26 сентября, 2014 пользователем tartila

[Sonne]

Но как бы нужно понимать что всегда можно написать такой конфиг чтобы уложить софтроутер.

 

У меня 400 Мбит Ната с фаeрволом сейчас дают 6% загрузки, шейперов нет но думаю они повысят утилизацию еще примерно на 50%

Это максимальная загрузка каждого из ядер или то что в винбоксе фигурирует?

 

Загрузка каждого ядра из 36 шт от 0 до 10, в среднем эти 6% и набегают.

[Sonne]

tartila

 

100% cpu это нагрузка BGP процессом одного ядра. Фича известная с момента выпуска CCR.

 

Касаемо трафика - вы не там проблему искали, пытались разгрузить роутер, который был абсолютно незагружен. Может у вас порт на сотку соединился?

[Saab95]

Господа, стоит у меня этот хлам на узле CCR1036-12G-4S ROS 6.15, траф как стоял на отметке 105 MBit/s, как бэ /bgp - 500 k префиксов. И че? Сдох бобик на такой простой задаче?

 

У меня RB1100AHx2 пропускает больше мегабит с BGP чем ваш CCR.

[EShirokiy]

Saab95, ждем скрины и конфиг

[tartila]

tartila

 

100% cpu это нагрузка BGP процессом одного ядра. Фича известная с момента выпуска CCR.

 

Касаемо трафика - вы не там проблему искали, пытались разгрузить роутер, который был абсолютно незагружен. Может у вас порт на сотку соединился?

 

Гхм, а как же трафик > 100Mbit/s? :)

 

Господа, стоит у меня этот хлам на узле CCR1036-12G-4S ROS 6.15, траф как стоял на отметке 105 MBit/s, как бэ /bgp - 500 k префиксов. И че? Сдох бобик на такой простой задаче?

 

У меня RB1100AHx2 пропускает больше мегабит с BGP чем ваш CCR.

 

Неправильная настройка? :)

[Sergeylo]

У меня RB1100AHx2 пропускает больше мегабит с BGP чем ваш CCR.

Это full-view?

Full-view ipv6 сейчас копеечный, он у меня проблем вообще не вызывал нигде, даже на цысге 2651XM. Вот v4 - куда веселее.

Изменено 29 сентября, 2014 пользователем Sergeylo

[BETEPAH]

Если CCR занимается терминацией абонентов по IPoE или PPPoE, режет скорости и делает НАТ, то легко потянет гиг трафика. Если хотите собрать много трафика, отшейпить и отправить по разным направлениям, то выгодно использовать несколько железок - первая только шейпит и маркирует, вторая делает НАТ. Соответственно когда включаете НАТ то производительность всех задач падает примерно на 50 процентов и это надо учитывать - если у вас много маркировок, шейперов или фильтров по L7, НАТ нужно выносить.

Это нормальная практика при больших нагрузках разносить функции на разные железки. Хотя гиг и не так уж много по сути.

НО.

У RouterOS на x86, который у меня пережил много серверов, начиная с П4 и заканчивая 2 процессорным Зеоном, 8 ядер в итоге, входящий трафик начинался с 10 мегабит а счас под 2 гига, есть проблема распределения прерываний по ядрам. Могу предположить, что такая же проблема существует и на CCR. Поэтому полгода назад перешёл на Centos и Quagga, теперь сплю спокойно.

[Saab95]

У RouterOS на x86, который у меня пережил много серверов, начиная с П4 и заканчивая 2 процессорным Зеоном, 8 ядер в итоге, входящий трафик начинался с 10 мегабит а счас под 2 гига, есть проблема распределения прерываний по ядрам. Могу предположить, что такая же проблема существует и на CCR. Поэтому полгода назад перешёл на Centos и Quagga, теперь сплю спокойно.

 

То есть вы рулили на микротике 2 гига трафика? А некоторые тут 100 не могут разрулить - мистика.

[tartila]

У RouterOS на x86, который у меня пережил много серверов, начиная с П4 и заканчивая 2 процессорным Зеоном, 8 ядер в итоге, входящий трафик начинался с 10 мегабит а счас под 2 гига, есть проблема распределения прерываний по ядрам. Могу предположить, что такая же проблема существует и на CCR. Поэтому полгода назад перешёл на Centos и Quagga, теперь сплю спокойно.

 

То есть вы рулили на микротике 2 гига трафика? А некоторые тут 100 не могут разрулить - мистика.

 

А по делу ответить? :)

[Saab95]

А по делу ответить? :)

 

На CCR-1036 процессоров больше, чем сетевых портов, поэтому всегда можно все распределить.

[pppoetest]

На CCR-1036 процессоров больше, чем сетевых портов, поэтому всегда можно все распределить.

Прошу совета, как в микротике на карточку 82576EB создать 4/8/16 очередей и распределить их по ядрам?

[Butch3r]

Могу предположить, что такая же проблема существует и на CCR. Поэтому полгода назад перешёл на Centos и Quagga, теперь сплю спокойно.

Вот это нужно читать а не

То есть вы рулили на микротике 2 гига трафика? А некоторые тут 100 не могут разрулить - мистика.

Выкидываешь микротик, ставишь ccr для разруливания дома wifi и медиаплеера, а бгп делаешь на нормальных решениях

[tartila]

А по делу ответить? :)

 

На CCR-1036 процессоров больше, чем сетевых портов, поэтому всегда можно все распределить.

 

Да это то понятно, сетевых портов там всего 2, а процессоров 36. :) Собственно, по этому они, видимо, внедрили RPS. Только че то у меня нифига не параллелилось. Предполагаю, что проблема в ROS 6.15, только вот какую такую ROS поставить, что бы оно еще поддерживало cipher=none в ovpn?

[Saab95]

Да это то понятно, сетевых портов там всего 2, а процессоров 36. :) Собственно, по этому они, видимо, внедрили RPS. Только че то у меня нифига не параллелилось. Предполагаю, что проблема в ROS 6.15, только вот какую такую ROS поставить, что бы оно еще поддерживало cipher=none в ovpn?

 

Просто надо отказаться от OVPN или поставить отдельную железку для сборки туннелей, все проблемы сразу уйдут. Заметьте, все проблемы с микротиком возникают тогда, когда используют устаревшие технологии - OVPN, IPSEC и т.п.

[tartila]

Да это то понятно, сетевых портов там всего 2, а процессоров 36. :) Собственно, по этому они, видимо, внедрили RPS. Только че то у меня нифига не параллелилось. Предполагаю, что проблема в ROS 6.15, только вот какую такую ROS поставить, что бы оно еще поддерживало cipher=none в ovpn?

 

Просто надо отказаться от OVPN или поставить отдельную железку для сборки туннелей, все проблемы сразу уйдут. Заметьте, все проблемы с микротиком возникают тогда, когда используют устаревшие технологии - OVPN, IPSEC и т.п.

 

А чем заменить "устаревший OVPN"? Задача очень простая - иметь туннели без шифрования м/у слабыми CPE и центральным CCR (при этом очень желательно иметь возможность "на всякий случай" включить в один момент шифрование, для OVPN уже сгенерены сертификаты и ключи), собственно для этого он в стойке и появился, заменив старый писюк P4, но тот был, по крайней мере, дешевле :).

Изменено 30 сентября, 2014 пользователем tartila

[Saab95]

А чем заменить "устаревший OVPN"? Задача очень простая - иметь туннели без шифрования м/у слабыми CPE и центральным CCR (при этом очень желательно иметь возможность "на всякий случай" включить в один момент шифрование, для OVPN уже сгенерены сертификаты и ключи), собственно для этого он в стойке и появился, заменив старый писюк P4, но тот был, по крайней мере, дешевле :).

 

L2TP, и отказаться от шифрования, т.к. оно на практике никому не нужно, кроме маркетологов и начальников крупных компаний, которые при любом удобном случае требуют шифрование, а потом удивляются, почему вместо RB750, который по L2TP прокачивает 200 мегабит, CCR1036 поставили.

[Sergeylo]

Вот этого я не понял вообще откровенно - что в OpenVPN и IPSEC устаревшего? Первое - стандарт де-факто для хаотично растущих сетей, второе - вполне себе промышленный стандарт, точенный под аппаратную обработку.

Что нелогичного в шифровании данных на недоверенных участках? То, что userspace-утилиты не могут выдать фиксированных характеристик?

Недоумеваю с этой логики.

[tartila]

А чем заменить "устаревший OVPN"? Задача очень простая - иметь туннели без шифрования м/у слабыми CPE и центральным CCR (при этом очень желательно иметь возможность "на всякий случай" включить в один момент шифрование, для OVPN уже сгенерены сертификаты и ключи), собственно для этого он в стойке и появился, заменив старый писюк P4, но тот был, по крайней мере, дешевле :).

 

L2TP, и отказаться от шифрования, т.к. оно на практике никому не нужно, кроме маркетологов и начальников крупных компаний, которые при любом удобном случае требуют шифрование, а потом удивляются, почему вместо RB750, который по L2TP прокачивает 200 мегабит, CCR1036 поставили.

 

То есть, вы предлагаете использовать L2TP в качестве "несущей" для EoIP? OK, вы сами эту практику в масштабе проходили? Знаете, чем отличается ovpn в режиме mode=ethernet с навешанным на него EoIP и L2TP с навешанным на него EoIP?

 

p.s. Холивары по поводу того, что ovpn mode=ethernet уже сам по себе Ethernet не принимаются. Я люблю делать EoIP :)

[Saab95]

То есть, вы предлагаете использовать L2TP в качестве "несущей" для EoIP? OK, вы сами эту практику в масштабе проходили? Знаете, чем отличается ovpn в режиме mode=ethernet с навешанным на него EoIP и L2TP с навешанным на него EoIP?

 

p.s. Холивары по поводу того, что ovpn mode=ethernet уже сам по себе Ethernet не принимаются. Я люблю делать EoIP :)

 

Для любителей сетевых извращений можно L2TP туннель сразу в бридж добавлять и данные так же прозрачно пойдут, как и в OVPN. В масштабе практику EoIP поверх L2TP проходил, но быстро отказался в пользу L3, т.к. большие сети на L2 не делают.

[dsk]

Не все гавно, для коего как правило и затеваются подобные решения, умеет нормально работать в условиях L3. Да и некоторые клиенты жаждут l2 дырку между офисами, чтобы не заморачиваться.

[tartila]

То есть, вы предлагаете использовать L2TP в качестве "несущей" для EoIP? OK, вы сами эту практику в масштабе проходили? Знаете, чем отличается ovpn в режиме mode=ethernet с навешанным на него EoIP и L2TP с навешанным на него EoIP?

 

p.s. Холивары по поводу того, что ovpn mode=ethernet уже сам по себе Ethernet не принимаются. Я люблю делать EoIP :)

 

Для любителей сетевых извращений можно L2TP туннель сразу в бридж добавлять и данные так же прозрачно пойдут, как и в OVPN. В масштабе практику EoIP поверх L2TP проходил, но быстро отказался в пользу L3, т.к. большие сети на L2 не делают.

 

Хых, вывернулся таки... :) Но есть недостаток, добавляете еще processing time, когда l2tp в бридж добавляете и сверху, например eoip. А по делу, так EoIP в MikroTik почему то очень не любит, когда внезапно пропадает интерфейс с IP, на котором он работал, особенно если он (eoip) был в бридже. У меня бывали петли. :)