Перейти к содержимому
Калькуляторы

TeCHNoiD

Пользователи
  • Публикации

    20
  • Зарегистрирован

  • Посещение

Сообщения, опубликованные пользователем TeCHNoiD


  1. image.png.73d9fd2970e43f6ed1ce1c34c9bc8c44.png

     

    CCR1072 3 FV одно ядро постоянно в полке. Все остальное с него снял вообще, то есть он ТОЛЬКО bgp и ospf занимается. Трекинг и прочее что могло мешать выключено. Суммарный трафик на момент скрина 3.5 гига всего.

     

    Заказал сервер на замену... Пока не будет нормального распределения routing processes по ядрам, будет натить и заниматься какой нить другой фигней. Больше не знаю что с ним делать. Пока в качестве бордера не советую категорически. 

  2. Хм, чтото выдалось, надо понять только что именно.

     

    Окей, мне выдался мак одного абонента.

     

    Методом тыка выяснил, что записывая разные номера в 1.3.6.1.4.1.3320.101.9.2.1.0 потом читая 1.3.6.1.4.1.3320.101.9.2.3 можно получать маки разных клиентов. Полагаю что это номер порта на олт. Есть описание этого OID? Хотя бы диапазон верных значений? все равно получается медленно для опроса всех портов сразу(

  3. Доброго всем.

     

    Я понимаю что тема тыщу раз мусолилась, но проблема возникла после обновления.

     

    Прошил P3310C до 10.1.0F 66461.

     

    По oid 1.3.6.1.4.1.3320.152.1.1.3 маки olt перестала выдавать, пробовал сканировать snmpwalk, не успевает все просканить - дропается по таймауту.

     

    Может ктото знает правильный OID? Гугл молчит(

     

    В остальном прошивка работает замечтательно по всем фронтам. Откатываться смысла не вижу, проблема только одна.

  4. Разобрался, всем спасибо, ларчик просто открывался - нужно писать правильные значения в rps_cpus.

     

    echo fff > /sys/class/net/ether3/queues/rx-0/rps_cpus

     

    именно все (нужные) ядра в нулевой поток

  5. Я все понимаю, RPS конечно же гуглил, вроде как прописал всё что нужно везде и включил (rps_sock_flow_entries в proc, rps_cpus в sys), попробовал заодно irqbalance, но не помогает. Забыл уточнить еще момент, может дело во вланах? то есть связка vlan+pppoe (без ip), валит все на первое ядро? я просто понять не могу, почему судя по itop прерывания равномерно распределяются по ядрам (то есть по сути rps норм работает), а top показывает загрузку только одного ядра, причем в пиках доходит до 95% и начинаются лаги, это глюк такой, или из-за какого нибудь nat+shaper? или лыжи не едут, или супермикро мозг выносит? может я неправильно rps настраиваю, перерыл весь форум, хабр, коментарии, зарубежные сайты вместе с мылоархивами, рекомендации интел, все попробовал. на гиговых сетевушках все норм, на десятке не могу победить. ixgbe последний поставил 5.0.4 (https://sourceforge.net/projects/e1000/files/ixgbe%20stable/5.0.4/).

  6. Модифицировал скрипт от интела set_irq_affinity, добавил:

                    printf "%s %d %s -> /sys/class/net/%s/queues/rx-%d/rps_cpus\n" $IFACE $core $MASK $IFACE $((n-1))

    ситуация с прерываниями не изменилась (

     

    p.s. cat /usr/src/linux/.config | grep RPS

    CONFIG_RPS=y

  7. Покажи egrep -e "(eth|CPU)" /proc/interrupts

                CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7       CPU8       CPU9       CPU10      CPU11
     48:      15147     865280          0          0          0          0 1015013603          0     140624     307692          0          0   PCI-MSI 1048576-edge      ether2-TxRx-0
     49:          1      12643          0    1014745          0          0          0 1141993944          0     138394     323332          0   PCI-MSI 1048577-edge      ether2-TxRx-1
     50:          1          0      12348          0          0     896272          0          0 1139256416          0     186202     420580   PCI-MSI 1048578-edge      ether2-TxRx-2
     51:          1          0          0      11954          0          0          0     982643          0 1215149644          0     153160   PCI-MSI 1048579-edge      ether2-TxRx-3
     52:          1          0          0          0      12160          0          0          0     148365    1298287 1132568455          0   PCI-MSI 1048580-edge      ether2-TxRx-4
     53:          1          0          0          0          0      12246          0          0          0     129458          0 1141997859   PCI-MSI 1048581-edge      ether2-TxRx-5
     54:      11949          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 1048582-edge      ether2
     56: 1892157325   49115157    5365607    4007596          0          0     249151          0          0          0          0          0   PCI-MSI 1050624-edge      ether3-TxRx-0
     57:          1  855324187   26097996    1756477    4053009          0          0      89268          0          0          0          0   PCI-MSI 1050625-edge      ether3-TxRx-1
     58:          1          0  860627247   24716537    2500908    3206707     800055          0     178290          0          0          0   PCI-MSI 1050626-edge      ether3-TxRx-2
     59:          1          0          0  868045932   23766601    2181595     544890          0     644243          0          0          0   PCI-MSI 1050627-edge      ether3-TxRx-3
     60:          1          0    1648303          0  837993560   23753560          0     108367     385440          0     626193          0   PCI-MSI 1050628-edge      ether3-TxRx-4
     61:          1   30960096     631465    1682488          0  879432499          0          0     151204          0     383591          0   PCI-MSI 1050629-edge      ether3-TxRx-5
     62:         66          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 1050630-edge      ether3
    

     

    с перебросом прерываний по ядрам игрался, поэтому здесь статистика не чистая

  8. Доброго всем дня! Решил не создавать отдельную ветку, вопрос про irq.

    Имеется 82599ES, с-но один порт на вход, второй на выход.

    Система:

    Linux 4.9.16-gentoo #1 SMP Tue Apr 18 04:41:07 MSK 2017 x86_64 Intel(R) Xeon(R) CPU E5-2609 v3 @ 1.90GHz GenuineIntel GNU/Linux

    2х 6-ти ядерника, HT выключен, итого 12 ядер. PPPOE+NAT+SHAPER, 1000+ абонентов.

     

    Настройки при загрузке:

    module_ixgbe_args="RSS=6,6 FdirMode=0,0"

    setpci -v -d 8086:10fb e6.b=2e
    ethtool -G ether2 rx 4096 tx 4096
    ethtool -G ether3 rx 4096 tx 4096
    ethtool -A ether2 autoneg off rx off tx off
    ethtool -A ether3 autoneg off rx off tx off
    ethtool -K ether2 rx off tx off rxvlan off txvlan off gro off lro off gso off
    ethtool -K ether3 rx off tx off rxvlan off txvlan off gro off lro off gso off
    ifconfig ether2 txqueuelen 10000
    ifconfig ether3 txqueuelen 10000
    
    set_irq_affinity -x 0-5 ether3
    set_irq_affinity -x 6-11 ether2
    
    

     

    Проблема заключается в следующем - один порт (ether2) нормально разносится по ядрам, второй упирается в первое ядро, и никак не удается это победить.

     

    Детали:

     

    itop:

                                           IRQs/Second
                               Device (IRQ)      TOTAL
                        ether2-TxRx-0 ( 48):     10720
                        ether2-TxRx-1 ( 49):      8325
                        ether2-TxRx-2 ( 50):      9663
                        ether2-TxRx-3 ( 51):     12064
                        ether2-TxRx-4 ( 52):      7473
                        ether2-TxRx-5 ( 53):     12201
                               ether2 ( 54):         0
                        ether3-TxRx-0 ( 56):     14284
                        ether3-TxRx-1 ( 57):      9786
                        ether3-TxRx-2 ( 58):      6921
                        ether3-TxRx-3 ( 59):      6197
                        ether3-TxRx-4 ( 60):      5650
                        ether3-TxRx-5 ( 61):      9028
                               ether3 ( 62):         0
    

     

    top:

    %Cpu0  :  0,4 us,  0,8 sy,  0,0 ni, 63,5 id,  0,4 wa,  0,0 hi, 35,0 si,  0,0 st
    %Cpu1  :  0,0 us,  0,0 sy,  0,0 ni,100,0 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
    %Cpu2  :  0,0 us,  0,0 sy,  0,0 ni, 99,7 id,  0,0 wa,  0,0 hi,  0,3 si,  0,0 st
    %Cpu3  :  0,0 us,  0,0 sy,  0,0 ni,100,0 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
    %Cpu4  :  0,0 us,  0,0 sy,  0,0 ni,100,0 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
    %Cpu5  :  0,0 us,  0,0 sy,  0,0 ni,100,0 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
    %Cpu6  :  0,0 us,  1,4 sy,  0,0 ni, 89,5 id,  0,0 wa,  0,0 hi,  9,1 si,  0,0 st
    %Cpu7  :  0,4 us,  0,0 sy,  0,0 ni, 95,7 id,  0,0 wa,  0,0 hi,  3,9 si,  0,0 st
    %Cpu8  :  0,4 us,  0,0 sy,  0,0 ni, 96,1 id,  0,0 wa,  0,0 hi,  3,5 si,  0,0 st
    %Cpu9  :  0,0 us,  0,4 sy,  0,0 ni, 94,1 id,  0,0 wa,  0,0 hi,  5,5 si,  0,0 st
    %Cpu10 :  0,0 us,  0,0 sy,  0,0 ni, 94,0 id,  0,0 wa,  0,0 hi,  6,0 si,  0,0 st
    %Cpu11 :  0,7 us,  0,4 sy,  0,0 ni, 93,7 id,  0,0 wa,  0,0 hi,  5,3 si,  0,0 st
    

     

    perf top -U:

       PerfTop:    9663 irqs/sec  kernel:98.4%  exact: 98.4% [4000Hz cycles:ppp],  (all, 12 CPUs)
    ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
    
       10.05%  [kernel]       [k] _raw_spin_lock
        5.20%  [kernel]       [k] default_idle_call
        4.87%  [kernel]       [k] tcp_in_window
        4.61%  [ixgbe]        [k] ixgbe_clean_rx_irq
        3.26%  [kernel]       [k] ip_forward_finish
        2.94%  [kernel]       [k] skb_scrub_packet
        2.85%  [kernel]       [k] __kmalloc_reserve.isra.47
        2.63%  [kernel]       [k] __local_bh_disable_ip
        2.54%  [kernel]       [k] __skb_flow_dissect
        2.48%  [kernel]       [k] __get_item
        2.33%  [kernel]       [k] fib_table_lookup
        2.33%  [kernel]       [k] __dev_queue_xmit
        2.05%  [kernel]       [k] ip_route_input_noref
        2.02%  [kernel]       [k] ipt_do_table
        2.02%  [kernel]       [k] _raw_spin_lock_irqsave
        1.83%  [kernel]       [k] __netif_receive_skb_core
        1.74%  [kernel]       [k] htb_change_class_mode
        1.72%  [ixgbe]        [k] ixgbe_poll
        1.60%  [kernel]       [k] nf_hook_slow
        1.51%  [kernel]       [k] _raw_spin_lock_bh
        1.51%  [kernel]       [k] find_busiest_group
        1.47%  [kernel]       [k] __qdisc_run
        1.45%  [kernel]       [k] rcu_needs_cpu
        1.26%  [kernel]       [k] ip_set_test
        1.24%  [kernel]       [k] __d_lookup_rcu
        1.21%  [kernel]       [k] __nf_conntrack_find_get
        1.19%  [kernel]       [k] nf_nat_ipv4_in
        1.15%  [kernel]       [k] u32_classify
        1.05%  [kernel]       [k] __free_page_frag
    

     

    Как это победить?

  9. Хочу : Взять в аренду

    Предмет сделки : Канал

    Дополнительная информация : Интересует возможность организации канала связи 150 МБит/с с последующим расширением, волокно, BGPv4.

    map.png

    Сообщение сгенерировано автоматически с помощью инструмента "Биржа каналов"

  10. Продается TP-LINK TL-SG5412F, свитч агрегации, 12 SFP (из них 4 combo)

    Новый, поработал на объекте 2 недели, заменили на другой, не хватило портов. Полный комплект.

     

    Текущая цена в рознице - http://www.oldi.ru/catalog/element/0217088/

     

    Мы хотим за него 15 т.р. Безнал, Нал. Москва, либо ТК за ваш счет.

     

    info{@}vnet'su, ЛС.

     

    p.s. Актуально до тех пор, пока это объявление висит здесь!

  11. Разыскиваются _одноглазые_ модули с нестандартными частотами (не 1310, не 1550), за вменяемые деньги. 20-40 км Может валяются у кого?