Jump to content
Калькуляторы

Не совпадает сумма ппс по всем интерфейсам.

Всем доброго дня, уважаемые.

 

Есть сервер на Фре 7.3. На нем работает дамминет+нат на ПФ (в пул адресов).

hw.model: Intel(R) Xeon(R) CPU E5520  @ 2.27GHz

Сетевуха - 4хпортовка Интел 9404РТ.

Платформа НР180G6.

 

Проблем в работе не замечено, НО:

 

Обычно смотрю статистику по ппс на сервере суммарно командой netstat -w1.

Обратил внимание, что у сервера необычно большая нагрузка для пробегающего сквозь него трафика:

800/200 МБт при 55% загрузки.

Посмотрел на статистику ппс и заметил, что сумма ппс ПО-ИНТЕРФЕЙСНО НЕ совпадает (даже близко)

с суммарной статистикой ПО ВСЕМ ифейсам, что выдает netstat -w1.

 

То есть, ппс(лагг0)+ппс(лагг1) =/= ппс(ВСЕГО)

 

Вот вывод ифконфиг:

igb0: flags=8802<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=13b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,TSO4>
        ether 1c:c1:de:78:7a:e6
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
igb1: flags=8802<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=13b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,TSO4>
        ether 1c:c1:de:78:7a:e7
        media: Ethernet autoselect
        status: no carrier
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=219b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,WOL_MAGIC>
        ether 00:15:17:73:80:ac
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        lagg: laggdev lagg1
em1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:15:17:73:80:ac
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        lagg: laggdev lagg1
em2: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:15:17:73:80:ae
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        lagg: laggdev lagg0
em3: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:15:17:73:80:ae
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        lagg: laggdev lagg0
pfsync0: flags=0<> metric 0 mtu 1460
        syncpeer: 224.0.0.240 maxupd: 128
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x8
        inet6 ::1 prefixlen 128
        inet 127.0.0.1 netmask 0xff000000
        inet *.*.*.254 netmask 0xffffffff
        inet *.*.*.253 netmask 0xffffffff
...
        <всего 250 внешних адресов/32 для ната - алиасы на Ло0>
...
        inet *.*.*.4 netmask 0xffffffff
lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:15:17:73:80:ae
        inet 10.0.121.3 netmask 0xffffff00 broadcast 10.0.121.255
        media: Ethernet autoselect
        status: active
        laggproto lacp
        laggport: em3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
        laggport: em2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:15:17:73:80:ac
        inet *.*.*.3 netmask 0xfffffff8 broadcast *.*.*.7
        media: Ethernet autoselect
        status: active
        laggproto lacp
        laggport: em1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
        laggport: em0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

 

Лагг0 подключен в циску (роутит локалку), Лагг1 смотрит в БГП.

Ошибок на интерфейсах и циски и сервера нет.

 

Вывод netstat с разных ифейсов.

[root@gate2 /usr/local/etc/rc.d]# netstat -w1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
    216698     0  180921540     212854     0  180582408     0
    221373     0  183200647     217269     0  181770954     0
    210135     0  173848175     205965     0  173003450     0
    221791     0  190089373     218252     0  188976144     0

 

[root@gate2 /usr/local/etc/rc.d]# netstat -w1 -I lagg0
            input        (lagg0)           output
   packets  errs      bytes    packets  errs      bytes colls
     46712     0   22176392      61094     0   71740079     0
     51042     0   24714858      65699     0   76890864     0
     51044     0   26191745      64691     0   74771638     0

 

[root@gate2 /usr/local/etc/rc.d]# netstat -w1 -I lagg1
            input        (lagg1)           output
   packets  errs      bytes    packets  errs      bytes colls
     78043     0   89203066      57415     0   29140706     0
     67948     0   75973336      49849     0   25235429     0
     67527     0   75014301      51111     0   26987274     0
     74754     0   87854803      52463     0   24045122     0

 

 

Подскажите пжст, в чем прикол ?

При этом, допустим, ппс на ем0+ем1 отличается от суммарного ппс на лагг1 на 10%.

На всех других ифейсах нетстат показывает 0 ппс. При отключенном фаерволе ипфв большая разница в ппс сохраняется (.

В ТЕОРИИ (ну, если я правильно ее знаю), то суммарно нетстат должен показывать сумму ппс со ВСЕХ ифейсов системы.

Почему же разница больше, чем в 1,5 раза ?

 

п.с. Возможно и детский вопрос, но что это - на самом деле не в курсе (((

Edited by Elisium

Share this post


Link to post
Share on other sites

mpd стоит? виртуальные интерфейсы есть? У меня на них треть ппс идет.

Share this post


Link to post
Share on other sites

Нет. Только дамминет + пф.

Реальных ифейсоф всего шесть. Из них 2 по 2 в лагг, еще 2 (игб) не используются.

Пфсинк0 и Ло0 виртуальные, но на Ло0 висит АЛИАСАМИ еще 250 внешних адресов (для ната).

Если алиасы убрать, то тут же наступает армагедец на ифейсе с БГП в виде арп шторма, падения ппс до 3-4к и появления 20к ошибок ...

Share this post


Link to post
Share on other sites
скип

Подскажите пжст, в чем прикол ?

При этом, допустим, ппс на ем0+ем1 отличается от суммарного ппс на лагг1 на 10%.

На всех других ифейсах нетстат показывает 0 ппс. При отключенном фаерволе ипфв большая разница в ппс сохраняется (.

В ТЕОРИИ (ну, если я правильно ее знаю), то суммарно нетстат должен показывать сумму ппс со ВСЕХ ифейсов системы.

Почему же разница больше, чем в 1,5 раза ?

 

п.с. Возможно и детский вопрос, но что это - на самом деле не в курсе (((

Нетстат же покажет трафик ВСЕХ интерфесов в сумме, не? Я к чему, 1 и тот-же пакет инкрементирует счетчик сначала на физическом интерфейсе потом на агрегате на входе потом на агрегате и на соответствующем физическом на выходе. Тоесть какбы несколько раз посчитается.

Share this post


Link to post
Share on other sites

На lo0 сколько pps?

Обычно делают маршрут всех IP куда-нибудь, хотя бы в null0, когда по bgp их получают. Но не алиаами же вешать.

Да и для ната все адреса не нужны, реальники напрямую на клиентов кидайте, проще и быстрее.

Share this post


Link to post
Share on other sites
Нетстат же покажет трафик ВСЕХ интерфесов в сумме, не? Я к чему, 1 и тот-же пакет инкрементирует счетчик сначала на физическом интерфейсе потом на агрегате на входе потом на агрегате и на соответствующем физическом на выходе. Тоесть какбы несколько раз посчитается.

Тоесть, пакет два раза ПОСЧИТАЕТСЯ или два раза ОБРАБОТАЕТСЯ ? Пройдет через ипфв, например ?

Реальный ОБРАБАТЫВАЕМЫЙ сервером трафик будет нетстат(всего) или нетстат(лагг1+лагг0) ?

 

Share this post


Link to post
Share on other sites

Вопрос с большой загрузкой процов на серверах побежден радикальным (кхе-кхе) "методом тыка" - рано утром перегрузил сервера.

Нагрузка (по процу) упала в ДВА раза при том же колве трафика/ппс (((.

Первоначальную причину так и не выяснил .

Share this post


Link to post
Share on other sites

подскожите где скачать программу для драйверов

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this