[Elisium]

Всем доброго дня, уважаемые.

 

Есть сервер на Фре 7.3. На нем работает дамминет+нат на ПФ (в пул адресов).

hw.model: Intel(R) Xeon(R) CPU E5520  @ 2.27GHz

Сетевуха - 4хпортовка Интел 9404РТ.

Платформа НР180G6.

 

Проблем в работе не замечено, НО:

 

Обычно смотрю статистику по ппс на сервере суммарно командой netstat -w1.

Обратил внимание, что у сервера необычно большая нагрузка для пробегающего сквозь него трафика:

800/200 МБт при 55% загрузки.

Посмотрел на статистику ппс и заметил, что сумма ппс ПО-ИНТЕРФЕЙСНО НЕ совпадает (даже близко)

с суммарной статистикой ПО ВСЕМ ифейсам, что выдает netstat -w1.

 

То есть, ппс(лагг0)+ппс(лагг1) =/= ппс(ВСЕГО)

 

Вот вывод ифконфиг:

igb0: flags=8802<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=13b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,TSO4>
        ether 1c:c1:de:78:7a:e6
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
igb1: flags=8802<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=13b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,TSO4>
        ether 1c:c1:de:78:7a:e7
        media: Ethernet autoselect
        status: no carrier
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=219b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,WOL_MAGIC>
        ether 00:15:17:73:80:ac
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        lagg: laggdev lagg1
em1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:15:17:73:80:ac
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        lagg: laggdev lagg1
em2: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:15:17:73:80:ae
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        lagg: laggdev lagg0
em3: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:15:17:73:80:ae
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        lagg: laggdev lagg0
pfsync0: flags=0<> metric 0 mtu 1460
        syncpeer: 224.0.0.240 maxupd: 128
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x8
        inet6 ::1 prefixlen 128
        inet 127.0.0.1 netmask 0xff000000
        inet *.*.*.254 netmask 0xffffffff
        inet *.*.*.253 netmask 0xffffffff
...
        <всего 250 внешних адресов/32 для ната - алиасы на Ло0>
...
        inet *.*.*.4 netmask 0xffffffff
lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:15:17:73:80:ae
        inet 10.0.121.3 netmask 0xffffff00 broadcast 10.0.121.255
        media: Ethernet autoselect
        status: active
        laggproto lacp
        laggport: em3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
        laggport: em2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        ether 00:15:17:73:80:ac
        inet *.*.*.3 netmask 0xfffffff8 broadcast *.*.*.7
        media: Ethernet autoselect
        status: active
        laggproto lacp
        laggport: em1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
        laggport: em0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

 

Лагг0 подключен в циску (роутит локалку), Лагг1 смотрит в БГП.

Ошибок на интерфейсах и циски и сервера нет.

 

Вывод netstat с разных ифейсов.

[root@gate2 /usr/local/etc/rc.d]# netstat -w1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
    216698     0  180921540     212854     0  180582408     0
    221373     0  183200647     217269     0  181770954     0
    210135     0  173848175     205965     0  173003450     0
    221791     0  190089373     218252     0  188976144     0

 

[root@gate2 /usr/local/etc/rc.d]# netstat -w1 -I lagg0
            input        (lagg0)           output
   packets  errs      bytes    packets  errs      bytes colls
     46712     0   22176392      61094     0   71740079     0
     51042     0   24714858      65699     0   76890864     0
     51044     0   26191745      64691     0   74771638     0

 

[root@gate2 /usr/local/etc/rc.d]# netstat -w1 -I lagg1
            input        (lagg1)           output
   packets  errs      bytes    packets  errs      bytes colls
     78043     0   89203066      57415     0   29140706     0
     67948     0   75973336      49849     0   25235429     0
     67527     0   75014301      51111     0   26987274     0
     74754     0   87854803      52463     0   24045122     0

 

 

Подскажите пжст, в чем прикол ?

При этом, допустим, ппс на ем0+ем1 отличается от суммарного ппс на лагг1 на 10%.

На всех других ифейсах нетстат показывает 0 ппс. При отключенном фаерволе ипфв большая разница в ппс сохраняется (.

В ТЕОРИИ (ну, если я правильно ее знаю), то суммарно нетстат должен показывать сумму ппс со ВСЕХ ифейсов системы.

Почему же разница больше, чем в 1,5 раза ?

 

п.с. Возможно и детский вопрос, но что это - на самом деле не в курсе (((

Изменено 18 января, 2011 пользователем Elisium

[Hawk128]

mpd стоит? виртуальные интерфейсы есть? У меня на них треть ппс идет.

[Elisium]

Нет. Только дамминет + пф.

Реальных ифейсоф всего шесть. Из них 2 по 2 в лагг, еще 2 (игб) не используются.

Пфсинк0 и Ло0 виртуальные, но на Ло0 висит АЛИАСАМИ еще 250 внешних адресов (для ната).

Если алиасы убрать, то тут же наступает армагедец на ифейсе с БГП в виде арп шторма, падения ппс до 3-4к и появления 20к ошибок ...

[make.kernel]

скип

Подскажите пжст, в чем прикол ?

При этом, допустим, ппс на ем0+ем1 отличается от суммарного ппс на лагг1 на 10%.

На всех других ифейсах нетстат показывает 0 ппс. При отключенном фаерволе ипфв большая разница в ппс сохраняется (.

В ТЕОРИИ (ну, если я правильно ее знаю), то суммарно нетстат должен показывать сумму ппс со ВСЕХ ифейсов системы.

Почему же разница больше, чем в 1,5 раза ?

 

п.с. Возможно и детский вопрос, но что это - на самом деле не в курсе (((

Нетстат же покажет трафик ВСЕХ интерфесов в сумме, не? Я к чему, 1 и тот-же пакет инкрементирует счетчик сначала на физическом интерфейсе потом на агрегате на входе потом на агрегате и на соответствующем физическом на выходе. Тоесть какбы несколько раз посчитается.

[Hawk128]

На lo0 сколько pps?

Обычно делают маршрут всех IP куда-нибудь, хотя бы в null0, когда по bgp их получают. Но не алиаами же вешать.

Да и для ната все адреса не нужны, реальники напрямую на клиентов кидайте, проще и быстрее.

[Elisium]

Нетстат же покажет трафик ВСЕХ интерфесов в сумме, не? Я к чему, 1 и тот-же пакет инкрементирует счетчик сначала на физическом интерфейсе потом на агрегате на входе потом на агрегате и на соответствующем физическом на выходе. Тоесть какбы несколько раз посчитается.

Тоесть, пакет два раза ПОСЧИТАЕТСЯ или два раза ОБРАБОТАЕТСЯ ? Пройдет через ипфв, например ?

Реальный ОБРАБАТЫВАЕМЫЙ сервером трафик будет нетстат(всего) или нетстат(лагг1+лагг0) ?

 

[Elisium]

Вопрос с большой загрузкой процов на серверах побежден радикальным (кхе-кхе) "методом тыка" - рано утром перегрузил сервера.

Нагрузка (по процу) упала в ДВА раза при том же колве трафика/ппс (((.

Первоначальную причину так и не выяснил .

[oskol]

подскожите где скачать программу для драйверов

[martin74]

в гаи